인터넷 사용자가 하루 평균 7시간 가까이 온라인1에 접속하는 상황에서, 즐겨 찾는 사이트를 탐색하는 소비자들은 기존의 타겟팅 팝업 및 배너 광고에 점점 더 거부감을 느끼고 있습니다. 광고주가 사용자 경험을 늦추지 않고 지친 방문자조차도 계속 몰입할 수 있도록 최대한 정확하게 이 콘텐츠를 타겟팅할 수 있어야 합니다.
이와 같은 이유로 여러 기업들은 인공 지능(AI) 기반 콘텐츠 추천 엔진으로 전환하여 표시할 가장 적절한 콘텐츠를 결정합니다. 머신 린 알고리즘은 최근에 본 콘텐츠, 추세 분석 주제, 심지어 위치와 시간 등 다양한 컨텍스트 데이터를 사용하여 온라인 소비자가 개인적으로 가장 흥미를 가질 가능성이 높은 대상을 예측합니다.
2007년부터 이 분야의 글로벌 리더인 Taboola는 에지에서 AI 기반 예측 엔진을 사용하여 각 방문자의 고유 선호도와 가장 관련성 높은 대상 콘텐츠와 권장 사항을 제공합니다. 서버 12,000개와 데이터 센터 10개를 갖춘 Taboola의 솔루션은 매달 전 세계 10억 명 이상의 고객을 Honda 및 Adidas와 같은 광고주와 연결합니다. 그 결과, 매일 수천억 개의 맞춤형 콘텐츠 추천이 USA Today 또는 MSN과 같은 퍼블리셔 페이지에 원활하게 통합됩니다.
광고주와 소매업체는 Taboola와 같은 파트너에게 의존하여 대상 설정되고, 관련성 높고, 시각적으로 매력적인 권장 사항을 즉시 제공하여 소비자의 모바일 경험을 보완합니다. Taboola의 정보 기술 및 사이버 담당 부사장 Ariel Pisetzky는 "우리는 광고주가 인터넷에서 더 풍부한 경험을 하도록 하는 서비스를 제공하여 일반 사용자를 유료 고객으로 전환하도록 돕습니다."라고 말합니다.
Taboola 솔루션의 핵심은 오픈 소스 TensorFlow Serving(TFS) 프레임워크를 기반으로 하는 뉴럴 네트워크입니다.
Taboola의 10개 데이터 센터 중 하나에 있는 Taboola의 정보 기술 및 사이버 담당 부사장인 Ariel Pisetzky.
TensorFlow에 기반하여 설계된 TFS는 클라이언트-서버 워크플로를 사용하여 권장 사항을 제공합니다. TFS 서버가 클라이언트의 요청을 받으면 사전 학습된 Taboola 뉴럴 네트워크 모델을 통해 클라이언트 데이터를 실행하고 결과를 반환합니다.
Taboola는 효율성을 희생하지 않고 응용 프로그램 처리량을 늘리고자 했기 때문에 인텔 및 4세대 인텔® 제온® 프로세서로 전환했습니다.
당면 과제
Taboola는 하루에 약 40억 웹 페이지에서 페이지당 평균 10개의 권장 사항을 제공합니다. Pisetzky는 "이 숫자가 실제로 합산됩니다. 이러한 모든 작업을 수행하고, 이러한 권장 사항을 생성 및 제조하려면 비용뿐만 아니라 환경에 미치는 영향까지 에너지 사용량 측면에서 매우 효율적으로 작업해야 합니다.
Taboola는 고객의 클라우드 서비스 제공자로서 유연하고 다목적의 효율적인 CPU가 필요합니다. 그래야 여러 작업을 수행할 수 있습니다. 하루 종일 전력 사용량 측면에서 스케일 업 및 다운을 할 필요가 있으며 실제로 작업을 신속하게 수행하는 데 필요한 인메모리 계산을 수행할 수 있는 충분한 메모리가 있어야 합니다."라고 말합니다.
비교적 소기업에 해당하는 Taboola는 기술 스택을 신중하게 활용하여 장비 수명 주기 동안 효율성과 성능을 최적화하여 전력과 비용의 균형을 맞추어야 합니다. 코어 당 최대 성능을 추출하는 것이 중요합니다.
Pisetzky는 "Taboola는 대기업과 달리 자체 솔루션을 설계하거나 자체 칩을 만들거나 자체 운영 체제를 작성할 여유가 없습니다. 광고주와 퍼블리셔 모두의 성공을 위한 최적화에 연구 개발 비용을 지출하기를 바랄 뿐입니다."라고 말합니다.
Taboola는 더 많은 콘텐츠 권장 사항을 제공하기 위해 AI 기반 추천 엔진의 처리량을 늘리고자 했습니다. 처리량은 사용자에게 가장 흥미롭고 관련성 높은 브랜드 및 편집 콘텐츠를 제공하는 역량을 배양하는 데 중요합니다. 클라이언트 대기 시간을 100ms 미만으로 유지하는 동안 이를 가능하게 하는 것이 이상적입니다.
10개의 데이터 센터와 1,2000개의 서버로 구성된 네트워크의 지원을 받는 Taboola의 솔루션은 매달 전 세계 10억 명 이상의 고객과의 연결을 지원합니다.
솔루션
인텔은 Taboola와 협력하여 4세대 인텔® 제온® 프로세서에서 예측 알고리즘을 최적화하고 벤치마크했습니다. 그 결과 전반적인 성능이 더욱 향상되었습니다. 인텔 제온 8480 프로세서에서 구현된 최대 평균 처리량은 인텔 제온 8380 프로세서보다 1.74배 높았습니다.2
성능 향상의 일부는 CPU에서 AI 기능을 향상시키는 인텔® Advanced Matrix Extensions(인텔® AMX) 가속기에서 비롯되었습니다. 따라서 이미지 인식, 추천 시스템, 자연어 처리 등이 포함된 워크로드에 적합합니다. 또한 인텔은 인텔 제온 8480 프로세서에서 더 많은 코어 수와 메모리 대역폭을 활용하고 인텔 최적화로 최신 TFS를 적용했습니다.
CPU 레지스터의 크기를 늘리는 인텔® AVX-512 가속기도 프로세스 속도를 높였습니다. Pisetzky는 "인텔 AVX-512를 사용하여 1초에 CPU 코어당 더 많은 요청을 실행할 수 있고, 서버를 더 많이 로드할 수 있습니다."라고 말합니다. 경쟁업체가 인텔 AVX-512 명령 세트 없이 칩당 더 많은 코어를 제공할 수 있지만, 동일한 수준의 성능에 도달하려면 더 많은 코어 수가 필요합니다. Pisetzky는 "따라서 코어 수뿐만 아니라 이러한 코어가 무엇을 할 수 있는지 살펴보아야 합니다.
다양한 솔루션을 제공하는 노하우와 설계 역량 그리고 향후 수년 동안 이 하드웨어를 가장 효과적으로 활용하는 방법에 대한 지식을 갖춘 인텔과 같은 하드웨어 파트너를 보유하는 것이 좋습니다."라고 말합니다. 그는 최신 세대 인텔 플랫폼을 최적화하면 Taboola가 응답 시간을 줄이고 모델 정확성을 향상하는 동시에 서버 효율성이 개선될 때 운영 비용을 최소화하는 데 도움이 되었다고 덧붙입니다.
Pisetzky는 "당사의 비즈니스 모델은 퍼블리셔가 성공하고 광고주가 성공할 때만 작동합니다. 고객이 성공하기를 바라며, 인텔과 협력하면 고객 주위에서 비즈니스 기반을 마련하는 데 정말로 도움이 됩니다."라고 말합니다.
인텔® 기술 하이라이트
- 4세대 인텔® 제온® 프로세서에 맞게 최적화하면 응답 시간이 단축되고 모델 정확성이 향상됩니다
- 인텔® Advanced Matrix Extensions는 CPU에서 AI 기능을 향상시킵니다
- 인텔® AVX-512는 1초 동안 코어당 더 많은 요청을 지원합니다
