장치에서 생성 AI(Generative AI) 추론 분산화 — 백서

설명

AI 추론을 데이터 소스에 더 가깝게 도입하면 비용, 개인 정보 보호 및 성능 면에서 상당한 이점을 얻을 수 있습니다. 경량 GenAI 모델(예: 1-8B 매개변수)의 최근 발전은 GenAI 배포를 클라우드에서 에지로 전환할 수 있는 파괴적인 기회를 제공하지만 클라우드 기반 GenAI의 대안은 실용적이고 효율적이어야 합니다. 이 백서에서는 CPU-GPU-NPU(예: 인텔® Core™ Ultra 프로세서, 인텔® Arc™ GPU) 및 오픈 소스 GenAI 모델의 내장 컴퓨팅 가속을 사용하여 GenAI 배포를 클라우드 네이티브(즉, GPU 기반) 솔루션에서 에지(즉 하드웨어 기반) 솔루션으로 전환하는 전략적 접근 방식을 설명합니다. 온디바이스 배포는 낮은 총 소유 비용(TCO), 오프라인 기능, 데이터 주권 및 감소된 대기 시간을 제공하여 이전에는 배포 장벽에 직면했을 수 있는 지역 및 부문에서 강력한 GenAI 모델에 액세스할 수 있도록 합니다.