인텔® CPU에서 LLaMA2 최적화 및 실행

다운로드
791610
2023-10-24
Public

설명

이 백서에서는 하드웨어 플랫폼별 최적화를 수행하여 인텔® CPU 플랫폼에서 실행되는 llama.cpp(오픈 소스 LLaMA 모델 추론 소프트웨어)에서 LLaMA2 LLM 모델의 추론 속도를 개선하는 방법을 보여줍니다.