Cisco UCS/5세대 및 4세대 인텔 제온 프로세서를 사용한 생성 AI 추론 작업

다운로드

Intel® QuickAssist Technology (Intel® QAT) Intel® QuickAssist Technology (Intel® QAT) HPC Library Intel® Xeon® Scalable Processors Intel® Xeon® Scalable Processors

812502
2023-12-29
Public

설명

5세대 인텔® 제온® 프로세서 및 Cisco Nexus로 구동되는 Cisco UCS는 Generative AI를 대규모로 구축하기 위한 확장 가능한 기반입니다. 이 아키텍처는 다음을 제공합니다.

  • 최적의 성능: 전문화된 AI 가속기와 최적화된 소프트웨어 프레임워크를 갖춘 인텔 제온 스케일러블 프로세서가 포함된 Cisco UCS는 추론 성능과 확장성을 크게 향상시킵니다.
  • 균형 잡힌 아키텍처: Cisco UCS는 전체 추론 파이프라인에 중요한 딥 러닝 및 비 딥 러닝 컴퓨팅 모두에서 탁월합니다. 이러한 균형 잡힌 접근 방식은 전반적인 성능과 리소스 활용도를 향상시킵니다.
  • 온디맨드 확장성: Cisco UCS는 생성형 AI 추론 요구 사항에 따라 원활하게 확장됩니다. Cisco Intersight를 사용하여 모델이 발전하고 워크로드가 증가함에 따라 서버를 추가 또는 제거하고, 메모리 용량을 조정하고, 자동화된 방식으로 리소스를 구성할 수 있습니다.

모듈형 또는 랙 폼 팩터를 사용하여 데이터 센터 또는 에지에서 추론을 실행할 수 있는 옵션이 있습니다.

관련 자산
제목 및 설명
Format
언어
사용
보기
Cisco 7th generation of UCS C-Series and UCS X-Series Servers, powered using 4th Gen Intel Xeon Scalable processors., and Pure Storage FlashArray FlashStack on VMware vSphere 8 solution.
보기
Cisco UCS M7 IMM FlexPod Datacenter with VMware vSphere 8.0, and NetApp ONTAP 9.12 powered by Intel design guide
보기
FlashStack Virtual Desktop Infrastructure for VMware Horizon 8 VMware vSphere 8.0 U1 and 4th Gen Intel® Xeon® Scalable processors Design Guide
보기
Cisco UCS, powered by 5th Gen Intel® Xeon® processors, delivers a compelling solution for maximizing Generative AI performance.
보기
Cisco UCS® with Intel® Xeon® Scalable processors and Cisco Nexus® offers a compelling and scalable foundation for deploying generative AI at scale.
보기
Cisco, Red Hat, and Intel provide a proven AI infrastructure to enable VMware-based Red Hat® OpenShift® AI.
보기
This white paper contains a reference architecture that illustrates the benefits of Microsoft SQL Server 2022 on Cisco UCS X210c M6/M7 on 4th Gen Intel® Xeon® Scalable Processors for bare-metal and hybrid cloud deployments.
보기