인텔® Gaudi® 3 AI 가속기
Gen AI에는 크고 ROI에는 더 큽니다.
인텔® Gaudi® 3 AI 가속기
인텔® Gaudi® 3 AI 가속기 소개
고객님께 더 많은 선택권을 제공하는 성능과 확장성 및 효율성을 갖춘 인텔® Gaudi® 3 가속기는 기업이 통찰력, 혁신 및 수입을 실현하도록 지원해드립니다.
생성형 AI 컴퓨팅에 관한 수요가 증가함에 따라 고객님께 선택권을 제공하는 솔루션 대안에 관한 수요가 증가하고 있습니다. 인텔® Gaudi® 3 AI 가속기는 다음을 통해 선택할 수 있도록 만들어졌습니다:
가격 대비 성능 효율성
경쟁 가격 성능을 통하여 엔터프라이즈 AI 팀은 더 많은 훈련을 하고, 더 많이 배포하며, 더 적은 비용을 지출할 수 있습니다.
대규모 확장성
개방형 업계 표준 이더넷을 기반으로 한 유연한 네트워킹으로 시스템을 효율적으로 확장하여 LLM의 컴퓨팅 요구 사항을 해결합니다.
사용하기 쉬운 개발 플랫폼
시간을 절약하며 소프트웨어 투자를 보존하는 인기가 있는 개방형 프레임워크 및 소프트웨어애 관한 효율적인 모델 마이그레이션 및 개발입니다.
인텔® Tiber™ 개발자 클라우드의 지원
인텔® Tiber™ 개발자 클라우드에서 인텔® Gaudi® 가속기로 성능과 사용 편의성을 확인해 보세요.
데이터 센터 AI 워크로드를 위한 효율성, 성능 및 확장성
인텔® Gaudi® 3 AI 가속기는 데이터 센터를 위한 최첨단 생성형 AI 및 LLM을 지원하고, 주요 AI 시스템을 위해 선택한 호스트 CPU인 제온® 스케일러블 프로세서를 페어링하여 엔터프라이즈 성능 및 신뢰성을 제공해드립니다.
Gen AI 교육 및 추론을 위한 인셉션에서 만들어짐
인텔® Gaudi® 3 가속기는 AI 컴퓨팅 디자인에서 만들어진 속도와 효율성으로 업계의 기존 성능 리더에 도전합니다. 인텔® Gaudi® 3 가속기 아키텍처는 8개의 매트릭스 곱셈 엔진(MME), 64개의 완전 프로그래밍 가능 텐서 프로세서 코어(TPC)를 보유하고 있으며, 딥 러닝에 필요한 인기 있는 데이터 유형(FP32, TF32, BF16, FP16 및 FP8)을 지원해드립니다. 인텔® Gaudi® 3 가속기 아키텍처가 AI 컴퓨팅 성능을 보다 효율적으로 제공하는 방법에 관해 자세히 알아보세요.
대규모 시스템 확장, 고성능 확장
뛰어난 네트워킹 성능은 인텔® Gaudi® 3 가속기가 칩에 24200 기가비트 이더넷 포트를 통합하는 프로세서에서 시작되므로 서버에서 보다 효율적인 확장이 가능하며 대규모 및 소규모 모델의 빠른 교육 및 추론을 지원하는 클러스터 규모의 시스템에서 대용량 확장이 가능합니다. 인텔® Gaudi® 네트워킹의 선형적인 확장성은 노드 4개에서 400개로 확장과 상관없이 비용 대비 성능 이점을 유지합니다. 인텔® Gaudi® 가속기 확장에 관한 자세한 정보를 확인해 보세요.
AI 혁신에 영감을 주는 생산성과 자유의 제공
인텔® Gaudi® 소프트웨어
인텔® Gaudi® 소프트웨어는 대부분의 세대 AI 및 LLM 개발의 기반인 PyTorch 프레임워크를 통합하여 개발을 용이하게 합니다. Nvidia GPU에서 인텔® Gaudi® 가속기로 PyTorch의 코드 마이그레이션에는 3줄에서 5줄의 코드만 필요합니다. 또한 옵티멈 하바나 라이브러리의 인텔® Gaudi® 소프트웨어는 개발자가 허깅 페이스 허브에서 수천 개의 인기 있는 세대 트랜스포머 및 확산 모델에 쉽게 액세스할 수 있도록 지원합니다. 인텔® Gaudi® 소프트웨어 개발에 관한 자세한 정보를 확인해 주세요.
판도를 바꾸는 인텔® Gaudi® 3 AI 가속기 소개
인텔® Gaudi® 3 가속기는 기업의 특정 요구 사항을 해결하기 위해 이러한 하드웨어 옵션을 제공해 드립니다
모든 기업에는 원하는 시스템 성능, 확장, 전력, 설치 공간 등을 비롯한 다양한 고려 사항을 포함하여 다양한 AI 컴퓨팅 요구 사항이 있습니다.
AI 동향 및 기술에 대한 최신 정보를 받아 보십시오.
인텔과 계속 소식을 받아보시려면 가입해 보세요
공지 및 면책 조항1 2 3 4
제품 및 성능 정보
Gaudi 3 교육 대비 H100. 여러 모델, 여러 구성에서 예상되는 평균 성능 Llama2 7B 및 13B, GPT-3 175B.
Gaudi 3 추론 대비 H200, 여러 모델, 여러 구성에서 예상되는 평균 성능. Llama2 7B 및 70B, Falcon 180B.
Gaudi 3 추론 대비 H100. 여러 모델, 여러 구성에서 예상되는 평균 성능. Llama2 7B 및 70B, Falcon 180B.
Gaudi 3 추론 전원 효율성 대비 H100. 여러 모델, 여러 구성에서 예상되는 평균 성능. Llama2 7B 및 70B, Flacon 180B H100 및 H200 데이터 소스: https://developer.nvidia.com/deep-learning-performance-training-inference/ai-inference 및 https://developer.nvidia.com/deep-learning-performance-training-inference/training 2024년 4월 획득한 인텔 결과. 결과는 다를 수 있습니다.