AI 배포의 어려움을 극복하기
엔터프라이즈 조직들은 경쟁에서 두각을 나타내고, 수익성 및 효율성을 극대화하며, 고객 경험을 향상하는 데 도움이 되는 새로운 AI 강화 기능을 최초로 배포하기 위해 경쟁하고 있습니다.
그러나 많은 솔루션 설계자, 개발자, 기술 리더가 알아냈듯이, 엔터프라이즈 AI 프로젝트를 개념 증명에서 프로덕션으로 전환하는 것은 결코 쉬운 일이 아닙니다. 엔터프라이즈는 여정 전반에 걸쳐 확장 가능하고 적정한 크기의 AI 인프라 구축, 개인정보 보호 및 보안, 솔루션 개발 시간 최적화 등의 과제에 직면합니다.
이 문서에서는 이러한 과제를 해결하고 기타 부상하는 AI의 잠재적 위험을 피하는 데 도움이 되는 핵심 고려 사항, 인사이트 및 엔터프라이즈 AI 솔루션 구축을 위한 팁을 공유합니다. 또한 결과 개선에 도움이 될 수 있는 인텔® 하드웨어 및 소프트웨어의 일부를 소개합니다.
이 문서에서는 솔루션을 처음부터 구축하든, 사전에 구축된 요소로 생성하든, 이미 구축된 오퍼링을 구매하든 관계없이 엔터프라이즈 AI 노력을 간소화할 수 있는 방법을 소개합니다.
필요 없는 특수 하드웨어에 투자하지 마십시오
많은 기술자 사이에는 AI 워크로드에는 GPU 또는 특수 개별 AI 가속기가 필요하다는 오해가 있습니다. 간단히 말해서, 이는 사실이 아닙니다. 이러한 잘못된 믿음은 조직이 AI를 실현하기 위해 상당한 규모의 하드웨어 투자가 필요하다고 인식하도록 유도하며, 조직은 AI 이니셔티브가 비즈니스에 너무 많은 비용을 지출한다고 판단할 수 있습니다.
예를 들어 일반적인 머신 러닝 워크로드는 보통 개별 가속기에서 큰 이점이 있지 않으므로 로지스틱 회귀, 의사 결정 트리, 선형 회귀와 같은 알고리즘을 위해서는 CPU가 매우 효율적인 선택입니다.
GPU(라이센스 포함)와 같은 고급 장비에 에너지와 리소스를 투자하기 전에 워크로드가 실제로 요구하는 사항을 조사해야 합니다. 인텔® 제온® 스케일러블 프로세서를 사용하여 데이터 센터와 에지에서 AI 워크로드를 지원할 수 있습니다. 이러한 프로세서에는 훈련과 추론 모두를 크게 가속할 수 있는 내장된 AI 엔진이 있습니다.
인텔® 제온® 스케일러블 프로세서에 포함된 2개의 AI 엔진은 CPU 전용 아키텍처를 사용하여 강력한 AI 성능을 제공할 수 있습니다.
- 인텔® Advanced Matrix Extensions(인텔® AMX): 자연어 처리, 추천 시스템, 이미지 인식을 포함해 행렬 연산에 의존하는 딥 러닝 훈련 및 추론 워크로드의 성능을 극대화합니다.
- 인텔® Advanced Vector Extensions 512(인텔® AVX-512): 벡터 기반 컴퓨팅과 관련된 AI, 분석, 과학 시뮬레이션, 금융 시뮬레이션 및 기타 컴퓨팅 집약적인 작업을 가속화합니다.
인텔® 제온® 스케일러블 프로세서에서 단독으로 AI 워크로드를 실행하면 기업이 하드웨어 비용을 절감하는 동시에 에너지 효율성을 개선하는 데 도움이 될 수 있습니다. 동시에 개발자는 특수 하드웨어의 복잡성을 피하고 필요한 코드 또는 응용 프로그램 변경을 최소화화하여 이득을 얻을 수 있습니다. 귀사는 이미 인텔® 제온® 스케일러블 프로세서에 투자했을 가능성이 높으므로 AI를 더 쉽게 채택할 수 있습니다.
인텔은 다양한 최고 성능의 AI 솔루션을 제공하고 있지만, 대부분의 기업에게 인텔® 제온® 스케일러블 프로세서로 시작하는 것을 제안합니다. 이 프로세서는 엔터프라이즈 AI 노력을 극대화하기 위해 에지부터 클라우드까지 사용할 수 있습니다.
또한 인텔은 RedHat 및 VMware 와 같은 주요 기업 인프라 플랫폼 제공업체와 협력하여 에지에서 클라우드까지의 성능을 가속하는 동시에 AI 유연성과 효율성을 극대화하고 있습니다.
까다로운 워크로드의 경우, H100 이상을 고려해 보십시오.
인텔® 제온® 스케일러블 프로세서는 저복잡도 및 중간 복잡도 작업을 처리할 수 있지만, 사용 사례에는 특수 하드웨어의 추가 계층이 필요한 까다로운 워크로드가 포함될 수 있습니다. AI 사용 사례가 까다로운 경우, GPU나 특수 목적 AI 프로세서의 형태로 종종 제공되는 강력한 개별 가속기를 필요로 하게 됩니다.
물론 성능과 효율성은 여기서 가장 중요한 부분이며, 인텔® 기술은 경쟁업체에 비해 강력한 이점을 제공합니다. 예를 들어 인텔® Gaudi 3 AI 가속기는 다음을 제공합니다.
- NV H100보다 평균 1.5배 더 빠른 훈련 시간1
- NV H100보다 평균 1.5배 더 빠른 추론2
- NV H100보다 평균 1.4배 더 높은 추론 전력 효율성3
여기에서 인텔® AI 데이터 센터 제품의 심층적인 성능 통계를 검토할 수 있습니다.
소프트웨어 도구는 AI 비밀 무기입니다
AI 솔루션을 처음부터 구축하든 미리 구축된 요소를 활용하는 솔루션을 구축하기를 원하든, AI의 소프트웨어 개발 및 모델 훈련 요소가 하드웨어만큼 중요하다는 것을 알고 계실 것입니다. 이는 특히 대부분의 엔터프라이즈 AI 이니셔티브에 관련될 이기종 아키텍처를 지원하려고 노력할 때 중요합니다.
인텔은 가치 창출 시간을 단축하기 위해 특별히 설계된 소프트웨어 도구, 참조 키트, 최적화된 프레임워크 및 라이브러리, 사전 구축된 솔루션 요소가 있는 광범위한 포트폴리오를 제공합니다. 인텔의 AI 개발 리소스를 사용하면 개발자 생산성을 향상하고, 성능을 최적화하며, AI 기능을 위한 배포 유연성을 높일 수 있습니다.
인텔은 다음과 같이 사용자의 엔터프라이즈 AI 이니셔티브에 큰 영향을 미칠 수 있는 다양한 도구를 제공합니다.
- OpenVINO™ 툴킷은 한 번만 작성하면 어디든 배포할 수 있는 기능으로 AI 추론 배포를 극적으로 간소화합니다.
- 인텔의 AI 도구(이전 명칭: 인텔® AI Analytics Toolkit)는 데이터 과학자, AI 개발자, 연구원에게 익숙한 Python 도구 및 프레임워크를 제공하여 인텔® 아키텍처의 엔드 투 엔드 데이터 과학 및 분석 파이프라인을 가속화합니다.
- 드롭인 AI 프레임워크 최적화는 최소한의 노력으로 인기 있는 딥 러닝 및 머신 러닝 프레임워크의 성능 향상을 실현하는 데 도움이 될 수 있습니다.
또한 인텔은 중요한 엔터프라이즈 AI 사용 사례를 위해 강력한 훈련 및 참조 키트 세트를 제공합니다.
Accenture와 공동으로 구축한 전체 AI 참조 키트 제품군을 확인하시기 바랍니다.
인텔은 강력한 소프트웨어 도구 포트폴리오를 제공할 뿐 아니라, OPEA(Linux Foundation Open Platform for Enterprise AI)에서 중요한 역할을 합니다. 현재 인텔은 생성형 AI 기술 및 워크플로우를 효율적으로 통합하는 생태계 오케스트레이션 프레임워크를 개발하고 개발 협업을 통해 더 빠르게 채택하고 더 나은 비즈니스 가치를 창출하도록 지원합니다. 인텔은 다음과 같은 프레임워크를 갖춘 참조 구현 세트 등에 기여합니다.
- 인텔® 제온® 스케일러블 프로세서 및 인텔® Gaudi® AI 가속기에 대한 챗봇
- 인텔® Gaudi® AI 가속기를 사용하는 문서 요약
- 인텔® Gaudi® AI 가속기에 대한 시각적 질문 답변(VQA)
- 인텔® Gaudi® AI 가속기에서 Visual Studio code의 코드 생성을 위해 설계된 코파일럿
기본 모델을 맞춤화하여 이니셔티브 가속하기
모든 AI 사용 사례는 고유하며, 많은 경우 어느 정도의 모델 훈련이 필요합니다. 좋은 소식은 처음부터 시작할 필요가 없다는 것입니다.
기본 모델이라고도 하는 오픈 소스 모델은 AI 기능을 위한 출발점을 제공합니다. 이러한 모델은 AI 솔루션의 특정 요구 사항에 맞게 맞춤화되고 미세 조정될 수 있습니다. 전반적으로 기본 모델을 미세 조정하는 과정은 처음부터 구축하는 것보다 더 간단하고 빠릅니다. 미세 조정 접근 방식은 사용자가 경쟁자에 맞서 경쟁하면서 귀중한 시간을 절약할 수 있도록 합니다.
인텔® 제온® 스케일러블 프로세서는 모델 미세 조정을 위한 훌륭한 플랫폼으로 AI 개발자가 다음을 수행하게 해줍니다.
- 내장된 인텔® AMX(인텔® Advanced Matrix Extension) 가속기로 최대 10배 더 높은 PyTorch 실시간 추론 및 훈련 성능을 달성합니다4.
- DistilBERT와 같은 NLP(자연어 처리) 모델을 4분 이내에 미세 조정하여 전용 가속기의 필요성을 줄이거나 없앨 수 있습니다5.
- 딥 러닝 최적화 패키지인 DeepSpeed와 함께 Llama 2 LLM(대규모 언어 모델)에서 프롬프트 대기 시간을 줄입니다.
주요 AI 사용 사례에서 인식해야 하는 일반적인 기본 모델은 다음과 같습니다.
전이 학습으로도 알려진 오픈 소스 모델을 맞춤화하는 프로세스에 대해 자세히 알아보십시오. 또한 Hugging Face와 공동으로 구축한 개발자 리소스도 확인하시기 바랍니다.
검색 증강 생성으로 가속화된 생성형 AI 모델 사용자 지정
생성형 AI 응용 프로그램을 추구하는 사용자는 RAG를 활용하여 AI에서 더 빠른 가치 창출 경로를 구현할 수도 있습니다.
RAG 방법론에서 기본적인 대규모 언어 모델은 회사별 독점 데이터와 같은 지식 베이스에 연결되어 관련 컨텍스트 및 정보를 주입합니다. 이 접근 방식을 채택하면 추가적인 모델 훈련을 하지 않고도 맞춤형 AI 기능을 구현할 수 있어 이니셔티브의 전반적인 비용과 복잡성을 줄일 수 있습니다.
이 문서에서 RAG를 구현하는 방법에 대해 자세히 알아보십시오.
전문가를 데이터 과학자로 전환하기
많은 엔터프라이즈 조직에서 팀의 전문 지식을 활용하고 이를 지능형 AI 기능으로 변환하는 일은 상당한 장애물이 됩니다. 특히 기술에 능숙하지 않거나 데이터 과학에 익숙하지 않은 팀일 경우 더욱 그렇습니다.
인텔은 컴퓨터 비전 응용 프로그램을 위해 비 데이터 과학자가 모델을 훈련시킬 수 있는 보다 간단한 방법인 인텔® Geti 플랫폼을 제공합니다. 인텔® Geti 플랫폼은 쉬운 라벨링 및 주석 기능과 함께 팀의 전문 지식을 쉽게 활용하여 더 훌륭하고 더 정확한 컴퓨터 비전 솔루션을 만들 수 있도록 합니다. 인텔® Geti 플랫폼은 모델 내보내기, 재훈련, 하이퍼파라미터 최적화를 완벽하게 지원하므로 이상 감지, 분류, 개체 탐지와 같은 중요한 컴퓨터 비전 사용 사례를 위한 종단 간 솔루션으로 사용할 수 있습니다.
보안 및 규정 준수를 위한 기밀 컴퓨팅 적용
새로운 AI 시대를 헤쳐 나가는 기업들에게 보안 및 규제 준수는 특히 모델 훈련 중에 여러 민감한 데이터 세트를 함께 가져와야 하는 경우 아주 중요한 관심사입니다.
인텔은 실행 위치와 관계없이 민감한 데이터 및 워크로드를 보호할 수 있도록 인텔® 제온® 스케일러블 프로세서의 주요 기능으로 기밀 컴퓨팅 기능 제품군을 제공합니다. 이러한 기술은 격리, 암호화 및 제어, 검증 기능을 통해 사용 중인 데이터를 보호하여 새로운 엔터프라이즈 AI 기회를 실현하도록 설계되었습니다.
기밀 컴퓨팅 포트폴리오에는 다음 내용이 포함됩니다.
- 인텔® Software Guard Extensions(인텔® SGX): 민감하거나 규제된 데이터에서도 비즈니스 협업 및 인사이트를 위한 새로운 기회를 창출합니다.
- 인텔® Trust Domain Extensions(인텔® TDX): VM 수준에서 기밀성을 높이고, 개인 정보 보호를 강화하며, 데이터를 제어합니다.
- 인텔® Tiber™ 트러스트 서비스(이전 명칭: 인텔® Trust Authority): 네트워크, 에지, 클라우드에서 컴퓨팅 자산의 신뢰성을 검증하는 제로 트러스트 인증 SaaS를 통해 기밀 컴퓨팅을 한 단계 더 발전시키십시오.
최종 사용자 AI PC 장비 분석
AI 사용 사례에 조직 내 최종 사용자가 AI 워크로드를 로컬에서 실행하는 것이 포함된다면, AI 준비도를 위한 자산을 평가하고 싶을 것입니다. 성능 저하로 AI 기능에 대한 업스트림 투자가 손상될 수도 있는 팀이 매일 사용하는 노트북과 데스크탑에 AI 워크로드가 새로운 수요를 도입하였습니다.
인텔은 AI PC 투자를 간소화할 수 있도록 서로 다른 컴퓨팅 엔진 세 가지를 단일 패키지로 통합하여 최종 사용자를 위해 AI 성능을 향상시키는 인텔® 코어™ Ultra 프로세서를 제공합니다. 이 프로세서에는 지속적으로 많이 사용되는 AI 워크로드를 저전력으로 처리하여 효율성을 높일 수 있는 통합 신경망 처리 장치가 포함됩니다. 또한 인텔은 300개가 넘는 AI 가속 기능에 대해 100곳 이상의 ISV 파트너와 협력하여 오디오 효과, 콘텐츠 제작, 게이밍, 보안, 스트리밍, 비디오 협업 등 다양한 분야에서 PC 경험을 향상했습니다.
인텔을 통해 모든 곳에 AI를 도입하기
AI 기능을 통해 엔터프라이즈 혁신을 실현해야 한다는 압박이 가중되고 있습니다. 인텔은 이를 빠르고 효율적으로 실현하도록 지원할 준비가 되어 있습니다. 인텔은 업계 최고의 엔터프라이즈 조직과 지속적으로 협력하여 최대 효율성, 성능, 보안과 함께 필요한 AI 기능을 실현하도록 지원합니다.
또한 인텔은 엔터프라이즈의 AI 혁신이 실현되도록 지원하는 ISV, OEM, SI, AI 전문가 및 클라우드 공급업체와도 협력합니다. 엔터프라이즈는 인텔과 생태계 파트너의 구성 요소를 기반으로 구축된 확장 가능한 시스템 전략을 통해 AI를 쉽게 채택할 수 있습니다. 인텔의 플랫폼을 선택하면 전 세계 혁신적인 조직을 위해 AI를 현실로 만드는 다년간의 실제 경험을 활용할 수 있습니다. 인텔의 광범위하고 심층적인 파트너 생태계는 현재와 미래의 AI 결과를 제공하는 데 필요한 개방성과 상호 운용성을 보장합니다.
계속해서 AI 가능성을 탐색하는 동안 인텔® Tiber® 개발자 클라우드를 사용하여 이 문서에서 논의된 많은 인텔® 기술을 실험할 수 있다는 점을 기억하십시오.
인텔® Partner Showcase에서 AI 파트너 생태계가 제공하는 오퍼링을 찾아볼 수도 있습니다.