여러 아키텍처에서 HPC 워크로드 가속화하기
많은 기업에서 컴퓨팅 프로세스를 여러 노드에 분산시키는 HPC 시스템으로 빅 데이터 및 분석 사용 사례를 강화하고, 결과를 가속화하기 위해 워크로드를 병렬로 실행하고 있습니다.
HPC 클러스터에서 작동하도록 소프트웨어를 전환하고 고성능 병렬 컴퓨팅을 효율적으로 프로그래밍하는 작업은 복잡할 수 있으며 개발자에게 상당한 시간 투자를 요구할 수 있습니다. 그러나 올바른 소프트웨어 도구를 사용하면 이 프로세스를 크게 단축할 수 있습니다.
동시에 개발자는 다양한 아키텍처(CPU와 함께 GPU, FPGA 등의 가속기)를 통해 특수 워크로드를 가속할 필요가 증가하는 상황을 맞고 있습니다. 또한, 개발자는 가능한 한 많은 하드웨어 유형 및 컴퓨팅 모델과 함께 작동할 수 있는 소프트웨어를 제공하기 위해 노력하면서 시간과 비용을 희생시키는 여러 장애물을 처리해야 합니다.
이러한 과제를 해결할 수 있도록 인텔은 개발자가 병렬 컴퓨팅에 최적화된 고성능 교차 아키텍처 응용 프로그램을 구축하는 데 도움이 되는 여러 HPC 도구 및 리소스를 제공합니다. 모두 개방형 교차 아키텍처 표준 기반 프로그래밍 모델인 oneAPI를 기반으로 설계되었습니다.
개발자를 위한 인텔® oneAPI HPC 도구
개발자는 인텔® oneAPI Base Toolkit 과 인텔® oneAPI HPC Toolkit을 사용하여 여러 유형의 아키텍처에서 보다 쉽게 HPC 응용 프로그램을 구축, 분석, 최적화 및 확장할 수 있습니다. 이러한 리소스에는 벡터화, 멀티스레딩, 멀티노드 병렬화 및 메모리 최적화 부문의 최신 기술이 포함되어 있으므로 HPC용으로 준비된 소프트웨어를 보다 쉽게 구축할 수 있습니다.
인텔® oneAPI HPC Toolkit으로 수행할 수 있는 작업
| 빌드 | 분석 | 확장 |
|---|---|---|
| 업계 최고의 인텔® 컴파일러 기술 및 라이브러리로 CPU 및 가속기에서 HPC 소프트웨어 구현을 단순화합니다. | 응용 프로그램의 성능, 리소스 사용이 코드에 미치는 영향 그리고 더욱 빠른 교차 아키텍처 성능을 보장하기 위해 최적화할 수 있는 지점을 빠르게 파악합니다. | 포함된 표준 기반 MPI 라이브러리 및 벤치마크, MPI 분석기, 클러스터 튜닝 도구 및 클러스터 상태 확인 도구를 사용하여 공유 메모리 및 분산 메모리(예: 클러스터) 컴퓨팅 시스템에서 응용 프로그램 및 솔루션을 배포합니다. |
인텔® oneAPI HPC Toolkit 구성 요소
- 인텔® oneAPI DPC++/C++ 컴파일러: OpenMP를 지원하는 이 표준 기반 C++ 컴파일러를 사용하여 인텔® CPU, GPU 및 FPGA 플랫폼(인텔® 제온®, 인텔® 프로세서 그래픽을 탑재한 인텔® 코어™ 프로세서, 인텔® Xe 아키텍처 GPU)에서 더 많은 코어와 내장 기술을 활용하십시오.
- 인텔® C++ Compiler Classic: OpenMP를 지원하는 이 표준 기반 C++ 컴파일러를 사용하여 인텔® 제온® 스케일러블 프로세서 및 인텔® 코어™ 프로세서 기반 플랫폼에서 더 많은 코어와 내장 기술을 활용하십시오.
- 인텔® Cluster Checker: 성능 최적화, 가동 시간 개선 및 총 소유 비용 절감을 위해 클러스터 구성 요소들이 원활하게 함께 작동하는지 확인합니다.
- 인텔® Fortran Compiler: CPU 및 GPU 오프로드를 위해 OpenMP를 지원하는 이 표준 기반 Fortran 컴파일러를 사용해 보십시오.
- 인텔® Fortran Compiler Classic: 이 표준 기반 Fortran 컴파일러에는 기존 CPU 중심 워크플로에 연속성을 제공하는 OpenMP 지원이 포함되어 있습니다.
- 인텔® Inspector: 나중에 큰 비용을 초래하는 오류가 발생하지 않도록 설계 사이클 초기에 스레딩, 메모리 및 영구 메모리 오류를 찾아 디버깅합니다.
- 인텔® MPI Library: 인텔® 아키텍처에서 유연하고 효율적이며 확장 가능한 클러스터 메시징을 제공합니다.
- 인텔® 추적 분석기 및 모음기: 전체 런타임 동안 MPI 응용 프로그램 행동을 파악합니다.
(참고: 이 HPC 툴킷은 완전한 작동을 위해 필요한 인텔® oneAPI Base Toolkit의 추가 기능입니다.)
AI 및 빅 데이터 프레임워크를 갖춘 HPC
AI 및 분석 워크로드는 HPC 시스템의 주요 사용 사례입니다. 이러한 응용 프로그램은 작업을 수행하기 위해 엄청난 양의 컴퓨팅을 필요로 합니다. AI 및 빅 데이터 응용 프로그램은 일반적으로 기존 단일 노드 시스템에서 실행되었지만, 작업 흐름을 가속화하고 결과를 개선하기 위해 HPC 기술로 이동하는 조직이 점점 늘어나고 있습니다.
인텔은 AI 및 분석을 가속화하는 데 도움이 될 수 있도록 인텔® oneAPI AI Analytics Toolkit을 제공하고 있습니다. 이 종합 패키지는 인텔® 아키텍처에서 종단 간 데이터 과학 및 분석 파이프라인을 가속화할 수 있도록 데이터 과학자, AI 개발자 및 연구자에게 친숙한 Python 도구 및 AI 프레임워크를 제공합니다.
HPC 툴킷처럼 AI 분석 툴킷 구성 요소도 하위 수준 컴퓨팅 최적화를 위해 oneAPI 라이브러리를 사용하여 제작됩니다. 이 툴킷은 전처리에서 머신 러닝에 이르기까지 종단 간 성능을 극대화하고 효율적인 모델 개발을 위한 상호 운용성을 제공합니다.
AI 분석 툴킷을 사용하면 다음을 할 수 있습니다.
- 인텔® CPU 및 GPU에서 고성능 딥 러닝 교육을 제공하고 TensorFlow 및 PyTorch용 인텔 최적화 프레임워크, 사전 교육된 모델 및 저정밀도 도구를 사용하여 고속 추론을 AI 개발 워크플로에 통합합니다.
- 인텔에 최적화된 컴퓨팅 집약적 Python 패키지, Modin, scikit-learn 및 XGBoost를 사용하여 데이터 전처리 및 머신 러닝 워크플로를 위한 드롭인 가속화를 달성합니다.
- 인텔의 분석 및 AI 최적화에 직접 액세스하여 소프트웨어가 원활하게 함께 작동하는지 확인합니다.
오픈 소스 소프트웨어
oneAPI는 개방형 산업 표준을 기반으로 합니다. HPC 응용 프로그램을 구축할 때 이를 사용하면 독점 프로그래밍 코드 종속을 피하고 비즈니스 기회를 극대화할 수 있습니다. HPC 소프트웨어 및 HPC 최적화에 대한 개방형 접근 방식입니다.
oneAPI 기반에 구축된 인텔® oneAPI 툴킷을 사용하면 레거시 코드와의 손쉬운 통합을 위해 C/C++, Fortran, Python, OpenMP, MPI를 비롯한 HPC 표준과 상호 운용되는 솔루션을 제공할 수 있습니다. 다양한 아키텍처 및 컴퓨팅 모델에 배포하기에 충분한 유연성을 보장할 수 있습니다.
또한, 인텔은 OpenHPC 커뮤니티의 회원사입니다. 인텔® 아키텍처 기반 시스템을 위한 오픈 소스 HPC 플랫폼 소프트웨어인 OpenHPC는 HPC 소프트웨어 스택을 실행하는 데 필요한 통합 및 검증 노력을 줄여 HPC 시스템의 설치 및 관리를 단순화합니다.