소개: 의료 분야의 AI 통합 및 배포
VITEC은 수술실에서 사용되는 기존 비디오 처리 장치 내에 AI 모델을 통합하고 배포하는 임무를 맡았습니다. 이 장치는 비디오 처리를 위해 FPGA 기술을 사용합니다.
훈련된 AI 모델은 다음과 같은 실시간 지원 기능을 수행했습니다.
- 수술 단계를 감지하여 간호 팀에 실시간으로 정보를 제공하고 통찰력을 제공하여 수술실에서 효율적인 워크플로와 환자 안전을 보장합니다.
- 수술 현장에서 불순물의 검출 및 배출을 자동화하여 수술 절차의 무균성과 안전성을 크게 향상시킵니다.
의료 실험실의 데이터 사이언티스트는 사용 가능한 자체 데이터 세트를 사용하여 AI 모델을 개발 및 훈련했으며 VITEC의 FPGA 설계자는 수술실에서 이미 사용 중인 FPGA의 비디오 처리 장치에 모델을 통합하고 배포하는 데 도움을 주었습니다. 데이터 사이언티스트는 FPGA AI Suite 소프트웨어 흐름을 사용하여 훈련된 AI 모델을 FPGA AI 추론 IP로 변환했으며, FPGA 설계자는 표준 Quartus® Prime 소프트웨어 FPGA 설계 흐름을 사용하여 모델을 원활하게 통합 및 검증하고 Arria® 10 FPGA에 배포했습니다.
비디오는 수술실의 중심이 되었으며 외과의에게 새로운 비디오 관련 지원 기능을 지속적으로 제공합니다. 수술실에서 비디오 소스와 모니터가 확산됨에 따라 더 많은 입력/출력이 있는 점점 더 강력한 플랫폼이 탄생했습니다. HDR 형식의 비디오 신호 지원은 수술 중 외과의가 사용할 수 있는 이미지 품질에 혁명을 일으켰고 새로운 실시간 지원 기능의 개발로 이어졌습니다.
과제: 부서 간 협업
과제 중 하나는 FPGA AI 추론 IP를 기존 비디오 처리 장치에 통합하는 것입니다. 비디오 처리 알고리즘은 AI 추론 IP와 병렬로 실행되어야 했습니다. 따라서 VITEC은 AI 추론 IP의 기능과 성능에 영향을 주지 않으면서 현재 설계와 함께 AI 추론 IP를 구현해야 했습니다.
AI 추론 IP가 통합되면 설계를 검증해야 했습니다. 주요 과제는 추론 IP를 FPGA에 통합한 후 VITEC의 FPGA 설계 팀이 확인한 정확도 결과와 일치하는지 확인하기 위해 두 팀 간에 적절한 핸드오프 프로세스를 설정하는 것이었습니다.
솔루션: FPGA AI Suite로 격차 해소
FPGA AI Suite는 Altera FPGA 장치에 대한 사용 편의성 및 푸시 버튼 AI 추론 IP 생성을 지원합니다.
데이터 사이언티스트 팀은 OpenVINO™ 오픈 소스 툴킷과 FPGA AI Suite를 사용하여 훈련된 AI 모델을 FPGA AI 추론 IP로 변환했습니다. OpenVINO는 FPGA AI Suite의 프론트엔드로, PyTorch, TensorFlow 등과 같은 표준 프레임워크에서 개발된 AI 모델을 AI 추론 IP로 변환하는 데 사용하는 중간 표현FPGA 변환하는 데 도움이 됩니다.
VITEC은 플랫폼 디자이너 시스템 통합 도구인 Quartus의 마감 타이밍을 사용하여 AI 추론 IP를 나머지 FPGA 설계와 통합하도록 지원한 다음 설계를 검증했습니다.
1단계. 인기 있는 프레임워크로 AI 모델을 구축하고 훈련합니다.
2 단계. OpenVINO 툴킷을 사용하여 모델을 최적화하고 이를 중간 표현(IR) 데이터 형식으로 변환합니다.
3 단계. FPGA AI Suite를 사용하여 빠른 FPGA 성능 및 로직 사용량 추정치를 실행하여 모델이 대상 메트릭을 충족하는지 확인합니다.
4 단계. 3단계가 타겟 측정항목을 충족하는 경우 OpenVINO를 사용하여 소프트웨어 에뮬레이션을 실행하여 FPGA AI Suite에서 생성된 IP의 정확성을 확인합니다.
5 단계. 3단계가 대상 메트릭을 충족하지 않는 경우 FPGA AI Suite 내의 자동 최적화 기능을 사용하여 원하는 성능 목표 및 논리 사용량을 달성하도록 FPGA IP 아키텍처를 변경합니다. 필요에 따라 반복하고 4단계로 진행합니다.
참고: 소프트웨어 에뮬레이션은 현재 Agilex 5 및 Agilex 3 FPGAs에서만 사용할 수 있습니다. 다른 Altera FPGA 제품군의 정확도는 하드웨어에서 설계를 실행하여 확인할 수 있습니다.
1단계. 의료 실험실 데이터 사이언티스트로부터 FPGA AI Suite 생성 IP를 얻습니다.
2 단계. Quartus Prime 소프트웨어 내의 플랫폼 디자이너 도구를 사용하여 AI 추론 IP를 다른 모든 IP 블록 및/또는 사용자 지정 RTL 로직과 통합합니다. 일반적인 프로세스를 사용하여 FPGA 설계(합성, 배치 및 경로, 근접 타이밍, 시뮬레이션 완료, 전력 분석 등)를 완료하고 FPGA 비트스트림을 생성합니다.
3 단계. Quartus Prime 소프트웨어 프로그래머 유틸리티를 사용하여 추가 테스트/검증을 위해 새로운 AI 기반 설계로 FPGA 기반 하드웨어를 프로그래밍합니다.
영상 처리 장치는 AI 추론 IP의 제어 기능 및 명령이 추가된 API를 통해 제어됩니다. 제어 기능에는 네트워크를 로드하고, 구성하고, CPU에서 이미지에 대한 추론을 실행하고, 결과를 검색하는 기능이 포함됩니다. 두 애플리케이션의 경우 AI 네트워크는 실시간 실행을 위해 API를 통해 로드되었습니다.
비디오 처리 디자인이 배포된 Arria 10 FPGA 디바이스에는 AI 추론 IP가 들어갈 수 있는 미사용 리소스가 충분하여 기존 FPGA 설계에 AI 추론 IP를 더 쉽게 추가할 수 있었습니다. 데이터 사이언티스트 팀은 FPGA AI Suite 도구에서 AI 추론 IP가 사용할 적절한 영역 대상을 설정하고 아키텍처 옵티마이저 도구를 실행하여 최상의 성능을 얻은 후 FPGA 팀에 전달했습니다.
AI 추론 IP의 통합은 Quartus의 다른 IP 통합과 같습니다. FPGA 팀이 AI 추론 IP를 통합한 후 다음 단계는 설계를 검증하는 것이었습니다. 여기에는 AI IP가 제대로 통합되었는지 확인하고 추론을 실행하는 작업이 포함되었습니다. 또한 테스트 계획에는 여러 로드/언로드 주기, 카드 초기화/초기화 해제, 수십 번의 시스템 시작/종료가 포함되어 시스템이 안정적이고 신뢰할 수 있는지 확인했습니다.
데이터 사이언티스트는 레이블이 지정된 테스트 이미지에 AI 추론 IP를 제공했습니다. FPGA 설계 팀은 이 데이터의 실행을 검증했습니다. 여기에는 테스트 이미지에 대한 추론을 반복적으로 실행하고 결과가 항상 표와 일치하는지 확인하는 작업이 포함되었습니다.
또한 통합 테스트 계획은 AI 추론 IP의 추가가 현재 FPGA 설계에서 검증된 기존 이미지 처리 작업에 영향을 미치지 않는지 확인해야 했습니다. 테스트 계획은 일반적인 사용 사례를 기반으로 했습니다.
결과: 수술실에 성공적으로 배치
FPGA 솔루션의 애플리케이션 민첩성을 통해 엔지니어는 FPGA 재프로그래밍 가능성, 확장된 제품 수명 주기 및 다양한 I/O 옵션을 사용하여 기술의 최첨단을 유지하도록 AI 솔루션을 제작하고 발전시킬 수 있습니다.
VITEC은 강력한 AI 기반 기능을 추가하여 비디오 처리 장치를 성공적으로 향상시켰습니다. 기존 장치 및 워크플로에 통합된 이러한 기능은 직접 작동하며 수술 중 효율성을 크게 향상시켜 기존 FPGA 기반 플랫폼에 가치를 더합니다.
FPGA AI Suite의 단일 푸시 버튼 AI 추론 IP 흐름은 데이터 사이언티스트가 사용하는 소프트웨어 워크플로와 FPGA 엔지니어가 사용하는 하드웨어 흐름을 일반적인 엔드 투 엔드 AI 워크플로로 원활하게 결합하여 둘 사이의 효율적인 협업을 가능하게 합니다. OpenVINO 및 FPGA AI Suite Altera® FPGAs 및 소프트웨어 흐름을 사용하면 설계의 미래 경쟁력을 확보하고 새로운 변경 사항에 빠르게 적응하는 데 도움이 됩니다.