삼성메디슨의 NerveTrack1은 마취 중 실시간으로 신경 구조를 식별하는 데 사용되는 혁신적인 초음파 기능입니다. NerveTrack의 정확성과 속도는 의사와 AI 엔지니어 간의 협업 프로세스를 통해 개발된 AI 모델 덕분입니다.
NerveTrack 딥 러닝 추론 모델의 교육에는 주석이 달린 수천 개의 초음파 참조 이미지가 필요합니다. 이미지 주석 프로세스는 눈에 잘 띄지 않는 작은 신경 구조를 식별하는 교육을 받고 수년간 경험을 쌓은 의사들이 가장 잘 수행할 수 있습니다. 그러나 의사들에게 이 프로세스는 어렵고 시간 소모적일 수 있습니다. 부분적으로 그 이유는 주석 도구 및 방법이 일반적으로 이미지를 모델 교육에 최종 사용할 컴퓨터 엔지니어 및 데이터 과학자들에 맞춰 설계되었기 때문입니다.
주석 및 모델링 워크플로와 팀 간의 협업을 향상시키기 위해 삼성메디슨은 인텔® Geti™ 플랫폼을 사용했습니다. 이 컴퓨터 비전 AI 플랫폼의 직관적인 사용자 인터페이스 덕분에 소수의 의사 그룹이 불과 몇 주 만에 수만 개의 이미지에 주석을 달고 모델 교육을 위해 AI 엔지니어 팀에 이를 전달할 수 있었습니다.
과제: AI 모델 교육 프로세스에 의료 전문가를 포함시키기
글로벌 의료 장비 제조업체인 삼성메디슨은 자사의 고해상도 초음파 기계를 사용하여 초음파 유도 국소 마취(UGRA) 및 통증 관리를 시행하는 의사들을 위해 실시간 어시스턴트인 NerveTrack을 개발했습니다. 마취 전문의와 기타 의료 전문가가 신경 부위에 주사기를 배치할 때 초음파 디스플레이를 보면 NerveTrack이 더 빠르고 정확하게 신경 구조를 식별할 수 있도록 도와줍니다.
NerveTrack 모델은 실시간으로 신경 구조를 식별할 수 있도록 시스템을 지원하는 딥 러닝 추론 모델을 기반으로 합니다. 초기에 NerveTrack의 맞춤형 AI 추론 모델은 손목의 신경만 감지할 수 있도록 교육을 받았습니다. 적용 범위를 넓히기 위해 삼성메디슨은 다음으로 AI 추론 모델이 팔꿈치, 어깨, 목의 말초 신경 구조도 식별할 수 있도록 기능 확장에 집중했습니다.
말초 신경은 매우 작고 얇기 때문에 감지하기가 특히 어렵습니다. 초음파 이미지의 "노이즈" 또는 아티팩트는 신경 자체를 가릴 수 있습니다. 신경은 모두 비슷하게 보이지 않으므로 이미지 주석 처리 과정에서 마취 전문의와 신경과 전문의의 전문 지식에 의존하여 다양한 이미지에서 신경을 식별하는 것이 매우 중요합니다. 주석이 없으면 딥 러닝 기반 AI 모델이 신경을 올바르게 식별하지 못하거나 이미지의 노이즈와 작은 유기 구조를 구별하지 못할 수 있습니다. 또한, 신경은 신체의 다른 구조에 따라 움직일 수 있으므로 일반적으로 초음파 이미지는 일련의 비디오 프레임으로 캡처됩니다.
신경 구조의 작은 크기, 복잡성 및 다양성으로 인해 삼성메디슨은 각 NerveTrack 모델의 참조로서 수십만 개의 초음파 이미지에 주석을 달아야 했습니다. 그러나 AI 엔지니어는 이미지에 주석을 달 수 없습니다. 이 컴퓨터 전문가들은 인체 해부학에 대해 깊은 지식을 갖고 있지 않기 때문입니다. 대신 마취 전문의, 신경외과 의사 및 기타 임상의와 같은 의료 전문가가 주석을 작성해야 합니다. 이들은 수년간의 연구와 경험을 통해 신경 구조를 정확하게 인지하고 식별할 수 있습니다.
NerveTrack의 적용 범위를 확장하는 데 있어 삼성메디슨의 핵심 과제는 이미지 주석 처리에 필요한 전문 지식을 보유한 바쁜 의사와 전문의들의 시간을 확보하는 것이었습니다.
솔루션: 인텔® Geti™ 플랫폼은 의사의 손에 힘을 실어줍니다
NerveTrack의 첫 번째 버전을 위해 삼성메디슨은 수십만 개의 손목 신경 초음파 이미지를 수집했습니다. 주석 방법론은 AI 엔지니어를 위해 AI 엔지니어가 설계한 오픈소스 및 독점 도구에 의존했고 주석을 작성하는 의사들은 상당한 기술 지원을 필요로 했습니다.
팔꿈치, 어깨, 목의 신경 구조에 대한 새로운 추론 모델을 추가해야 하는 NerveTrack의 다음 버전을 준비할 때 삼성메디슨의 AI 엔지니어들은 가장 정확한 모델을 구축하기 위해 주석이 달린 수만 개의 추가 이미지를 수집해야 한다는 것을 알고 있었습니다.
NerveTrack의 첫 번째 버전을 개발할 때 문제에 직면했던 터라 삼성메디슨은 주석 프로세스를 간소화하고 단순화할 수 있는 다른 솔루션을 모색하기 시작했습니다. 다음 주석 프로젝트를 위해 이 의료 장비 제조업체는 인텔의 직관적이고 사용하기 쉬운 인텔 Geti 플랫폼에 도움을 요청했습니다.
인텔은 두 번째 NerveTrack 추론 모델 버전의 개발을 위한 주석 프로세스를 단순화할 수 있도록 삼성메디슨에 인텔 Geti 플랫폼에 대한 이른 액세스를 제공했습니다. 삼성메디슨은 개념 증명을 위해 단 13개의 초음파 이미지로 구성된 제한적인 데이터 세트에서 새로운 인텔 Geti 플랫폼 지원 주석 프로세스를 테스트해보는 것으로 시작했습니다. 여러 의료 전문가가 이 성공적인 개념 증명에 참여했으며 포인트 앤 클릭 그래픽 사용자 인터페이스와 AI 지원 주석 어시스턴트를 갖춘 인텔 Geti 플랫폼의 직관성 및 사용 편의성을 발견했습니다.
인텔 Geti 플랫폼은 사용자가 모양과 레이블 이미지를 쉽게 그릴 수 있도록 주석 어시스턴트를 제공합니다. 이미지의 하위 집합에 주석을 달면 플랫폼이 주석 예측을 제공합니다. 사용자는 필요에 따라 예측을 수락하거나 수정할 수 있어 레이블 지정 프로세스가 간소화됩니다. 이러한 직관적인 기능 덕분에 의사들은 기술 지원을 거의 필요로 하지 않고 팔꿈치, 어깨, 목의 신경 구조 이미지에 빠르고 정확하게 주석을 달 수 있었습니다.
인텔 Geti 플랫폼의 능동적 학습 기능은 데이터 주석 처리의 자동화를 지원하고 모델 교육에 필요한 주석의 수를 최소화합니다. 능동적 학습 기능은 NerveTrack 프로젝트에서 삼성메디슨에 AI 주석 예측을 제공하여 주석 프로세스를 보다 빠르고 덜 힘들게 만들었습니다.
그림 1. 왼쪽의 이미지는 NerveTrack 머신 러닝 모델의 대상인 ground truth를 나타냅니다. 오른쪽의 이미지에는 주석이 달린 13개의 초음파 이미지를 기반으로 추론 모델 교육 개념 증명을 위해 인텔 Geti 플랫폼을 사용하여 주석이 달려 있습니다.
병원 및 공급자로 인텔 Geti 플랫폼 확장하기
테스트 결과에 만족한 삼성메디슨은 인텔 Geti 플랫폼을 사용하여 불과 두 달 만에 수만 개의 새로운 주석을 수집했습니다.
한국의 여러 병원이 프로젝트에 초음파 비디오 이미지 데이터를 기부했습니다. 의사들은 독립적으로 일하며 각자의 전문 지식을 제공할 수 있었습니다. 주석이 달린 모든 이미지가 제출되었을 때 다양한 접근 방식은 결과 데이터 세트의 편향을 줄이는 데 도움이 되었습니다. 그리고 이를 통해 새로운 NerveTrack 모델을 더 정확하게 만들고 보다 다양한 최종 사용자에게 적용할 수 있을 것이라는 기대가 생겼습니다.
인텔® 기술은 AI 추론, 최적화 및 개발을 지원합니다
딥 러닝 프레임워크를 위한 참조 이미지 데이터베이스를 생성하기 위해 팔꿈치, 어깨, 목의 신경 구조에 대한 주석 이미지의 최종 데이터 세트는 삼성메디슨의 AI 엔지니어 및 프로그래머에 의해 분류 및 처리되었습니다. 이 프레임워크는 NerveTrack 모델의 두 번째 단계를 교육하고 해당 신경 부위를 위한 AI 추론 엔진을 개발하는 데 사용되었습니다. OpenVINO™ 툴킷의 인텔® 배포를 사용하여 대상 초음파 기계에서 NerveTrack을 실행하는 인텔® 코어™ i3 프로세서에 맞춰 모델을 최적화했습니다.
OpenVINO 툴킷의 인텔 배포로부터 지원을 받아 이 새로운 NerveTrack 모델은 규제기관의 승인을 받은 후 삼성메디슨의 고해상도 초음파 기계에 배포될 예정입니다.
팔꿈치, 어깨, 목을 위한 NerveTrack 모델을 교육하고 배포하기 위해 삼성메디슨은 8단계 프로세스를 통해 여러 인텔® 기술을 활용했습니다.
- 초음파 이미지와 비디오를 획득합니다
- 각 신체 부위를 위한 개별 인텔 Geti 플랫폼 프로젝트를 생성합니다
- 플랫폼을 사용하여 작은 샘플 데이터 세트에 직접 주석을 달 의료 전문가를 모집합니다
- 인텔 Geti 플랫폼을 사용하여 개별 모델을 교육합니다
- 인텔 Geti 플랫폼의 능동적 학습 기능을 사용하여 AI 주석 예측을 통해 나머지 이미지 데이터에 주석을 추가합니다
- REST API를 사용하여 모든 병원에서 진행한 각 프로젝트의 데이터 세트를 모두 통합하고, 통합한 데이터 세트를 사용하여 모델을 교육합니다
- OpenVINO 툴킷의 인텔 배포를 사용하여 모델을 최적화하고 배포합니다
- 새 모델을 NerveTrack에 삽입합니다
자세한 내용
삼성메디슨 NerveTrack 소개
삼성전자의 계열사인 삼성메디슨은 초음파 시스템을 제조하는 글로벌 의료 장비 회사입니다. 삼성메디슨은 R&D 역량 그리고 고급 기술의 혁신적인 사용으로 전 세계에 잘 알려져 있습니다. 삼성메디슨의 NerveTrack 모델은 국소 마취 및 기타 치료 시 바늘 배치를 안내받기 위해 삼성메디슨 초음파 장치를 사용하는 의사가 참조할 수 있는 인간 신경 구조 관련 AI 지원 추론 모델입니다.
인텔 Geti 플랫폼 소개
인텔 Geti 플랫폼은 머신 러닝 모델의 레이블링, 교육, 최적화에 사용할 수 있는 하나의 원활한 그래픽 인터페이스를 제공합니다. 이 사용자 친화적인 플랫폼은 능동적 학습을 사용하여 데이터 주석 작성 및 모델 교육을 직관적으로 만들고 가속화합니다.