수혈 환자의 움직임을 감지하는 AI

과제: 환자의 삶의 질을 개선하기 위해 가정 수혈이 보편화되고 있지만, 이상 반응 시 의사의 즉각적인 대응이 필요함

골수이형성증후군, 재생불량성빈혈, 백혈병, 다발성골수종, 악성림프종 등 혈액질환을 앓고 있는 환자의 부담을 덜어 주기 위해 일부 의료기관은 부족한 적혈구와 혈소판을 보충하도록 환자의 집에서 수혈하는 가정 수혈을 제공하기 시작했습니다. 병원 내 수혈이 바람직하지만, 가정 수혈은 입원이나 정기적인 병원 방문이 어려운 환자의 삶의 질(QoL)을 개선하는 것이 목표입니다.

그러나 수혈 치료 중 이상 반응(발열, 가려움 등 알레르기 반응부터 저혈압, 호흡 곤란까지)이 발생할 가능성이 있으므로 수혈 도중 및 수혈 후에는 반드시 의사, 간호사 또는 보호자(일반적으로 가족)가 함께 있어야 합니다.¹ 환자의 보호자가 함께 있는 동안 이러한 이상 반응 중 하나가 관찰되면 즉시 의사에게 알려야 합니다.

의료정보부 부장 Akinori Nishikawa 박사. 수혈과 부과장(부교수) Akinori Nishikawa 박사. 와카야마현립 의과대학 부속병원.

와카야마현립 의과대학 부속병원의 Akinori Nishikawa 박사(수혈과 부교수)와 그의 팀은 현재 이러한 이상 반응을 더욱 쉽게 발견하고 대응할 수 있도록 기술을 활용하고 있습니다.

와카야마현립 의과대학 부속병원.

와카야마현립 의과대학 부속병원이 착수한 첫 번째 이니셔티브는 바이탈 사인 원격 모니터링이었습니다. 이 프로젝트에서 환자는 가슴에 심전도계를, 검지에 산소포화도 측정기를 장착했습니다. 시스템은 데이터를 수집하여 Bluetooth를 통해 침대 옆 스마트폰으로 전송하고, 스마트폰은 4G 네트워크를 통해 병원으로 이 데이터를 전송하여 임상의가 모니터링할 수 있습니다.

Nishikawa 박사는 다음과 같이 연구 진행 상황을 설명했습니다. "동의한 여러 환자를 대상으로 시스템을 테스트한 결과 몇 가지 문제점을 발견했습니다. 침대에서 몸을 뒤척이는 등의 신체 움직임으로 인해 심전도계에 잡음이 발생했고, 가끔 손끝이 차가워 맥박산소측정기에서 정확한 데이터를 수집하지 못했습니다. 따라서 AI와 비디오를 결합하여 환자의 움직임을 식별할 수 있는지 조사했습니다."

솔루션: 비디오 인식으로 수혈 중 위험한 움직임을 감지하기 위해 OpenVINO™ 툴킷의 인텔® 배포 채택

Nishikawa 박사는 수혈하는 동안 아래와 같은 환자의 움직임을 감지하기 위해 딥 러닝이 포함된 비디오 인식을 사용하기로 했습니다.
 

• 수혈 중에 몸을 일으키거나 일어서면 넘어지거나 돌발적으로 수혈 튜브가 분리될 수 있습니다.
• 상지(바늘이 들어가는 오른쪽 또는 왼쪽 팔)를 구부리면 혈액이 제대로 주입되지 않거나 막힐 수 있습니다.

"인지 기능이 떨어진 고령 환자 중 일부는 '수혈 중에 일어나지 마세요' 또는 '팔을 구부리지 마세요'와 같은 지시를 따르지 못할 수 있습니다. 바이탈 모니터링만으로는 파악할 수 없는 위험한 움직임을 감지하여 수혈 중 안전성을 더 강화할 수 있기를 기대합니다"라고 Nishikawa 박사는 말했습니다. Nishikawa 박사는 가정에서 수혈하는 동안 위험한 움직임을 감지하기 위해 OpenVINO™ 툴킷을 채택했습니다. "일본 의료 정보 학회에서 인텔 직원을 만났을 때 OpenVINO 툴킷을 사용한 자세 감지 데모를 시연할 수 있었습니다. 사전 학습된 다양한 모델이 샘플로 제공되어 딥 러닝에 익숙하지 않아도 쉽게 사용할 수 있을 것 같았습니다."

표준 모델이 포함된 OpenVINO™ 툴킷: 신체 자세를 파악하기 위해 2D 인체 자세 추정 모델 채택

OpenVINO™ 툴킷은 다른 딥 러닝 프레임워크에서 개발된 추론 모델을 인텔® 프로세서와 같은 하드웨어 플랫폼에서 실행할 수 있도록 최적화합니다. 시연 또는 평가를 위해 사전 학습된 표준 모델도 제공되며, 이러한 모델을 사용할 경우 프레임워크가 필요하지 않습니다.

이 툴킷은 사람, 차량, 기타 객체에 대한 객체 감지 모델뿐만 아니라 객체 인식 모델, 사람 추적 모델, 의미론적 분할(분류) 모델, 인스턴스 분할 모델, 인체 자세 추정 모델, 이미지 처리 모델, 문자 감지 모델, 손 글씨를 비롯한 문자 인식 모델, 수학 공식 및 동작 인식 모델 등을 제공합니다.

이 중 Nishikawa 박사는 인체 이미지에서 귀, 눈, 코, 목, 어깨, 팔꿈치, 손목, 좌우 골반, 무릎, 발목 등 총 18개의 주요 지점을 감지하는 2D 인체 자세 추정 모델(모델명: "human-pose-estimation-0001")에 주목했습니다.

Human-pose-estimation-0001은 인체 관절을 추정하는 카네기 멜런 대학교의 OpenPose 기술을 사용하여 개발되었습니다. 이 모델은 계산 복잡도를 크게 줄여 일반 PC에서 실용적인 속도로 포즈를 추정할 수 있는 MobileNet v1이라는 컨볼루션 기법을 기반으로 합니다.

그림 1: 와카야마현립 의과대학 부속병원에서 개발한 가정 수혈 환자의 위험한 움직임 감지 시스템 개요.

작동 방식: Python을 사용하는 고유 알고리즘이 설치되어 신체 자세를 파악하여 일어나거나 상지를 구부리는 자세를 감지하면 의사에게 알림을 전송함

가정 수혈 환자를 위한 이상 움직임 감지 시스템의 개요는 그림 1에 나와 있습니다. 동의한 환자의 침대 옆에 스마트폰을 놓고, Zoom을 통해 비디오를 와카야마현립 의과대학 부속병원의 PC로 보내며, OpenVINO 툴킷의 인체 자세 추정 모델과 알고리즘을 사용하여 위험한 움직임을 감지한 다음 의사의 검토를 위해 플래그를 지정합니다. 의사는 Zoom 스마트폰 앱에서 환자의 비디오를 확인하고 환자의 보호자에게 연락할 수 있을 뿐만 아니라 추가적인 왕진을 포함하여 기타 필요한 조치를 취할 수 있습니다.

가정 수혈 환자의 이상 움직임을 감지하는 데 필요한 첫 번째 단계는 환자가 누워 있는지, 앉아 있는지, 서 있는지 등 자세를 파악하는 것입니다.

"침대 옆에 놓인 카메라로 촬영한 비디오는 Zoom을 통해 OpenVINO 툴킷의 인체 자세 추정 모델로 전송됩니다. 모델이 출력한 각 주요 지점의 좌표에서 머리/목, 상체/몸통, 허벅지의 기울기를 계산하여 신체 자세를 파악하는 데 사용합니다."라고 Nishikawa 박사는 설명합니다.

그림 2: OpenVINO™ 툴킷의 2D 인체 자세 추정 모델에서 출력한 값(오른쪽)으로 신체 자세를 파악하는 알고리즘의 순서도.

알고리즘의 개요는 그림 2에 나와 있습니다. 환자가 이불을 덮고 있어 목의 각도만 관찰할 수 있는 경우 목의 각도가 일정 값 이하이면 '누운' 자세로 판단하고, 목과 몸통이 직립이며 허벅지 각도가 수평에 가까우면 '앉은' 자세로 판단하도록 흐름을 구성합니다. 단, 자세 추정 모델 출력에는 '노이즈(잘못된 추정)'가 포함될 수 있으므로 500개의 데이터 포인트(약 60초 모니터링에 해당)의 평균을 구하여 자세를 파악합니다.

신체 자세가 바뀌거나(예: 누웠다가 앉음) 상지가 3분 이상 구부러져 있으면 그림 1의 왼쪽 하단과 같이 의사에게 메시지로 알려 줍니다.

CYBERLINKS CO., LTD의 퍼블릭 클라우드 프로젝트 사업부 대리 Yoshiki Kusumoto LTD.

CYBERLINKS CO., LTD.는 OpenVINO™ 툴킷을 기반으로 플랫폼을 구축하고 Python으로 알고리즘을 설치하는 작업을 담당했습니다. CYBERLINKS의 Yoshiki Kusumoto는 다음과 같이 밝혔습니다. "와카야마현립 의과대학 부속병원은 이상 움직임 감지 시스템을 위해 10세대 Intel® Core™ 프로세서 제품군(1TB HDD)를 채택했습니다. 또한, OpenVINO 툴킷을 설치하거나 인체 자세 추정 모델을 사용하는 데 문제가 없었습니다." 이와 더불어 "고가의 GPU 서버 없이도 범용 CPU가 장착된 PC에서 프로그래밍할 수 있는 AI 배포의 새로운 가능성을 볼 수 있습니다."라고 말했습니다.

그림 3: 14건의 가정 수혈 사례에서 이상 움직임 감지 시스템을 시범 운영한 결과.

결과: 14건의 가정 수혈 테스트에서 환자의 실제 자세와 시스템이 파악한 결과가 약 90% 일치하는 것으로 나타남

프로토타입 시스템의 시범 운영은 가정 수혈에 적극적으로 참여하고 있는 아카사카 클리닉(고베시 나다구)과의 협력을 통해 진행되었습니다. 14건의 가정 수혈 결과는 그림 3에 나와 있습니다. 파란색 그래프는 시스템이 신체 자세의 변화를 파악했을 때 의사에게 메시지를 보낸 횟수이며, 주황색 그래프는 의사가 메시지를 받고 비디오를 확인했을 때 시스템이 파악한 결과와 환자의 실제 신체 자세가 일치한 횟수를 나타냅니다.

누운 자세 및 앉은 자세에 대한 파악과 실제 신체 자세의 일치율은 약 90%로 거의 문제 없는 정확도로 자세가 파악되었음을 확인했습니다. 그러나 서 있는 자세의 경우 알림을 받고 비디오를 확인했으나 서 있는 자세가 아니었습니다. Nishikawa 박사는 다음과 같이 설명합니다. "환자가 설치된 카메라 앞쪽 근처에 앉아 있으면 허벅지 각도가 거의 수직으로 보입니다. 따라서 현재 인체 자세 추정 모델과 파악 알고리즘의 조합으로 인해 환자가 서 있지 않아도 서 있는 자세라고 파악합니다." 그림 3의 오른쪽 열에서 볼 수 있듯이 14건의 가정 수혈 중에 전송된 평균 메시지 수는 7.5개였습니다. Nishikawa 박사는 이 빈도는 의사가 다른 환자를 왕진하면서도 대응할 수 있다고 믿습니다. 최대 메시지 수는 18개였지만, 상지가 3분 이상 구부러져 있다고 감지되면 3분마다 의사에게 알림을 보내도록 시스템을 설정하였습니다. 환자가 팔을 오래 구부리면 메시지 수가 늘어났습니다.

잘못된 파악이 일부 관찰되었지만, Nishikawa 박사는 다음과 같이 밝혔습니다. "가정 수혈은 기본적으로 보호자가 함께합니다. 이 시스템과 바이탈 모니터링은 추가적인 지원일 뿐입니다. 시급하게 결정을 내릴 필요 없이 기본 기능과 성능을 검증했다고 믿습니다."

이 연구는 일본 수혈의학 및 세포치료 학회의 임상 연구 추진 프로젝트에서 지원받아 수행되었으며, 결과는 2021년 6월 제69회 일본 수혈의학 및 세포치료 학회 연례 총회에서 발표되었습니다.

Nishikawa 박사는 앞으로도 낙상 가능성이 높은 갑작스러운 신체 자세 변경(몸을 일으키거나 일어섬)을 감지하는 연구를 이어 나갈 예정입니다. 또한, 와카야마현립 의과대학 부속병원의 기존 PC를 사용하여 이상 반응을 식별하는 프로세스를 구현하고 있습니다. 이와 더불어 OpenVINO™ 툴킷, 의사 결정 알고리즘, 바이탈 모니터링 기능이 탑재된 소형 PC를 환자의 집에 설치하는 이른바 '에지 컴퓨팅'을 연구할 계획을 세웠습니다.

의료 서비스에 대한 치료 부담으로 인해 아직 보편적이지 않지만, 안전성 및 운영 등 가정 수혈에 대한 지원은 계속되고 있습니다. 한편, 일본에서는 인구 고령화가 진행됨에 따라 재택 의료 서비스를 받으면서 집에 머물러야 할 필요성이 커질 것으로 예상됩니다. Nishikawa 박사의 연구를 통해 환자 치료와 안전성을 개선하고 환자 보호자의 부담을 줄이면 더 많은 의료 기관이 가정 수혈을 도입할 수 있을 것입니다.

OpenVINO™ 툴킷의 인텔® 배포는 딥 러닝 애플리케이션 개발을 최적화합니다. OpenVINO™ 툴킷의 인텔® 배포는 오픈 소스 플랫폼으로, 개발자와 데이터 과학자가 고성능 컴퓨팅 비전 및 딥 러닝 애플리케이션의 개발 속도를 높일 수 있도록 설계되었습니다. 컨볼루션 신경망(CNN) 기반인 이 툴킷에는 Caffe 및 TensorFlow 등의 프레임워크용 모델 옵티마이저, 컴퓨팅 비전 가속기용 추론 엔진, 인텔® 하드웨어용 공통 API가 포함되어 있습니다.

이 툴킷은 인텔® 제온® 프로세서, 인텔® 코어™ 프로세서 제품군, 인텔® Movidius™ Myriad™ X 비전 프로젝터 유닛(VPU) 또는 인텔® 프로세서 그래픽 유닛(GPU)에서 실행할 수 있습니다.²

PDF 다운로드 ›