- 예종철 교수 연구팀, 의사가 분류한 레이블 없이 데이터 축적만으로 스스로 성능을 진화해 결핵, 기흉, 코로나-19 등을 흉부 엑스선 사진을 통해 진단할 수 있는 인공지능 알고리즘 개발
- 매해 건강검진을 통해 모이는 수많은 흉부 엑스선 영상을 활용할 수 있는 원천기술 개발
KAIST는 김재철AI대학원 예종철 교수 연구팀이 서울대학교 병원, 서울 아산병원, 충남대학교 병원, 영남대학교 병원, 경북대학교 병원과의 공동연구를 통해 결핵, 기흉, 코로나-19 등의 흉부 엑스선 영상을 이용한 폐 질환의 자동 판독 능력을 스스로 향상할 수 있는 자기 진화형 인공지능 기술을 개발했다고 27일 밝혔다.
현재 사용되는 대부분의 의료 인공지능 기법은 지도학습 방식 (Supervised learning)으로서 인공지능 모델을 학습하기 위해서는 전문가에 의한 다량의 라벨이 필수적이나, 실제 임상 현장에서 전문가에 의해 라벨링 된 대규모의 데이터를 지속해서 얻는 것이 비용과 시간이 많이 들어 이러한 문제가 의료 인공지능 발전의 걸림돌이 돼왔다.
이러한 문제를 해결하기 위해, 예종철 교수팀은 병원 현장에서 영상의학과 전문의들이 영상 판독을 학습하는 과정과 유사하게, 자기 학습과 선생-학생 간의 지식전달 기법을 묘사한 지식 증류 기법을 활용한 자기 지도학습 및 자기 훈련 방식(Distillation for self-supervised and self-train learning, 이하 DISTL) 인공지능 알고리즘을 개발했다. 제안하는 인공지능 알고리즘은 적은 수의 라벨데이터만 갖고 초기 모델을 학습시키면 시간이 지남에 따라 축적되는 라벨 없는 데이터 자체만을 가지고 해당 모델이 스스로 성능을 향상해 나갈 수 있는 것을 보였다.
실제 의료 영상 분야에서 전문가들이 판독한 정제된 라벨 획득의 어려움은 영상 양식이나 작업과 관계없이 빈번하게 발생하는 문제점이고, 이러한 영상 전문의의 부족 현상은 저소득 국가들과 개발도상국과 같이 결핵과 같은 다양한 전염성 질환이 많이 발생하는 지역에 많다는 점을 고려할 때, 예 교수팀에서 개발한 인공지능 알고리즘은 해당 지역에서 인공지능 모델을 자기 진화시키는 방식으로 진단 정확도를 향상하는 데 큰 도움을 줄 것으로 기대된다.
예종철 교수는 “지도학습 방식으로 성능을 향상하기 위해서는 전문가 라벨을 지속해서 획득해야 하고, 비 지도학습 방식으로는 성능이 낮다는 문제점을 극복한 DISTL 모델은 영상 전문의들의 인공지능 학습을 위한 레이블 생성 비용과 수고를 줄이면서도 지도학습 성능을 뛰어넘었다는 점에서 의미가 있고, 다양한 영상 양식 및 작업에 활용할 수 있을 것으로 기대된다”라고 말했다.
예종철 교수 연구팀의 박상준 박사과정이 제1 저자로 참여한 이번 연구 결과는 국제 학술지 `네이처 커뮤니케이션스(Nature Communications)'에 7월 4일 자로 게재됐다.
한편 이번 연구는 중견연구자지원사업, 범부처전주기의료기기연구개발사업 및 한국과학기술원 중점연구소 사업등의 지원을 받아 수행됐다.
*논문명: Self-evolving vision transformer for chest X-ray diagnosis through knowledge distillation
□ 용어설명
컴퓨터 도움 진단 (Computer-aided diagnosis)
딥러닝 기반의 인공지능 알고리즘 등 컴퓨터 알고리즘을 활용하여 영상 판독 진단을 보조하는 기술.
지도 학습 (Supervised learning)
데이터-라벨 쌍을 활용하여 모델이 해당 데이터에서 상응하는 라벨 결과값을 도출 할 수 있도록 정답을 주고 훈련시키는 학습 방식.
자기 지도 학습 (Self-supervised learning)
라벨이 없는 데이터에서, 인공지능 모델이 변형된 데이터와 원래 데이터를 매칭하거나, 데이터의 결측값을 예측하는 등의 방식으로 데이터 자체의 구조적인 특징을 배우도록 하는 학습 방식.
자기 훈련 (Self-traininig)
데이터-라벨 쌍을 통하여 인공지능 모델을 학습시킨 후, 해당 모델을 라벨이 없는 데이터에 적용하여 예측값을 만들도록 하고, 그 예측 값을 위라벨 (Pseudo-label)로 활용하여 새로운 인공지능 모델을 학습시켜 성능 향상을 시키는 학습 방식.
지식 증류 (Knowledge distillation)
유사한 크기 혹은 더 큰 크기의 선생 모델을 만들고, 선생 모델을 먼저 데이터-라벨 쌍 등을 활용하여 학습 시킨 후, 유사한 크기 혹은 더 작은 크기의 학생 모델이 선생 모델의 예측값을 배우도록 학습시키는 훈련 방식으로 자기 훈련 방식이나, 자기 지도 학습방식, 모델 압축 등의 영역에 활용된다.
그림 1 (A) 자기 훈련 학습 방식 및 (B) 자기 지도 학습 방식, (C) 두 방식을 융합한 예교수팀에서 제안한 DISTL 방식. 지식 증류 방식이라는 공통점을 활용하여, 두 방식의 장점을 최대화하여 성능을 향상시킨다.
그림 2 DISTL 방식을 활용한 임상 환경 시뮬레이션. 초기 라벨 데이터를 가지고 선생 모델을 학습 시킨 후, 이후 늘어나는 라벨 없는 데이터를 활용하여 지속적으로 모델 성능을 향상 시킬 수 있다.
그림 3 DISTL 방식을 적용한 결과. (A-B) 라벨 없는 데이터가 쌓여나감에 따라, DISTL 방식으로 라벨 없는 데이터로 학습된 인공지능 모델의 성능이 같은 양의 라벨-데이터 쌍을 활용한 지도학습 방식의 모델 성능보다 우수한 것을 확인할 수 있다. (C) DISTL 방식으로 개발된 모델은 국내 3개 병원 외부 검증 데이터 세트에서 안정적인 일반화 성능을 보였다. (D) 비전 변환기 모델의 자기 집중 결과물 또한 점점 병변 부위에 집중되는 것을 확인할 수 있다.
그림 4 DISTL 방식으로 학습된 비전 변환기 모델의 집중 시각화 결과를 합성곱 신경망의 시각화 방식과 비교한 결과. 비전 변환기의 자기 집중이 합성곱 신경망보다 정확하게 병변을 특정하는 결과를 확인할 수 있다.
