생성형 AI 진단 능력, 일반의와 비슷한 수준

생성형 AI는 의학 분야에서도 많은 주목을 받고 있다. 생성형 AI를 어디까지 활용할 수 있는지를 두고 다양한 연구가 이루어졌다. 그중에는 서로 다른 관점으로 첨예하게 대립하는 주제도 있다. 대표적인 것이 ‘생성형 AI 진단’일 것이다. 의료 현장에서 생성형 AI 진단 능력과 AI 활용 가능성을 분석하고자 진행한 메타 연구 결과를 소개한다.

생성형 AI 진단 능력 메타 연구

일본의 오사카 수도대학 의학연구과에서는 ‘AI가 실제 의료 환경에서 얼마나 활용될 수 있는지’, 그리고 ‘의료 전문가의 역량과 비교했을 때 어떤 차이가 있는지’ 등을 파악하기 위한 메타 연구를 실시했다. 

연구팀은 2018년 6월부터 2024년 6월까지 6년간 생성형 AI 진단 능력을 주제로 발표된 논문들을 수집·분석했다. 연구팀에 따르면 총 18,371개 연구를 확인했으며, 그중 10,357개가 서로 중복된 연구였기에 최종적으로 83편의 연구 논문을 대상으로 메타 분석을 실시했다.

연구팀이 분석한 논문들에서 가장 빈번하게 다룬 대규모 언어 모델(LLM)은 단연 ‘챗GPT’였으며 그중 GPT-4 모델과 GPT-3.5 모델이 평가 대상으로 가장 흔하게 다뤄졌다. 이 연구결과는 <네이처(Nature)>의 디지털 헬스케어 분야 파트너 저널인 <NPJ 디지털 메디신(NPJ Digital Medicine)>에 게재됐다. 

생성형 AI 진단, 일반의와 비슷한 수준

메타 연구에 기반한 평가 결과, 전문의의 진단 정확도가 생성형 AI 진단 정확도에 비해 15.8% 더 높은 것으로 나타났다. 생성형 AI의 진단 정확도는 평균 52.1%(95% 신뢰구간은 47.0~57.1%)로 나타났다. 

이중 최신 생성형 AI 모델의 경우, 전문의가 아닌 일반의와 거의 비슷한 정확도를 보이기도 했다. 일반의 진단 정확도는 평균 52.7%로 생성형 AI 평균보다 0.6% 더 높게 나타났다. 다만 이는 평균적인 값이며 GPT-4, GPT-4o, Llama 3 70B, Gemini 1.0 Pro, Gemini 1.5 Pro, Claude 3 등 일부 모델은 일반의보다 약간 더 높은 정확도를 보였다.

연구팀을 이끈 의학연구과 히로타카 타키타 박사는 “이번 연구 결과는 생성형 AI 진단 능력이 전문의 취득 전 일반 의사들과 거의 동등하다는 근거로 볼 수 있다”라며 “이는 의학 교육에 활용할 수도 있고, 의료 자원이 부족한 지역에서 유용하게 쓰일 수 있을 것”이라고 이야기했다.

다만, 타키타 박사는 생성형 AI의 진단 능력을 보다 세밀하게 검증하기 위해, 더욱 복잡한 임상 시나리오를 대상으로 한 평가, 실제 의료 기록을 바탕으로 한 성과 평가 등이 필요하다고도 말했다. 또한, AI 의사결정의 투명성을 높이고, 다양한 특성을 가진 환자 그룹을 대상으로 검증하는 등의 추가 연구도 필요하다고 강조했다.