AI Chatbot의 안면 Injection 치료 계획 생성 능력 평가 및 안전성 한계

연구 개요

본 연구는 안면 미용 injection 치료 계획 수립에 있어 AI 기반 chatbot들의 정확성, 안전성, 임상 적용 가능성을 평가하였다. 2024년 7~10월 40명의 환자(여성 85%, 평균 연령 45.8세)를 대상으로 botulinum toxin 및 hyaluronic acid injection 계획을 6개 AI chatbot과 3개 생성형 vision model을 통해 생성하고, 제품 선택, injection 전략, 안면 분석, 환자 선호도 일치, 안전성의 5개 기준으로 Likert scale(-2~+2)을 이용해 비교 평가하였다.

핵심 결과

• ChatGPTo1과 ChatGPT4o가 최고 점수 달성: 평균 총점 7.87±0.29 및 7.85±0.44로 대부분의 평가 기준에서 우수한 성능을 보였다(p=0.295).
• 세부 영역별 성능: 제품 선택(ChatGPT4o 1.92±0.05), injection 전략 정밀도(ChatGPTo1 1.67±0.08), 환자 선호도 일치(ChatGPTo1 1.95±0.03), 안전성(ChatGPTo1 1.30±0.17) 영역에서 Claude, CopilotPro, Llama 대비 통계적으로 유의하게 우수하였다(p<0.05).
• 안면 분석은 Claude도 우수: Claude는 안면 분석(1.50±0.16)에서 ChatGPT 모델과 유의한 차이 없이 양호한 성능을 보였다(p>0.05).
• Vision model의 한계: 생성형 vision model들은 관련성 있는 시각적 주석 생성에 실패하였다.

임상적 의의

ChatGPT 기반 chatbot은 안면 injection 치료 계획 수립에서 상대적으로 우수한 성능을 보였으나, 안전성 측면에서 여전히 한계가 존재하여 감독 없는 독립적 임상 사용은 불가하다. 현 단계에서 AI는 의사의 의사결정을 보조하는 참고 도구로 활용 가능하며, 최종 치료 계획은 반드시 임상의의 판단 하에 결정되어야 한다.

원문 출처

PubMed 40670654