합성 임상 케이스 4건을 서로 다른 3개 모델에 독립적으로 요약시킨 실행 기록입니다. 잘 나온 것만 고르지 않았고, 실행이 실패한 건도 그대로 실었습니다.뒤이어 자문 교수진의 지적을 붙여, 병원 안에서 돌릴 수 있는 모델이 어디까지 갈 수 있는지 정리했습니다.
합성 데이터 · 환자 정보 없음|케이스 4건 · 통계적 주장 아님|임상 효용 미검증
아래 수치는 손으로 옮겨 적은 것이 아니라 실행 기록 원본에서 기계로 뽑았습니다. 실패한 실행도 지우지 않고 그대로 뒀습니다. 문장 수가 많은 모델이 더 나은 모델이라는 뜻은 아닙니다— 임상적 효용은 아직 검증 전이며, 여기서 말할 수 있는 것은 “이렇게 실행됐다”까지입니다.
| 합성 케이스 | GPT-5.6 Sol | Claude Fable 5 | MedGemma 27B |
|---|---|---|---|
| 외과 · 유방 DCIS 수술 후 2년 추적(합성)모델 간 불일치 12건 · 합계 $0.2762 | 19문장20.2s · $0.0597원문 14 / 추론 0 / 불확실 5핵심섹션 8건 | 16문장37.7s · $0.1546원문 12 / 추론 4 / 불확실 0인용 검증 16/18 통과핵심섹션 5건 | 2문장52.9s · $0.0619원문 2 / 추론 0 / 불확실 0인용 검증 2/4 통과핵심섹션 0건 |
| 응급의학과 · 복통 초진, 진행성 대장암 의심(합성)모델 간 불일치 18건 · 합계 $0.3686 | 29문장34.4s · $0.0900원문 19 / 추론 6 / 불확실 4핵심섹션 11건 | 24문장41.4s · $0.2022원문 16 / 추론 7 / 불확실 1인용 검증 24/27 통과핵심섹션 9건 | 2문장69.2s · $0.0764원문 0 / 추론 0 / 불확실 2인용 검증 2/22 통과핵심섹션 0건 |
| 안과 · 라섹 후 안구건조증 처방 시계열(합성)모델 간 불일치 13건 · 합계 $0.2762 | 11문장18.8s · $0.0566원문 7 / 추론 4 / 불확실 0핵심섹션 6건 | 12문장24.7s · $0.1272원문 9 / 추론 3 / 불확실 0인용 검증 12/13 통과핵심섹션 7건 | 실행 실패 |
| 가정의학과 · 의원 외래 반복 방문 1년(합성)모델 간 불일치 15건 · 합계 $0.3364 | 33문장41.9s · $0.0966원문 22 / 추론 4 / 불확실 7핵심섹션 11건 | 20문장32.4s · $0.1543원문 15 / 추론 4 / 불확실 1핵심섹션 8건 | 20문장86.6s · $0.0855원문 0 / 추론 0 / 불확실 20인용 검증 20/24 통과핵심섹션 0건 |
핵심섹션 = 한줄요약 · 놓치면 안 되는 것 · 약물 변경 · 누락/공백. 요약의 판단이 들어가는 부분입니다. MedGemma는 이 값이 0건으로, 다른 두 모델(최소 5건 이상)과 뚜렷이 갈립니다. 실행 기록 생성 시각 2026. 7. 22. PM 2:33:00 · 합성 데이터이므로 환자 정보는 포함되지 않습니다.
이전 판 이 표에는 MedGemma의 ‘실행 실패’ 1건이 실려 있었습니다. 재조사 결과 모델이 실패한 게 아니라 저희 코드의 버그였습니다 — 이 모델은 출처를 문장 안에 [c33]처럼 인라인으로 다는데, 저희 후처리가 그 표기를 버리고 ‘인용 없는 문장’으로 만들어 전량 삭제했습니다. 수정 후 같은 케이스는 정상 실행됩니다. 표의 수치는 수정 후 재실행 결과입니다.
같은 이유로 MedGemma의 라벨 분포는 모델의 판단이 아닙니다. 이 모델은 라벨을 잘 내지 않고, 저희는 라벨이 없으면 보수적으로 ‘불확실’로 채웁니다. 즉 MedGemma 행의 ‘불확실’ 다수는 저희 기본값이며, 모델이 스스로 불확실하다고 판단한 결과로 읽으면 안 됩니다.
인상평만 적으면 검증할 수 없습니다. 각 항목마다 그 모델이 실제로 출력한 문장을 그대로 붙였습니다. 오탈자나 표기도 고치지 않았습니다.
가장 빠르고 가장 쌉니다. 특징은 요약을 넘어 감사(audit)를 한다는 점입니다 — 문서 안에서 서로 어긋나는 기술을 찾아냅니다. 그리고 기록에 없는 항목을 능동적으로 지목합니다.
수술일은 2031-06-06인데 기록상 POD는 ‘2년 1개월’, 평가에는 ‘무병 상태 3년 1개월’로 기간 표기가 불일치함.
ASA class가 기록되지 않아 수술 계획 시 별도 평가 필요.
함께 볼 것: 문장 수가 가장 적어, 상세한 맥락은 덜 담깁니다.
세 모델 중 유일하게 시계열 변화를 읽습니다. 그리고 약물에서 향후 위험으로 추론을 이어갑니다. 가장 임상의처럼 읽히지만, 비용이 Sol의 4배 이상이고 시간도 2배 이상 걸립니다.
LDL 추이: 104→128 (2032→2034) 상승 추세 — 생활습관 상담, 6개월 후 재검
현 투약은 Tamoxifen + Cholecalciferol뿐 — 항응고/항혈소판제 복용 없음 (Tamoxifen은 VTE 위험 약제로 향후 수술 시 고려)
함께 볼 것: 추론(derived) 문장이 많아, 원문에 없는 판단이 섞일 여지도 그만큼 큽니다.
품질이 낮다기보다, 하고 있는 작업이 다릅니다. 한줄요약·약물변경·누락지적 같은 판단 섹션이 거의 비어 있고(§1 표 참조), 대신 원문의 구절을 정확히 오려냅니다. 출처도 별도 필드가 아니라 문장 안에 [c33]처럼 인라인으로 답니다 — 그래서 낸 항목의 일부가 인용 검증에서 탈락하고, 인용 구절을 지정하지 않아 근거가 문장이 아닌 청크 단위로만 확인됩니다. 실행마다 편차도 큽니다(같은 케이스에서 항목 수가 배 이상 달라집니다).
LASEK 양안 / 근시 / 수술 상담 목적 / 나안시력
급성 비인두염[감기] / 급성 편도염 / 권태 및 피로
함께 볼 것: 비용은 상용 모델의 1/15~1/70 수준이고, 병원 안에서 돌릴 수 있는 유일한 후보입니다.
자문 교수진에게서 받은 지적에서 출발했습니다. 요지는 넷이었습니다 — 병원마다 EMR 업체가 다르고, 병원별 서식이 다르고, 의사 개인차가 크고, 그래서 AI가 요약을 잘 못할 수 있다. 그리고 MedGemma는 영어 기반 학습이므로 전이학습부터 시작하는 게 좋겠다는 제안이 붙었습니다.
저희는 EMR과 연동하지 않습니다. 붙여넣은 자유 텍스트를 받습니다. 스키마에 의존하지 않으므로 벤더가 몇 곳이든 구조적으로 영향받지 않습니다. 이건 기능이 부족해서가 아니라 의도한 설계 결정입니다. 다만 그렇게 해도 남는 문제가 있습니다 — 포맷이 아니라 문체의 분산입니다. 이건 실재하고, 아직 저희가 수치로 갖고 있지 않습니다.
§1·§2의 실측을 보면 MedGemma의 문제는 “의학을 모른다”가 아닙니다. 원문에서 임상 용어와 검사 소견을 정확히 집어냅니다. 무너지는 곳은 다른 데입니다.
스키마를 못 채우고, 출처를 정해진 필드가 아니라 문장 안에 인라인으로 달고, 문장 대신 단어를 냅니다. 이건 의학 지식 문제가 아니며 파인튜닝이 가장 잘 고치는 영역입니다. (라벨이 케이스마다 흔들리는 것처럼 보였던 부분은 상당수가 저희 기본값이었습니다 — §1 정정 참조.)
“날짜 표기가 서로 모순된다”를 발견하는 것, “이 약이니 저 위험을 챙겨야 한다”를 연결하는 것, 기록에 없는 것을 지목하는 것. 데이터에 없는 연결을 만드는 능력이라 파인튜닝으로 잘 생기지 않습니다.
| 체급 | 가중치(BF16) | 필요 GPU | 병원 도입 현실성 |
|---|---|---|---|
| 27B | 약 54GB | A100 80GB 1장 | 현실적 |
| 70B | 약 140GB | A100 2~4장 | 급격히 어려워짐 |
| 120B+ MoE | 240GB 이상 | 다중 노드 | 대형병원 외 사실상 불가 |
GPU가 1장이냐 4장이냐는 성능 차이가 아니라 도입되느냐 마느냐를 가릅니다. 그래서 저희는 체급을 먼저 올리는 데 신중합니다. 온프레미스에서 실제로 돌아가는 선을 지키는 것이, 벤치마크 점수를 올리는 것보다 이 제품에서는 앞섭니다.