환자에게는 신뢰할 수 있는 진단과 치료로 가는 분명한 길이 필요합니다. 의료 리더에게 Microsoft의 최신 의료 AI 연구는 실질적인 질문을 던집니다. 여러 단계에 걸쳐 근거를 모으고 결정을 내리는 시스템을 조직은 어떻게 평가해야 하는가라는 질문입니다.
제 생각에 MAI-DxO는 정확도뿐 아니라 의사결정 과정으로도 주목할 가치가 있습니다. CEO와 CTO는 연구 성능과 입증된 임상적 가치 사이의 경계를 분명히 유지하면서 그 과정을 살펴봐야 합니다.
연구 논문 "Sequential diagnosis with language models"는 2026년 10월 22일 Science에 게재되었습니다. GPT-5와 결합된 MAI-DxO는 304건의 어려운 NEJM 사례에서 83.2%의 진단 정확도를 달성했습니다. 참고 자료를 사용한 일반의는 36.1%, 사용하지 않은 경우는 22.3%였습니다. 응급실에서 입원으로 이어진 325건에서는 시스템이 80.3%, 의사가 46.8%였습니다. 이는 사례 기록에 대한 통제된 평가의 결과입니다. [1, 2]
이러한 의사의 백분율은 연구 과제에서의 수행을 나타냅니다. 일상 진료에서 의사의 일반적인 정확도로 제시되어서는 안 됩니다. 벤치마크 종합 점수는 또한 중요한 질문을 답하지 못한 채 남깁니다. 어떤 오류가 가장 큰 해를 끼칠 수 있는가 하는 질문입니다.
MAI-DxO는 진단을 제안하고, 가정에 의문을 제기하며, 질문이나 검사를 선택하는 가상 패널을 조율합니다. 평가는 정보가 도착할 때마다 바뀝니다. 벤치마크는 추정 검사 비용을 포함해 진단에 이르는 경로를 측정합니다. Microsoft는 더 강한 비용 제약을 둔 구성도 평가했습니다. [2]
기업 리더에게 유용한 설계 교훈은 답을 제안하는 것과 그 근거를 검토하는 것을 분리하는 것입니다. 검토자는 무엇이 빠졌는지 파악하고, 우세한 설명에 이의를 제기하며, 중대한 조치가 진행되기 전에 추가 정보를 요청할 수 있어야 합니다.
여러 AI 역할이 같은 실수를 반복할 수 있습니다. 따라서 에이전트 간의 합의는 외부 근거로 검증해야 합니다. 토론을 추가하는 것은 평가할 구성 요소를 하나 더 만드는 것이지, 독립적인 검증이 아닙니다.
저는 세 가지 차원으로 시스템을 비교하겠습니다. 최종 답변 점수를 전체 의사결정 과정의 질과 비교하십시오. 추정 작업 비용을 서비스 제공 총비용과 비교하십시오. 과거 기록에서의 성능을 전향적 사용에서 관찰되는 결과와 비교하십시오. 각 비교는 서로 다른 투자 질문에 답합니다.
예를 들어, 저렴한 권고가 상당한 검토 작업을 만들 수 있습니다. 정답이 도움이 되기에 너무 늦게 올 수도 있습니다. 완전한 기록에서 잘 작동하는 시스템이 중요한 정보가 없을 때는 어려움을 겪을 수 있습니다. 리더에게는 이러한 차이를 드러내는 평가가 필요합니다.
SDBench는 요청된 정보를 제공하는 게이트키퍼 모델과 진단을 평가하는 저지 모델을 사용합니다. 게이트키퍼는 요청된 결과가 기록에 없을 때 사례와 일관된 소견을 생성할 수 있습니다. 이러한 메커니즘은 대화형 평가를 가능하게 하지만, 면밀한 검토가 필요한 가정도 도입합니다. [3]
이것이 중요한 이유는 평가 환경이 측정 결과에 영향을 주기 때문입니다. 병원은 불완전한 정보, 상충하는 진술, 운영 지연 상황에서 시스템이 어떻게 작동하는지 확인해야 합니다. 진단 정확도만으로는 환자 안전, 치료 품질, 임상 팀의 유효성을 입증할 수 없습니다.
Microsoft는 Beth Israel Deaconess Medical Center와의 전향적 연구를 발표했으며, 환자가 시스템과 상호작용하고 그 성능을 의사의 독립적 평가와 비교할 예정입니다. 이는 계획된 검증이지, 이미 달성된 환자 결과 개선의 증거가 아닙니다. [2]
CEO는 도입에 자금을 지원하기 전에 의도한 편익을 정의해야 합니다. 의료 파일럿에서는 특정 질환의 더 빠른 인식이나 어려운 사례 검토에 대한 더 나은 지원이 될 수 있습니다. 임상 책임자를 지명하고, 결과 지표에 합의하고, 파일럿 중단 조건을 설정하십시오. 벤치마크 비교로 인사 결정을 내리는 것은 피하십시오.
CTO는 의도한 워크플로를 중심으로 평가를 구축해야 합니다. 기존 프로세스, 통제된 환경에서 단독으로 작동하는 AI, AI의 지원을 받는 임상의를 비교하십시오. 제안된 서비스를 대표하는 사례를 사용하십시오. 놓친 중증 진단, 불필요한 검사, 결정까지의 시간, 권고 검토 부담을 살펴보십시오. 전체 평균뿐 아니라 관련 환자군별 결과도 보고하십시오.
적절히 관리된 데이터로 후향적 평가부터 시작하십시오. 근거가 진전을 뒷받침하면 임상 리더십과 필요한 승인을 갖춘 감독 하의 전향적 연구를 고려하십시오. 검사를 지시하거나 치료를 변경할 권한은 명시적으로 배정된 상태로 유지하십시오. 시스템이 언제 판단을 양보해야 하는지, 임상의가 어떻게 무효화할 수 있는지 정의하십시오.
권고에 대해 추적 가능한 근거를, 환자 정보에 대한 통제된 접근을, 사용된 모델과 워크플로 버전의 기록을 요구하십시오. 둘 중 하나가 바뀌면 관련 평가를 반복하십시오. 성공적인 파일럿에는 악화를 감지하고 철수를 지원할 수 있는 운영 프로세스가 필요합니다.
재무 리더는 추정 검사 비용과 실현된 절감을 구분해야 합니다. 통합, 임상 검토, 모니터링, 지속적 평가를 사업 타당성에 포함하십시오. 모든 절감은 놓친 진단과 피할 수 있는 검사의 결과와 함께 평가되어야 합니다.
같은 평가 규율은 보험 청구, 조달 예외, 사고 조사에 AI를 고려할 때도 유용합니다. 이러한 응용에는 각자의 근거가 필요합니다. 의료 벤치마크는 재무 또는 운영 워크플로를 검증할 수 없습니다.
MAI-DxO는 AI가 근거를 어떻게 요구하고, 입장을 어떻게 수정하며, 언제 멈출지 어떻게 결정하는지 살펴볼 이유를 제공합니다. 기업 가치는 이러한 행동이 실제 운영 조건에서 정의된 서비스를 개선하는지에 달려 있습니다.
의료 AI 파일럿을 승인하는 입장이라면, 그 권고가 환자 진료에 영향을 미치도록 허용하기 전에 어떤 근거를 요구하시겠습니까?
수학적으로 생각하십시오. 지능적으로 설계하십시오. 전략적으로 이끄십시오. 책임감 있게 만드십시오. 글로벌하게 확장하십시오. 인공지능을 통해 실제 사업 가치를 창출하십시오.
[1] Nori, H. et al. (2026). Sequential diagnosis with language models. Science. https://doi.org/10.1126/science.aeh7930
[2] Microsoft AI(2026년 10월 22일). Building Medical Superintelligence. https://microsoft.ai/news/building-medical-superintelligence/
[3] Microsoft. SDBench 문서. https://microsoft.github.io/sdbench/
