Пациенту нужны надёжный диагноз и понятный путь к лечению. Для руководителей здравоохранения последнее исследование Microsoft в области медицинского ИИ ставит практический вопрос: как организации оценивать систему, которая собирает доказательства и принимает решения в несколько шагов?
Моё мнение: MAI-DxO заслуживает внимания не только точностью, но и процессом принятия решений. CEO и CTO стоит изучить этот процесс, сохраняя чёткую границу между результатами исследования и доказанной клинической ценностью.
Работа Sequential diagnosis with language models вышла в Science 22 октября 2026 года. MAI-DxO в паре с GPT-5 достигла диагностической точности 83,2% на 304 сложных случаях NEJM. Врачи общего профиля со справочными ресурсами достигли 36,1%, против 22,3% без них. На 325 случаях госпитализации из отделения неотложной помощи система достигла 80,3% против 46,8% у врачей. Это результаты контролируемых оценок историй болезни. [1, 2]
Эти проценты врачей описывают результаты на задачах исследования. Их нельзя представлять как общую точность врачей в повседневной практике. Общий балл бенчмарка также оставляет без ответа важнейший вопрос: какие ошибки могут причинить наибольший вред?
MAI-DxO координирует виртуальный консилиум, который предлагает диагнозы, оспаривает предположения и выбирает вопросы или исследования. Его оценка меняется по мере поступления информации. Бенчмарк измеряет путь к диагнозу, включая расчётную стоимость исследований. Microsoft также оценила конфигурации с более жёсткими ограничениями по стоимости. [2]
Для руководителей предприятий полезный урок проектирования — отделять предложение ответа от проверки его доказательств. Проверяющий должен уметь определить, чего не хватает, оспорить ведущее объяснение и запросить дополнительные сведения до того, как последует значимое действие.
Несколько ролей ИИ могут повторять одну и ту же ошибку. Поэтому согласие между агентами следует проверять внешними доказательствами. Добавление дискуссии создаёт ещё один компонент для оценки; это не независимая верификация.
Я бы сравнивал системы по трём измерениям. Сравнивать оценку финального ответа с качеством всего процесса принятия решений. Сравнивать расчётную стоимость задачи с полной стоимостью оказания услуги. Сравнивать результаты на исторических записях с исходами, наблюдаемыми при проспективном использовании. Каждое сравнение отвечает на свой инвестиционный вопрос.
Например, дешёвая рекомендация может породить значительную работу по проверке. Правильный ответ может прийти слишком поздно. Система, хорошо работающая на полных записях, может справляться хуже, когда важная информация недоступна. Руководителям нужна оценка, делающая эти различия видимыми.
SDBench использует модель-gatekeeper для предоставления запрошенной информации и модель-judge для оценки диагнозов. Gatekeeper может генерировать согласованные со случаем результаты, когда запрошенный результат отсутствует в записи. Эти механизмы делают интерактивную оценку возможной, но вводят допущения, требующие проверки. [3]
Это важно, потому что среда оценки влияет на измеренный результат. Больница должна установить, как система ведёт себя при неполной информации, противоречивых показаниях и операционных задержках. Одна лишь диагностическая точность не может подтвердить безопасность пациентов, качество лечения или эффективность клинической команды.
Microsoft объявила о проспективном исследовании с Beth Israel Deaconess Medical Center, в котором пациенты будут взаимодействовать с системой, а результаты сравнят с независимыми оценками врачей. Это запланированная валидация, а не уже полученное доказательство улучшения исходов пациентов. [2]
CEO следует определить предполагаемую пользу до финансирования внедрения. В медицинском пилоте это может быть более быстрое распознавание конкретного состояния или лучшая поддержка разбора сложных случаев. Назначьте клинического ответственного, согласуйте показатели результата и условия остановки пилота. Не принимайте кадровых решений на основе сравнения бенчмарков.
CTO следует строить оценку вокруг предполагаемого рабочего процесса. Сравните существующий процесс, ИИ, работающий один в контролируемых условиях, и клиницистов с поддержкой ИИ. Используйте случаи, репрезентативные для предполагаемой услуги. Изучайте серьёзные пропущенные диагнозы, ненужные исследования, время до решения и нагрузку проверки рекомендаций. Отчитывайтесь по релевантным группам пациентов, а не только по общему среднему.
Начните с ретроспективной оценки на данных с надлежащим управлением. Если доказательства поддерживают продвижение, рассмотрите контролируемое проспективное исследование с клиническим руководством и необходимыми разрешениями. Полномочия назначать исследования или менять лечение должны быть явно закреплены. Определите, когда система обязана уступить решение и как клиницист может её отменить.
Требуйте отслеживаемых доказательств для рекомендаций, контролируемого доступа к данным пациентов и записи версии модели и рабочего процесса. Повторяйте соответствующие оценки при изменении любого из них. Успешному пилоту нужен операционный процесс, способный обнаружить ухудшение и обеспечить отказ от системы.
Финансовым руководителям следует различать расчётную стоимость исследований и реализованную экономию. Включайте интеграцию, клиническую проверку, мониторинг и постоянную оценку в бизнес-кейс. Любую экономию следует оценивать вместе с последствиями пропущенных диагнозов и избежимых исследований.
Та же дисциплина оценки полезна при рассмотрении ИИ для страховых выплат, исключений в закупках или расследования инцидентов. Этим приложениям нужны собственные доказательства. Медицинский бенчмарк не может валидировать финансовый или операционный процесс.
MAI-DxO даёт повод изучить, как ИИ запрашивает доказательства, пересматривает позицию и решает, когда остановиться. Корпоративная ценность будет зависеть от того, улучшают ли эти поведенческие свойства определённую услугу в реальных условиях эксплуатации.
Если бы вы утверждали пилот медицинского ИИ, каких доказательств вы бы потребовали, прежде чем позволить его рекомендациям влиять на лечение пациентов?
Мыслите математически. Проектируйте разумно. Руководите стратегически. Создавайте ответственно. Масштабируйте глобально. Создавайте реальную деловую ценность с помощью искусственного интеллекта.
[1] Nori, H. et al. (2026). Sequential diagnosis with language models. Science. https://doi.org/10.1126/science.aeh7930
[2] Microsoft AI (22 октября 2026 г.). Building Medical Superintelligence. https://microsoft.ai/news/building-medical-superintelligence/
[3] Microsoft. Документация SDBench. https://microsoft.github.io/sdbench/
