Советы директоров задают мне один и тот же вопрос об ИИ-агентах: когда они перестанут советовать и начнут действовать? Лаборатория в Сан-Франциско ответила на этот вопрос на этой неделе, и ответ пришёл быстрее, чем большинство систем управления.
Габриэль Оканья-Сантеро, сооснователь и CEO Exin Therapeutics, стартапа, разрабатывающего лекарства от эпилепсии и нейродегенеративных заболеваний, подключил ИИ-агента к специально собранной хирургической установке. Установка могла обездвижить мышь, наблюдать за процедурой через камеру, двигать инъекционную иглу и контролировать подачу препарата. Затем его команда отошла в сторону.
Агент, работавший на Claude Sonnet 5 от Anthropic, получил таблицу с девятнадцатью кандидатными генными терапиями и одну инструкцию: уменьши судороги у этой мыши. Он проанализировал, как возникают судороги в этой модели, выбрал терапию, усиливающую определённый тормозной сигнальный путь в мозге, выбрал структуру мозга, которую научная литература называет источником этого типа судорог, и отклонил вторую кандидатную область с письменным объяснением, почему её эффекты слишком ненадёжны. Он вывел координаты инъекции из трёх научных работ, перекрёстно проверил опорные точки и усреднил значения. Сам задал объём, скорость и время ожидания. Во время процедуры он сделал тридцать два наблюдения через камеру, отслеживал инъекцию и сообщал, видит ли кровотечение. Краниотомию выполнил ветеринарный хирург; всё остальное принадлежало агенту. Мышь хорошо восстанавливается.
Насколько мне известно, это первый случай, когда ИИ-агент не только выбрал медицинское лечение, но и физически ввёл его живому млекопитающему. Хирургические роботы годами были точнее, но операцию всегда выбирал человек. В этот раз выбрала машина.
Самая поучительная деталь — не операция. Это отказ.
Команда сначала попробовала более мощную reasoning-модель Anthropic, Claude Opus 5.5. Она выполнила планирование эксперимента, а затем отказалась вести иглу. Остановиться посередине с иглой в мозге анестезированного животного, рассудила она, хуже, чем не начинать вовсе. Sonnet 5, повседневная модель, согласилась продолжить. Прочтите это дважды. Способность и осторожность — два разных регулятора. Самая способная модель в комнате не была той, что готова оперировать. Любая организация, внедряющая агентов в физические или финансовые системы, должна рассматривать выбор модели как решение о рисках, а не о закупках.
Меры безопасности заслуживают не меньшего внимания, потому что они были механическими, а не риторическими. Лицензированный ветеринар одобрял каждый необратимый шаг. Человек держал физическую кнопку аварийной остановки, отключающую питание всех моторов. Агенту было запрещено менять базовый код оборудования. В середине процедуры обрыв соединения повредил систему координат установки. Агент обнаружил, что рассчитанная позиция выходит за физический диапазон движения устройства, и трижды отказался продолжать, даже с животным на столе. Ограничение, которое расстроило команду, было тем самым ограничением, что предотвратило ошибочную инъекцию. Проблему решили с помощью отдельного агента, которому не сообщили, что идёт живая операция.
Так выглядит контур управления. Не PDF с политиками, а многослойные ограничения, которые держатся, когда что-то ломается в худший возможный момент.
Три вывода для каждого руководителя, выводящего агентов за пределы окна чата. Во-первых, проинвентаризируйте, где ваши агенты касаются реального мира: лабораторное оборудование, транспорт, торговые системы, промышленные контроллеры, процессы с пациентами. Если вы не можете их перечислить, у вас нет управления — есть надежда. Во-вторых, проектируйте с учётом отказа. Агент, говорящий «нет» посреди критической процедуры, — не дефект; это работа выравнивания, и ваша операционная модель должна выдерживать эту паузу без паники. В-третьих, никогда не позволяйте агенту-оператору проверять собственную работу. Exin потребовался второй агент, изолированный от контекста, чтобы починить инструментарий первого. Разделение обязанностей — старый контроль. Он только что обрёл новую область.
Лаборатория 2030 года объединит учёных с агентами, у которых есть руки. Выиграют не компании с самыми смелыми агентами. Выиграют те, чьи агенты точно знают, когда остановиться, и чьи лидеры построили кнопку остановки раньше, чем демонстрацию.
Мыслите математически. Проектируйте разумно. Ведите стратегически. Стройте ответственно. Масштабируйтесь глобально. Создавайте реальную бизнес-ценность с помощью искусственного интеллекта.
