董事会一直在问我同一个关于AI智能体的问题:它们何时从建议转向行动?旧金山的一家实验室本周回答了这个问题,而答案到来的速度比大多数治理框架都快。
Gabriel Ocana-Santero是Exin Therapeutics的联合创始人兼首席执行官,这家初创公司致力于开发治疗癫痫和神经退行性疾病的药物。他将一个AI智能体连接到一套定制手术设备上。这套设备可以固定小鼠、通过摄像头观察手术过程、移动注射针并控制化合物的输送。然后他的团队退到了一边。
这个运行在Anthropic的Claude Sonnet 5上的智能体拿到了一张列有十九种候选基因疗法的电子表格和一条指令:减少这只小鼠的癫痫发作。它分析了该模型中癫痫的发作机制,选择了一种能增强大脑特定抑制性信号通路的疗法,选择了科学文献认定的此类癫痫起源脑区,并以书面解释否决了第二个候选区域,理由是其效果太不可靠。它从三篇科学论文推导出注射坐标,交叉核对参考点后取了平均值。它自行设定了注射量、速度和等待时间。在手术过程中,它通过摄像头进行了三十二次观察,跟踪注射进程并报告是否看到出血。兽医外科医生完成了开颅手术;之后的一切都属于这个智能体。小鼠恢复良好。
据我所知,这是AI智能体首次既选择治疗方案又又将其真正施用于活体哺乳动物。手术机器人多年来一直更加精准,但选择手术的始终是人类。这一次是机器做的选择。
最具启示性的细节不是手术本身,而是那次拒绝。
团队最初尝试的是Anthropic更强大的推理模型Claude Opus 5.5。它完成了实验规划,然后拒绝引导针头。它推理道,在麻醉动物脑内留置针头的情况下中途停止,比根本不开始更糟糕。而日常模型Sonnet 5同意继续。请把这一点读两遍。能力与谨慎是两个独立的旋钮。房间里最强大的模型并不是愿意动刀的那个。任何将智能体部署到物理或金融系统的组织,都应把模型选择视为风险决策,而非采购决策。
安全措施同样值得关注,因为它们是机制性的,而非口头上的。持证兽医批准了每一个不可逆步骤。一名人员握着能切断所有马达电源的物理急停按钮。智能体被禁止修改设备的底层代码。手术中途,一次断连破坏了设备的坐标系统。智能体检测到计算出的位置超出了设备的物理运动范围,并拒绝继续,连续三次,尽管动物就躺在手术台上。那个让团队沮丧的限制,正是防止错误注射的同一个限制。他们最终用另一个从未被告知有活体手术正在进行的智能体解决了问题。
这就是控制平面的样子。不是一份政策PDF,而是在最糟糕的时刻出问题依然有效的分层约束。
对每一位将智能体部署到聊天窗口之外的高管,有三点启示。第一,清点你的智能体接触现实世界的每一个环节:实验设备、车辆、交易系统、工业控制、患者流程。如果你列不出来,你拥有的不是治理,而是侥幸。第二,为拒绝而设计。一个在时间紧迫的手术中说不的智能体不是缺陷;那是对齐在起作用,你的运营模式必须能从容消化这种暂停。第三,永远不要让操作智能体给自己的作业打分。Exin需要第二个与上下文隔离的智能体来修复第一个的工具。职责分离是一项古老的控制手段,它只是获得了一个新领域。
2030年的实验室将由科学家与长了手的智能体搭档组成。受益的公司不会是拥有最大胆智能体的公司,而是其智能体确切知道何时停止的公司,以及那些在造演示之前就先造好停止按钮的领导者领导的公司。
以数学思维思考。以智慧进行工程设计。以战略引领。负责任地构建。向全球扩展。通过人工智能创造真正的商业价值。