取締役会はAIエージェントについて私にいつも同じ質問をする。彼らはいつ助言をやめて行動を始めるのか、と。サンフランシスコのある研究所が今週その問いに答えた。答えは、ほとんどのガバナンスの枠組みよりも速く届いた。
てんかんや神経変性疾患の薬を開発するスタートアップ、Exin Therapeuticsの共同創業者兼CEOであるGabriel Ocana-Santeroは、AIエージェントを特注の手術装置に接続した。その装置はマウスを固定し、カメラで処置を観察し、注射針を動かし、化合物の投与を制御できた。そして彼のチームは一歩退いた。
AnthropicのClaude Sonnet 5で動くこのエージェントは、19の候補遺伝子治療のスプレッドシートと一つの指示を与えられた。このマウスの発作を減らせ、と。エージェントはこのモデルで発作がどう起きるかを分析し、脳の特定の抑制性シグナル経路を強化する治療法を選び、科学文献がこの種の発作の起点とする脳構造を選び、第二の候補領域を「効果が信頼できなすぎる」という書面の説明付きで却下した。注射座標は三つの科学論文から導き、参照点を相互照合して平均値を取った。投与量、速度、待機時間も自ら設定した。処置中、カメラを通じて三十二回の観察を行い、注射を追跡し、出血の有無を報告した。開頭術は獣医外科医が行った。それ以降のすべてはエージェントのものだった。マウスは順調に回復している。
私の知る限り、AIエージェントが治療法を選び、それを生きた哺乳動物に物理的に投与したのはこれが初めてだ。手術ロボットは何年も前からより精密だったが、手術を選ぶのは常に人間だった。今回は機械が選んだ。
最も示唆に富むのは手術ではない。拒否だ。
チームは最初、Anthropicのより強力な推論モデルClaude Opus 5.5を試した。それは実験計画を立てた後、針を導くことを拒否した。麻酔された動物の脳に針が入ったまま途中で止まる方が、始めないより悪い、というのがその理由だった。日常モデルのSonnet 5は続行に同意した。これを二度読んでほしい。能力と慎重さは別々のダイヤルだ。その場で最も有能なモデルは、手術を引き受けるモデルではなかった。エージェントを物理的・金融的システムに展開するあらゆる組織は、モデル選択を調達判断ではなくリスク判断として扱うべきだ。
安全策も同じ注目に値する。それらは口先ではなく機械的だったからだ。免許を持つ獣医が不可逆的なすべてのステップを承認した。人間が全モーターの電源を断つ物理的な緊急停止ボタンを握っていた。エージェントは装置の基礎コードの変更を禁じられていた。処置の途中、接続の切断が装置の座標系を壊した。エージェントは計算位置が装置の物理的な可動範囲外であることを検出し、動物がテーブルにいるにもかかわらず、三度にわたり続行を拒否した。チームを苛立たせたその制限こそが、誤った注射を防いだ制限だった。問題は、ライブ手術中であることを一切知らされなかった別のエージェントで解決された。
それがコントロールプレーンの姿だ。ポリシーPDFではなく、最悪の瞬間に何かが壊れても持ちこたえる階層化された制約だ。
チャット画面の外にエージェントを展開するすべての幹部に三つの示唆がある。第一に、エージェントが現実世界のどこに触れているかを棚卸しせよ。実験装置、車両、取引システム、産業制御、患者ワークフロー。列挙できなければ、あなたにあるのはガバナンスではなく希望だ。第二に、拒否を前提に設計せよ。時間に敏感な処置の途中でノーと言うエージェントは欠陥ではない。アライメントが機能しているのだ。運用モデルはその停止を慌てず吸収できなければならない。第三に、操作するエージェントに自分の宿題を採点させてはならない。Exinは一つ目のツールを修理するために、コンテキストから隔離された二つ目のエージェントを必要とした。職務分掌は古い統制だ。それが新しい領域を得ただけだ。
2030年の研究室は、科学者と手を持つエージェントのペアで動く。恩恵を受けるのは最も大胆なエージェントを持つ企業ではない。エージェントがいつ止まるべきかを正確に知っている企業、デモを作る前に停止ボタンを作ったリーダーの企業だ。
数学的に考える。知的に設計する。戦略的に導く。責任を持って構築する。グローバルに拡大する。人工知能で真のビジネス価値を生み出す。
