Lagi akong tinatanong ng mga board ng iisang tanong tungkol sa mga AI agent: kailan sila hihinto sa pagpapayo at magsisimulang kumilos? Isang laboratoryo sa San Francisco ang sumagot sa tanong na iyon ngayong linggo, at ang sagot ay dumating nang mas mabilis kaysa karamihan ng mga balangkas ng pamamahala.
Si Gabriel Ocana-Santero, co-founder at CEO ng Exin Therapeutics, isang startup na bumubuo ng gamot para sa epilepsy at mga sakit na neurodegenerative, ay nagkonekta ng isang AI agent sa isang custom-made na surgical rig. Ang rig ay kayang pigilan ang pag-galaw ng daga, panoorin ang proseso sa pamamagitan ng camera, ilipat ang karayom ng injection, at kontrolin ang pagbibigay ng compound. Pagkatapos, ang kanyang team ay umatras.
Ang agent, na tumatakbo sa Claude Sonnet 5 ng Anthropic, ay binigyan ng spreadsheet na may labinsiyam na posibleng gene therapy at isang tagubilin lamang: bawasan ang pangingisay ng daga na ito. Suriin nito kung paano nagkakaroon ng pangingisay sa modelong iyon, pumili ng therapy na nagpapalakas ng isang tiyak na inhibitory signaling pathway sa utak, pinili ang istruktura ng utak na tinutukoy ng literatura bilang pinagmulan ng ganitong uri ng pangingisay, at tinanggihan ang pangalawang posibleng rehiyon na may nakasulat na paliwanag kung bakit masyadong hindi maaasahan ang mga epekto nito. Hinango nito ang mga koordinata ng injection mula sa tatlong siyentipikong papel, tinawid ang pag-check ng mga reference point at kinuha ang average ng mga halaga. Itinakda nito mismo ang dami, bilis at mga oras ng paghihintay. Sa panahon ng proseso, gumawa ito ng tatlumpu't dalawang obserbasyon sa pamamagitan ng camera, sinubaybayan ang injection at iniulat kung may nakikita itong pagdurugo. Isang beterinaryong siruhano ang gumawa ng craniotomy; lahat ng pagkatapos niyon ay sa agent na. Ang daga ay mahusay na bumabawi.
Sa abot ng aking kaalaman, ito ang unang pagkakataon na ang isang AI agent ay pumili ng medikal na paggamot at pisikal itong ibinigay sa isang buháy na mammal. Ang mga surgical robot ay mas tumpak na maraming taon na, ngunit tao ang laging pumipili ng operasyon. Ngayon, makina ang pumili.
Ang pinaka-nagtuturong detalye ay hindi ang operasyon. Ito ang pagtanggi.
Sinubukan muna ng team ang mas makapangyarihang reasoning model ng Anthropic, ang Claude Opus 5.5. Ginawa nito ang pagpaplano ng eksperimento, pagkatapos ay tumangging gabayan ang karayom. Ang pangangatwiran nito: ang huminto sa gitna na may karayom sa utak ng isang hayop na nakalasing ay mas masahol kaysa hindi magsimula. Ang Sonnet 5, ang pang-araw-araw na modelo, ay pumayag na magpatuloy. Basahin iyan nang dalawang beses. Ang kakayahan at pag-iingat ay dalawang hiwalay na kontrol. Ang pinaka-may kakayahang modelo sa silid ay hindi ang handang mag-opera. Ang anumang organisasyong nagde-deploy ng mga agent sa mga pisikal o pinansyal na sistema ay dapat ituring ang pagpili ng modelo bilang desisyon sa panganib, hindi desisyon sa procurement.
Ang mga pananggalang ay karapat-dapat din ng parehong pansin, dahil ang mga ito ay mekanikal, hindi rhetorical. Isang lisensyadong beterinaryo ang pumayag sa bawat hakbang na hindi na mababawi. Isang tao ang may hawak ng pisikal na emergency stop button na pumapatay sa lahat ng motor. Ipinagbawal sa agent na baguhin ang saligang code ng kagamitan. Sa gitna ng proseso, isang putol na koneksyon ang sumira sa coordinate system ng rig. Natukoy ng agent na ang kalkuladong posisyon nito ay labas sa pisikal na saklaw ng galaw ng aparato at tumangging magpatuloy, tatlong beses, kahit na ang hayop ay nasa mesa. Ang parehong paghihigpit na nag-bigo sa team ang siyang pumigil sa maling injection. Nalutas nila ito sa pamamagitan ng hiwalay na agent na hindi kailanman sinabihan na may live na operasyong nagaganap.
Ganyan ang hitsura ng control plane. Hindi isang policy PDF, kundi mga patong-patong na paghihigpit na nananatili kapag may sirang nangyari sa pinakamasamang sandali.
Tatlong implikasyon para sa bawat executive na nagde-deploy ng mga agent lampas sa chat window. Una, i-inventory kung saan hinahawakan ng inyong mga agent ang totoong mundo: kagamitan sa laboratoryo, mga sasakyan, mga trading system, mga industriyal na kontrol, mga workflow ng pasyente. Kung hindi ninyo sila mailista, wala kayong pamamahala, pag-asa ang meron. Pangalawa, magdisenyo para sa pagtanggi. Ang agent na nagsasabing hindi sa gitna ng time-sensitive na proseso ay hindi depekto; iyon ang alignment na gumagana, at ang inyong operating model ay dapat makapag-absorb ng paghinto na iyon nang walang panic. Pangatlo, huwag hayaang ang operator agent ang mag-grado ng sarili nitong takdang-aralin. Kinailangan ng Exin ang pangalawang agent, na hiwalay sa konteksto, upang ayusin ang mga kagamitan ng una. Ang paghihiwalay ng mga tungkulin ay lumang kontrol. Nagkaroon lang ito ng bagong larangan.
Ang laboratoryo ng 2030 ay magpapares sa mga siyentipiko sa mga agent na may mga kamay. Ang mga kompanyang makikinabang ay hindi ang mga may pinaka-matapang na agent. Ang mga ito ay ang mga kompanya na ang mga agent ay tiyak na alam kung kailan titigil, at ang mga lider ay nagtayo ng stop button bago nagtayo ng demo.
Mag-isip nang matematikal. Mag-engineer nang matalino. Mamuno nang may estratehiya. Bumuo nang may responsibilidad. Lumago nang pandaigdigan. Lumikha ng tunay na halagang pangnegosyo sa pamamagitan ng artificial intelligence.
