이사회는 AI 에이전트에 관해 늘 같은 질문을 한다. 언제쯤 조언을 멈추고 행동하기 시작하는가? 샌프란시스코의 한 연구실이 이번 주 그 답을 내놓았고, 그 답은 대부분의 거버넌스 프레임워크보다 빨리 도착했다.
간질과 신경퇴행성 질환 치료제를 개발하는 스타트업 Exin Therapeutics의 공동 창업자이자 CEO인 Gabriel Ocana-Santero는 AI 에이전트를 특수 제작된 수술 장비에 연결했다. 이 장비는 쥐를 고정하고, 카메라로 시술을 관찰하고, 주사 바늘을 움직이며, 화합물 투여를 제어할 수 있었다. 그리고 그의 팀은 물러났다.
Anthropic의 Claude Sonnet 5로 구동된 이 에이전트는 열아홉 가지 후보 유전자 치료제가 담긴 스프레드시트와 단 하나의 지시를 받았다. 이 쥐의 발작을 줄여라. 에이전트는 이 모델에서 발작이 어떻게 발생하는지 분석하고, 뇌의 특정 억제성 신호 전달 경로를 강화하는 치료제를 선택했으며, 과학 문헌이 이 유형의 발작 기원으로 지목하는 뇌 구조를 골랐다. 그리고 두 번째 후보 영역은 효과가 너무 신뢰할 수 없다는 서면 설명과 함께 기각했다. 주사 좌표는 세 편의 과학 논문에서 도출해 기준점을 교차 확인하고 평균을 냈다. 용량, 속도, 대기 시간도 스스로 정했다. 시술 중 카메라를 통해 서른두 차례 관찰을 수행하고 주사 과정을 추적하며 출혈 여부를 보고했다. 개두술은 수의사 외과의가 집도했고, 그 이후의 모든 것은 에이전트의 몫이었다. 쥐는 순조롭게 회복 중이다.
내가 알기로, AI 에이전트가 의료 처치를 선택하고 그것을 살아있는 포유동물에게 물리적으로 투여한 것은 이번이 처음이다. 수술 로봇은 수년간 더 정밀했지만, 수술을 선택하는 것은 늘 인간이었다. 이번에는 기계가 선택했다.
가장 교훈적인 대목은 수술이 아니다. 거절이다.
팀은 먼저 Anthropic의 더 강력한 추론 모델인 Claude Opus 5.5를 시도했다. 그것은 실험 계획을 세운 뒤 바늘을 이끌기를 거부했다. 마취된 동물의 뇌에 바늘이 꽂힌 채로 중간에 멈추는 것이 시작하지 않는 것보다 더 나쁘다는 게 이유였다. 일상용 모델인 Sonnet 5는 진행에 동의했다. 이 대목을 두 번 읽기 바란다. 능력과 신중함은 별개의 다이얼이다. 그 자리에서 가장 유능한 모델이 수술하겠다고 나선 모델은 아니었다. 에이전트를 물리적·금융 시스템에 배치하는 모든 조직은 모델 선택을 조달 결정이 아닌 리스크 결정으로 다뤄야 한다.
안전장치도 같은 주목을 받을 만하다. 수사가 아니라 기계적 장치였기 때문이다. 면허를 가진 수의사가 되돌릴 수 없는 모든 단계를 승인했다. 사람 한 명이 모든 모터의 전원을 끄는 물리적 비상정지 버튼을 쥐고 있었다. 에이전트는 장비의 기반 코드 수정이 금지됐다. 시술 도중 연결이 끊기면서 장비의 좌표계가 망가졌다. 에이전트는 계산된 위치가 장치의 물리적 가동 범위를 벗어났음을 감지하고, 동물이 수술대에 있는데도 세 번이나 진행을 거부했다. 팀을 답답하게 한 그 제한이 바로 잘못된 주사를 막은 그 제한이었다. 문제는 라이브 수술이 진행 중이라는 사실을 전혀 알려주지 않은 별도의 에이전트로 해결했다.
그것이 바로 통제면의 모습이다. 정책 PDF가 아니라, 최악의 순간에 무언가가 고장 나도 버티는 계층화된 제약이다.
채팅창 너머로 에이전트를 배치하는 모든 경영진에게 세 가지 시사점이 있다. 첫째, 에이전트가 현실 세계의 어디에 닿아 있는지 목록화하라. 실험 장비, 차량, 트레이딩 시스템, 산업 제어, 환자 워크플로. 열거할 수 없다면 거버넌스가 아니라 희망을 갖고 있는 것이다. 둘째, 거절을 전제로 설계하라. 시간에 민감한 시술 도중에 아니오라고 말하는 에이전트는 결함이 아니다. 정렬이 작동하고 있는 것이며, 운영 모델은 그 멈춤을 당황하지 않고 흡수할 수 있어야 한다. 셋째, 운용 에이전트가 자기 숙제를 스스로 채점하게 하지 마라. Exin은 첫 번째 에이전트의 도구를 고치기 위해 맥락에서 격리된 두 번째 에이전트가 필요했다. 직무 분리는 오래된 통제다. 이제 새로운 영역을 얻었을 뿐이다.
2030년의 연구실은 과학자와 손을 가진 에이전트가 짝을 이루는 곳이 될 것이다. 혜택을 보는 기업은 가장 대담한 에이전트를 가진 기업이 아니다. 에이전트가 정확히 언제 멈춰야 하는지 아는 기업, 그리고 데모를 만들기 전에 정지 버튼부터 만든 리더의 기업이 될 것이다.
수학적으로 생각하세요. 지능적으로 설계하세요. 전략적으로 이끄세요. 책임감 있게 구축하세요. 전 세계로 확장하세요. 인공지능으로 진정한 비즈니스 가치를 창출하세요.
