คณะกรรมการบริษัทถามผมคำถามเดิมเสมอเกี่ยวกับเอเจนต์ AI: เมื่อไหร่พวกมันจะหยุดให้คำแนะนำและเริ่มลงมือทำ? ห้องทดลองแห่งหนึ่งในซานฟรานซิสโกตอบคำถามนี้ในสัปดาห์นี้ และคำตอบมาถึงเร็วกว่ากรอบการกำกับดูแลส่วนใหญ่
Gabriel Ocana-Santero ผู้ร่วมก่อตั้งและ CEO ของ Exin Therapeutics สตาร์ทอัพที่พัฒนายารักษาโรคลมชักและโรคระบบประสาทเสื่อม ได้เชื่อมต่อเอเจนต์ AI เข้ากับอุปกรณ์ศัลยกรรมที่สร้างขึ้นเฉพาะ อุปกรณ์นี้สามารถตรึงหนูไว้กับที่ สังเกตขั้นตอนผ่านกล้อง เคลื่อนเข็มฉีดยา และควบคุมการให้สารเคมี จากนั้นทีมของเขาก็ถอยออกมา
เอเจนต์ที่ทำงานบน Claude Sonnet 5 ของ Anthropic ได้รับสเปรดชีตที่มีตัวเลือกยีนบำบัดสิบเก้ารายการและคำสั่งเพียงข้อเดียว: ลดอาการชักของหนูตัวนี้ มันวิเคราะห์ว่าอาการชักเกิดขึ้นอย่างไรในแบบจำลองนี้ เลือกวิธีบำบัดที่เสริมเส้นทางสัญญาณยับยั้งเฉพาะในสมอง เลือกโครงสร้างสมองที่วรรณกรรมทางวิทยาศาสตร์ระบุเป็นต้นกำเนิดของอาการชักชนิดนี้ และปฏิเสธบริเวณที่เป็นตัวเลือกที่สองพร้อมคำอธิบายเป็นลายลักษณ์อักษรว่าเหตุใดผลลัพธ์จึงไม่น่าเชื่อถือ มันได้ค่าพิกัดการฉีดจากเอกสารวิทยาศาสตร์สามฉบับ ตรวจสอบจุดอ้างอิงแบบไขว้และหาค่าเฉลี่ย มันกำหนดปริมาณ ความเร็ว และช่วงเวลารอด้วยตัวเอง ระหว่างขั้นตอน มันทำการสังเกตสามสิบสองครั้งผ่านกล้อง ติดตามการฉีด และรายงานว่าเห็นเลือดออกหรือไม่ สัตวแพทย์ศัลยแพทย์เป็นผู้ทำการเปิดกะโหลก ทุกอย่างหลังจากนั้นเป็นของเอเจนต์ หนูกำลังฟื้นตัวดี
เท่าที่ผมทราบ นี่เป็นครั้งแรกที่เอเจนต์ AI ทั้งเลือกวิธีรักษาและส่งมอบวิธีนั้นให้สัตว์เลี้ยงลูกด้วยนมที่มีชีวิตด้วยตัวเอง หุ่นยนต์ศัลยกรรมแม่นยำกว่ามานานหลายปี แต่มนุษย์เป็นผู้เลือกการผ่าตัดเสมอ ครั้งนี้เครื่องจักรเป็นผู้เลือก
รายละเอียดที่ให้บทเรียนมากที่สุดไม่ใช่การผ่าตัด แต่คือการปฏิเสธ
ทีมลองใช้โมเดลเหตุผลที่ทรงพลังกว่าของ Anthropic คือ Claude Opus 5.5 ก่อน มันวางแผนการทดลอง แล้วปฏิเสธที่จะนำเข็ม เหตุผลของมันคือ การหยุดกลางทางโดยมีเข็มอยู่ในสมองของสัตว์ที่ถูกสลบ แย่กว่าการไม่เริ่มเลย Sonnet 5 โมเดลประจำวัน ยินยอมดำเนินการต่อ โปรดอ่านประโยคนั้นสองครั้ง ความสามารถและความระมัดระวังเป็นปุ่มปรับคนละตัว โมเดลที่สามารถที่สุดในห้องไม่ใช่โมเดลที่ยินดีผ่าตัด องค์กรใดก็ตามที่นำเอเจนต์ไปใช้ในระบบกายภาพหรือการเงินควรถือว่าการเลือกโมเดลเป็นการตัดสินใจเรื่องความเสี่ยง ไม่ใช่การตัดสินใจจัดซื้อ
มาตรการป้องกันก็สมควรได้รับความสนใจไม่แพ้กัน เพราะเป็นเชิงกลไก ไม่ใช่คำพูด สัตวแพทย์ที่มีใบอนุญาตอนุมัติทุกขั้นตอนที่ย้อนกลับไม่ได้ มนุษย์ถือปุ่มหยุดฉุกเฉินจริงที่ตัดไฟมอเตอร์ทั้งหมด เอเจนต์ถูกห้ามแก้ไขโค้ดพื้นฐานของอุปกรณ์ กลางขั้นตอน การเชื่อมต่อที่ขาดหายทำให้ระบบพิกัดของอุปกรณ์เสียหาย เอเจนต์ตรวจพบว่าตำแหน่งที่คำนวณอยู่นอกระยะการเคลื่อนที่ทางกายภาพของอุปกรณ์ และปฏิเสธที่จะทำต่อ สามครั้ง ทั้งที่สัตว์อยู่บนโต๊ะ ข้อจำกัดที่ทำให้ทีมหงุดหงิดก็คือข้อจำกัดเดียวกับที่ป้องกันการฉีดผิดพลาด พวกเขาแก้ปัญหาด้วยเอเจนต์อีกตัวที่ไม่เคยถูกบอกว่ากำลังมีการผ่าตัดจริงอยู่
นั่นคือลักษณะของระนาบควบคุม ไม่ใช่ PDF นโยบาย แต่เป็นข้อจำกัดหลายชั้นที่ยังคงทำงานเมื่อมีบางอย่างพังในช่วงเวลาที่เลวร้ายที่สุด
ข้อคิดสามประการสำหรับผู้บริหารทุกคนที่นำเอเจนต์ไปใช้นอกเหนือหน้าต่างแชท ประการแรก สำรวจว่าเอเจนต์ของคุณสัมผัสโลกจริงตรงไหนบ้าง: อุปกรณ์ห้องทดลอง ยานพาหนะ ระบบเทรด ระบบควบคุมอุตสาหกรรม เวิร์กโฟลว์ผู้ป่วย ถ้าคุณแจกแจงไม่ได้ แปลว่าคุณไม่มีการกำกับดูแล มีแต่ความหวัง ประการที่สอง ออกแบบเผื่อการปฏิเสธ เอเจนต์ที่พูดว่าไม่กลางขั้นตอนที่อ่อนไหวต่อเวลาไม่ใช่ข้อบกพร่อง แต่คือการจัดแนวที่กำลังทำงาน และโมเดลการดำเนินงานของคุณต้องรองรับการหยุดชะงักนั้นได้โดยไม่ตื่นตระหนก ประการที่สาม อย่าให้เอเจนต์ที่ทำงานตรวจการบ้านตัวเอง Exin ต้องใช้เอเจนต์ตัวที่สองที่แยกออกจากบริบทเพื่อซ่อมเครื่องมือของตัวแรก การแยกหน้าที่เป็นการควบคุมแบบเก่า เพิ่งได้โดเมนใหม่
ห้องทดลองในปี 2030 จะจับคู่นักวิทยาศาสตร์กับเอเจนต์ที่มีมือ บริษัทที่ได้ประโยชน์จะไม่ใช่บริษัทที่มีเอเจนต์กล้าหาญที่สุด แต่เป็นบริษัทที่เอเจนต์รู้แน่ชัดว่าเมื่อไหร่ควรหยุด และผู้นำที่สร้างปุ่มหยุดก่อนสร้างตัวสาธิต
คิดอย่างคณิตศาสตร์ ออกแบบอย่างชาญฉลาด นำอย่างมีกลยุทธ์ สร้างอย่างรับผิดชอบ ขยายสู่ระดับโลก สร้างมูลค่าธุรกิจที่แท้จริงผ่านปัญญาประดิษฐ์
