ظلت مجالس الإدارة تسألني السؤال نفسه عن وكلاء الذكاء الاصطناعي: متى يتوقفون عن تقديم المشورة ويبدأون في التصرف؟ أجاب مختبر في سان فرانسيسكو عن هذا السؤال هذا الأسبوع، ووصلت الإجابة أسرع من معظم أطر الحوكمة.
ربط Gabriel Ocana-Santero، المؤسس المشارك والرئيس التنفيذي لشركة Exin Therapeutics، وهي شركة ناشئة تطور أدوية للصرع والأمراض التنكسية العصبية، وكيل ذكاء اصطناعي بجهاز جراحي مصمم خصيصاً. كان الجهاز قادراً على تثبيت فأر، ومراقبة الإجراء عبر كاميرا، وتحريك إبرة حقن، والتحكم في إيصال مركب. ثم تنحى فريقه جانباً.
تلقى الوكيل، الذي يعمل بنموذج Claude Sonnet 5 من Anthropic، جدول بيانات يضم تسعة عشر علاجاً جينياً مرشحاً وتعليمات واحدة: قلّل نوبات هذا الفأر. حلّل كيفية نشوء النوبات في هذا النموذج، واختار علاجاً يعزز مسار إشارات تثبيطي محدد في الدماغ، واختار بنية الدماغ التي يحددها الأدب العلمي كنقطة منشأ لهذا النوع من النوبات، ورفض منطقة مرشحة ثانية مع شرح مكتوب لسبب عدم موثوقية تأثيراتها. استمد إحداثيات الحقن من ثلاث أوراق علمية، وتحقق من النقاط المرجعية بشكل متقاطع، وحسب متوسط القيم. حدد بنفسه الحجم والسرعة وأوقات الانتظار. أثناء الإجراء أجرى اثنتين وثلاثين ملاحظة عبر الكاميرا، وتتبع الحقن وأبلغ عما إذا كان يرى نزيفاً. كان جراح بيطري قد أجرى فتح الجمجمة؛ كل ما بعد ذلك كان من عمل الوكيل. الفأر يتعافى بشكل جيد.
على حد علمي، هذه أول مرة يختار فيها وكيل ذكاء اصطناعي علاجاً طبياً ويسلّمه فعلياً إلى ثديي حي. كانت الروبوتات الجراحية أكثر دقة منذ سنوات، لكن الإنسان كان دائماً من يختار الجراحة. هذه المرة اختارت الآلة.
التفصيل الأكثر دلالة ليس الجراحة. بل هو الرفض.
جرب الفريق أولاً نموذج الاستدلال الأقوى من Anthropic، Claude Opus 5.5. قام بالتخطيط التجريبي ثم رفض توجيه الإبرة. التوقف في منتصف الطريق وإبرة في دماغ حيوان مخدّر، كما استنتج، أسوأ من عدم البدء أصلاً. أما Sonnet 5، النموذج اليومي، فوافق على المتابعة. اقرأ ذلك مرتين. القدرة والحذر مؤشران منفصلان. النموذج الأكثر قدرة في الغرفة لم يكن المستعد للجراحة. على أي منظمة تنشر الوكلاء في أنظمة مادية أو مالية أن تعامل اختيار النموذج كقرار مخاطر، لا قرار شراء.
تستحق الضمانات الاهتمام نفسه، لأنها كانت ميكانيكية لا خطابية. وافق طبيب بيطري مرخص على كل خطوة لا رجعة فيها. أمسك إنسان بزر إيقاف طارئ مادي يقطع الطاقة عن كل المحركات. ومُنع الوكيل من تعديل الكود الأساسي للمعدات. في منتصف الإجراء، أفسد انقطاع اتصال نظام إحداثيات الجهاز. اكتشف الوكيل أن موضعه المحسوب خارج نطاق الحركة الفيزيائي للجهاز ورفض الاستمرار، ثلاث مرات، حتى مع وجود الحيوان على الطاولة. القيد الذي أحبط الفريق هو نفسه الذي منع حقنة خاطئة. حلّوا المشكلة بوكيل منفصل لم يُخبر أبداً بأن جراحة حية كانت جارية.
هكذا تبدو طبقة التحكم. ليست ملف سياسات PDF، بل قيوداً متعددة الطبقات تصمد عندما ينكسر شيء ما في أسوأ لحظة ممكنة.
ثلاثة دروس لكل مسؤول تنفيذي ينشر الوكلاء خارج نافذة الدردشة. أولاً، احصر أين يلامس وكلاؤك العالم الحقيقي: معدات المختبرات، المركبات، أنظمة التداول، الضوابط الصناعية، سير عمل المرضى. إذا لم تستطع تعدادها، فليس لديك حوكمة، بل أمل. ثانياً، صمّم للرفض. الوكيل الذي يقول لا في منتصف إجراء حرج ليس عيباً؛ إنه المحاذاة تعمل، ويجب أن يستوعب نموذجك التشغيلي هذا التوقف دون ذعر. ثالثاً، لا تدع الوكيل المشغّل يقيّم عمله بنفسه أبداً. احتاجت Exin وكيلاً ثانياً، معزولاً عن السياق، لإصلاح أدوات الأول. الفصل بين المهام ضابطة قديمة. لقد كسبت للتو مجالاً جديداً.
مختبر عام 2030 سيقرن العلماء بوكلاء لهم أيدٍ. الشركات المستفيدة لن تكون صاحبة الوكلاء الأجرأ. بل تلك التي يعرف وكلاؤها بالضبط متى يتوقفون، والتي بنى قادتها زر الإيقاف قبل أن يبنوا العرض التجريبي.
فكروا رياضياً. صمموا بذكاء. قودوا باستراتيجية. ابنوا بمسؤولية. توسعوا عالمياً. اصنعوا قيمة أعمال حقيقية من خلال الذكاء الاصطناعي.
