معيار جديد مبني من مهام خبراء حقيقية مدفوعة الأجر قيّم للتو عشرين نموذج ذكاء اصطناعي متقدماً، وحقق أفضلها 12 بالمئة.
هل يستطيع وكيل ذكاء اصطناعي أن يؤدي العمل الذي تدفع شركتك للخبراء أجراً عليه؟ كيف تبدو لوحة نتائج صادقة لهذا الادعاء؟ وما الذي ينبغي أن تسأله للمورّد قبل التوقيع؟
بصفتي مطور نماذج ذكاء اصطناعي خاصاً ومستشاراً لأمن الذكاء الاصطناعي أعمل مع الشركات الصغيرة والمتوسطة والكبيرة في سيدني، تُطرح عليّ هذه الأسئلة كل أسبوع. والإجابات مهمة للميزانيات والتوظيف والمخاطر.
تشرح هذه المقالة ماذا قاس معيار GDPx، وما الذي تثبته أرقامه وما لا تثبته، والدروس العملية لأي قائد يقيّم وكلاء الذكاء الاصطناعي هذا الربع.
هذا الأسبوع نشرت شركة الأبحاث SemiAnalysis معيار GDPx، وهو معيار يضم 206 مهام عبر 11 مجالاً اختيرت لأن الناس يكسبون عيشهم منها: تصميم الرقائق، الأمن السيبراني، العمل القانوني، التداول الكمي، علم الأحياء، هندسة البرمجيات وغيرها.
قدمت المهام أربع عشرة جهة صناعية شريكة، وجرى تقييم عشرين نموذجاً متقدماً. والمعيار جدير بالملاحظة لا لصعوبته، بل لمادته الخام: أعمال يتقاضى الناس عليها أجراً.
المتصدر Claude Opus 5.5 لم يحقق سوى 12 بالمئة. وسجل Gemini 4 Carbon نسبة 10.9. وسجل GPT-6 Astra نسبة 9.6.
لكن لوحة النتائج نقطة انطلاق، وليست حكماً. هذه الأرقام تقيس مهام شركة واحدة بمعايير الشركة نفسها، وهي تصف نماذج اليوم لا نماذج العام المقبل.
معيار GDPx ليس مثالياً. فهو يستخدم مهام شركة واحدة ومعايير تقييم شركة واحدة، ولا يوجد تحقق مستقل حتى الآن، والشركة تبيع الأبحاث للصناعة نفسها التي تقيّمها.
الدرس هو التعامل مع الرقم بحذر. لكن الاتجاه صحيح، لأنه يقيس النماذج على عمل يدر دخلاً، لا على معلومات تافهة تبهر.
المتصدر أنفق في المتوسط نحو 51 دولاراً لكل مهمة مكتملة. الوصيف أنفق في المتوسط نحو 16 دولاراً فقط لنتيجة تقل عنه بأقل من نقطة.
إذا كانت استراتيجيتك للوكلاء تفترض أن القدرة والتكلفة يتحركان معاً، فهذا الجدول يقول غير ذلك. أرخص طريق إلى النتيجة أصبح استراتيجياً بقدر النتيجة نفسها، وهذا التحليل مكانه قسم المشتريات، لا صفحة التسويق.
العروض التي ستراها هذا الربع ستدعي جميعها الجاهزية لعمل الخبراء. معيار عام معلن وضع للتو السقف عند 12 بالمئة.
هذا لا يجعل الوكلاء بلا فائدة. بل يعني أن منطقة النشر الصادقة اليوم هي المهام الضيقة المُجهزة جيداً بأدوات القياس مع مراجعة بشرية، وليس الأقسام المستقلة التي تُباع على المسرح.
أولاً، انتهى عصر العروض التوضيحية. عندما تبدأ صناعة ما بالجدال حول لوحات النتائج، تكون العروض قد توقفت عن حسم النقاشات.
ثانياً، التكلفة والقدرة لا يتحركان معاً. أدخل تكلفة المهمة المكتملة في المشتريات، بجانب النتيجة.
ثالثاً، اقرأ كل عرض لوكيل على ضوء رقم علني. منطقة النشر الصادقة اليوم ضيقة، ومُقاسة جيداً، وتخضع لمراجعة بشرية.
أخيراً، اسأل كل مورّد ذكاء اصطناعي سؤالاً واحداً هذا الربع: أرني نتيجتك في معيار مستقل قائم على المهام لعمل يشبه عملي، وتكلفتك لكل مهمة مكتملة. إذا لم يستطيعوا الإجابة، فقد تعلمت شيئاً أثمن من العرض التوضيحي.
سقف الـ12 بالمئة ليس سبباً للابتعاد عن وكلاء الذكاء الاصطناعي. بل هو سبب لشرائها بالدليل بدلاً من الحماس.
سيكسب الذكاء الاصطناعي مكانته بنتائج قابلة للقياس، لا بالاستعراض. وفي النهاية، فإن حساب تكلفة المهمة المكتملة، بعدّ صادق، هو من يقرر أين ينتمي هذا التقنية حقاً.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis، مذكرات بحثية وتحليلات للصناعة - https://semianalysis.com
فكروا رياضياً. صمموا بذكاء. قودوا باستراتيجية. ابنوا بمسؤولية. توسعوا عالمياً. اصنعوا قيمة أعمال حقيقية من خلال الذكاء الاصطناعي.
