یک بنچمارک جدید که از کارهای واقعی و حقوق‌بگیر متخصصان ساخته شده، همین حالا بیست مدل پیشرو هوش مصنوعی را ارزیابی کرده و بهترین آن‌ها ۱۲ درصد امتیاز گرفته است.
آیا یک عامل هوش مصنوعی می‌تواند کاری را انجام دهد که شرکت شما برایش به متخصصان حقوق می‌دهد؟ تابلوی امتیاز صادقانه برای این ادعا چه شکلی است؟ و پیش از امضا باید از فروشنده چه بپرسید؟
من به‌عنوان توسعه‌دهنده مستقل مدل‌های هوش مصنوعی و مشاور امنیت هوش مصنوعی که با کسب‌وکارهای کوچک، متوسط و بزرگ در سیدنی کار می‌کنم، هر هفته این پرسش‌ها از من پرسیده می‌شود. پاسخ‌ها برای بودجه، نیروی انسانی و ریسک مهم‌اند.
این مقاله توضیح می‌دهد که بنچمارک GDPx چه چیزی را سنجید، عددهایش چه چیزی را ثابت می‌کنند و چه چیزی را نه، و چه درس‌های عملی برای هر رهبری که این فصل عامل‌های هوش مصنوعی را ارزیابی می‌کند دارد.
این هفته شرکت پژوهشی SemiAnalysis بنچمارک GDPx را منتشر کرد؛ بنچمارکی با ۲۰۶ تکلیف در ۱۱ حوزه که به این دلیل انتخاب شده‌اند که مردم با آن‌ها امرار معاش می‌کنند: طراحی تراشه، امنیت سایبری، کار حقوقی، معاملات کمی، زیست‌شناسی، مهندسی نرم‌افزار و بیشتر.
چهارده شریک صنعتی تکالیف را ارائه کردند و بیست مدل پیشرو ارزیابی شدند. این بنچمارک نه به‌خاطر دشواری‌اش، بلکه به‌خاطر ماده خامش قابل توجه است: کارهایی که مردم برای انجامشان حقوق می‌گیرند.
پیشتاز، Claude Opus 5.5، فقط ۱۲ درصد گرفت. Gemini 4 Carbon امتیاز ۱۰.۹ گرفت. GPT-6 Astra امتیاز ۹.۶ گرفت.
با این حال، تابلوی امتیازها نقطه شروع است، نه حکم. این عددها تکالیف یک شرکت را با معیار همان شرکت می‌سنجند و مدل‌های امروز را توصیف می‌کنند، نه مدل‌های سال آینده را.
GDPx بی‌نقص نیست. از تکالیف یک شرکت و معیار ارزیابی یک شرکت استفاده می‌کند، هنوز بازتولید مستقلی انجام نشده، و آن شرکت به همان صنعتی که ارزیابی می‌کند پژوهش می‌فروشد.
درس این است که عدد را با احتیاط بگیرید. اما مسیر درست است، چون مدل‌ها را روی کاری می‌سنجد که درآمد دارد، نه چیزهای جزئی که تحسین می‌کنند.
پیشتاز به‌طور میانگین حدود ۵۱ دلار برای هر تکلیف تکمیل‌شده خرج کرد. نفر دوم برای امتیازی که کمتر از یک امتیاز فاصله داشت به‌طور میانگین فقط حدود ۱۶ دلار خرج کرد.
اگر استراتژی عامل‌های شما فرض می‌کند توانایی و هزینه با هم حرکت می‌کنند، این جدول می‌گوید چنین نیست. ارزان‌ترین مسیر به یک نتیجه اکنون به اندازه خود نتیجه راهبردی است، و آن تحلیل جایش در واحد تدارکات است، نه در صفحه بازاریابی.
دموهایی که این فصل خواهید دید همه ادعای آمادگی برای کار متخصصان را دارند. یک بنچمارک عمومی و نام‌برده همین حالا سقف را ۱۲ درصد تعیین کرده است.
این باعث نمی‌شود عامل‌ها بی‌فایده شوند. یعنی منطقه صادقانه استقرار امروز، تکالیف باریک، با ابزار دقیق و با بازبینی انسانی است، نه بخش‌های خودگردانی که روی صحنه فروخته می‌شوند.
اول، دوران دمو تمام شده است. وقتی یک صنعت شروع به بحث درباره تابلوی امتیازها می‌کند، دموها دیگر اختلاف‌ها را حل نمی‌کنند.
دوم، هزینه و توانایی با هم حرکت نمی‌کنند. هزینه هر تکلیف تکمیل‌شده را در کنار امتیاز، وارد تدارکات کنید.
سوم، هر پیشنهاد عامل را با یک عدد عمومی بسنجید. منطقه صادقانه استقرار امروز باریک است، ابزار دقیق دارد و انسان بازبینی‌اش می‌کند.
سرانجام، این فصل از هر فروشنده هوش مصنوعی فقط یک سؤال بپرسید: امتیازت را در یک بنچمارک مستقل و مبتنی بر تکلیف برای کاری مثل کار من نشانم بده، و هزینه‌ات برای هر تکلیف تکمیل‌شده را هم بگو. اگر نتوانند جواب بدهند، چیزی آموخته‌ای که از دمو ارزشمندتر است.
سقف ۱۲ درصدی دلیلی برای کنار گذاشتن عامل‌های هوش مصنوعی نیست. دلیلی است برای اینکه آن‌ها را با مدرک بخرید، نه با هیجان.
هوش مصنوعی جای خود را با نتایج قابل سنجش به دست می‌آورد، نه با نمایش صحنه‌ای. در پایان، ریاضیات هزینه هر تکلیف تکمیل‌شده، که صادقانه شمرده شود، تعیین می‌کند این فناوری واقعاً متعلق به کجاست.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis، یادداشت‌های پژوهشی و تحلیل‌های صنعتی - https://semianalysis.com
ریاضی بیندیشید. هوشمندانه مهندسی کنید. راهبردی رهبری کنید. مسئولانه بسازید. جهانی گسترش یابید. از طریق هوش مصنوعی ارزش واقعی کسب‌وکار خلق کنید.
