वास्तविक, भुगतान किए गए विशेषज्ञ कार्यों से बने एक नए बेंचमार्क ने बीस फ्रंटियर AI मॉडलों का मूल्यांकन किया है, और उनमें से सर्वश्रेष्ठ ने 12 प्रतिशत स्कोर किया।
क्या कोई AI एजेंट वह काम कर सकता है जिसके लिए आपका व्यवसाय विशेषज्ञों को भुगतान करता है? उस दावे का ईमानदार स्कोरबोर्ड कैसा दिखेगा? और हस्ताक्षर करने से पहले विक्रेता से क्या पूछना चाहिए?
सिडनी में छोटे, मध्यम और बड़े उद्यमों के साथ काम करने वाले निजी AI मॉडल डेवलपर और AI सुरक्षा सलाहकार के रूप में, मुझसे हर हफ्ते ये सवाल पूछे जाते हैं। इन उत्तरों का बजट, स्टाफिंग और जोखिम से सीधा संबंध है।
यह लेख बताता है कि GDPx बेंचमार्क ने क्या मापा, उसके आंकड़े क्या साबित करते हैं और क्या नहीं, और इस तिमाही AI एजेंटों का मूल्यांकन करने वाले हर नेता के लिए व्यावहारिक सबक क्या हैं।
इस सप्ताह रिसर्च फर्म SemiAnalysis ने GDPx प्रकाशित किया, जो 11 क्षेत्रों में 206 कार्यों का बेंचमार्क है। ये क्षेत्र इसलिए चुने गए क्योंकि लोग इन्हें करके अजीविका कमाते हैं: चिप डिज़ाइन, साइबर सुरक्षा, कानूनी काम, क्वांटिटेटिव ट्रेडिंग, जीव विज्ञान, सॉफ्टवेयर इंजीनियरिंग और अन्य।
चौदह उद्योग भागीदारों ने कार्य दिए, और बीस फ्रंटियर मॉडलों का मूल्यांकन हुआ। यह बेंचमार्क अपनी कठिनाई से कम, अपनी सामग्री के लिए उल्लेखनीय है: वे काम जिनके लिए लोगों को भुगतान मिलता है।
शीर्ष पर रहा Claude Opus 5.5 महज 12 प्रतिशत हासिल कर सका। Gemini 4 Carbon ने 10.9 स्कोर किया। GPT-6 Astra ने 9.6 स्कोर किया।
हालांकि, स्कोरबोर्ड एक शुरुआती बिंदु है, फैसला नहीं। ये आंकड़े एक फर्म के कार्यों को उसी फर्म के मापदंड से मापते हैं, और ये अगले साल के नहीं, आज के मॉडलों का वर्णन करते हैं।
GDPx पूर्ण नहीं है। इसमें एक ही फर्म के कार्य और एक ही फर्म का मूल्यांकन मापदंड है, अभी तक कोई स्वतंत्र पुष्टि नहीं हुई है, और वह फर्म उसी उद्योग को रिसर्च बेचती है जिसका वह मूल्यांकन करती है।
सबक यह है कि संख्या को ढीली पकड़ से लें। लेकिन दिशा सही है, क्योंकि यह मॉडलों को प्रभावित करने वाली तुच्छ जानकारी पर नहीं, बल्कि भुगतान देने वाले काम पर मापती है।
शीर्ष मॉडल ने प्रति पूर्ण कार्य औसतन लगभग $51 खर्च किए। दूसरे स्थान वाले ने एक अंक के भीतर रहते स्कोर के लिए औसतन लगभग $16 ही खर्च किए।
यदि आपकी एजेंटिक रणनीति मानती है कि क्षमता और लागत साथ-साथ चलती हैं, तो यह तालिका कहती है कि ऐसा नहीं है। परिणाम का सबसे सस्ता रास्ता अब उतना ही रणनीतिक है जितना स्वयं परिणाम, और वह विश्लेषण मार्केटिंग पेज पर नहीं, खरीद विभाग में होना चाहिए।
इस तिमाही आप जो डेमो देखेंगे वे सभी विशेषज्ञ काम के लिए तैयारी का दावा करेंगे। एक सार्वजनिक, नामित बेंचमार्क ने अभी सीमा 12 प्रतिशत पर रख दी है।
इससे एजेंट बेकार नहीं हो जाते। इसका अर्थ है कि आज की ईमानदार तैनाती क्षेत्र संकीर्ण, अच्छी तरह मापे जाने वाले, मानव समीक्षा वाले कार्य हैं, न कि मंच पर बेचे जा रहे स्वायत्त विभाग।
पहला, डेमो का युग समाप्त हो गया है। जब कोई उद्योग स्कोरबोर्ड पर बहस करने लगता है, तो डेमो बहसों का फैसला करना बंद कर चुके होते हैं।
दूसरा, लागत और क्षमता साथ-साथ नहीं चलतीं। प्रति पूर्ण कार्य लागत को स्कोर के साथ खरीद प्रक्रिया में शामिल करें।
तीसरा, हर एजेंट पिच को एक सार्वजनिक संख्या से तौलें। आज की ईमानदार तैनाती क्षेत्र संकीर्ण, अच्छी तरह मापी गई और मानव-समीक्षित है।
अंत में, इस तिमाही हर AI विक्रेता से एक ही सवाल पूछें: मेरे जैसे काम के लिए किसी स्वतंत्र, कार्य-आधारित बेंचमार्क पर अपना स्कोर दिखाएँ, और प्रति पूर्ण कार्य अपनी लागत बताएँ। यदि वे उत्तर नहीं दे सकते, तो आपने डेमो से अधिक मूल्यवान कुछ सीख लिया है।
12 प्रतिशत की सीमा AI एजेंटों से दूर हटने का कारण नहीं है। यह उत्साह के बजाय साक्ष्य के साथ उन्हें खरीदने का कारण है।
कृत्रिम बुद्धिमत्ता मंच की चमक से नहीं, मापने योग्य परिणामों से अपनी जगह बनाएगी। अंत में, प्रति पूर्ण कार्य लागत का गणित, ईमानदारी से गिना गया, तय करता है कि यह तकनीक वास्तव में कहाँ उपयुक्त है।
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, रिसर्च नोट्स और उद्योग विश्लेषण - https://semianalysis.com
गणितीय सोचें। समझदारी से इंजीनियर करें। रणनीतिक रूप से नेतृत्व करें। जिम्मेदारी से बनाएँ। वैश्विक रूप से बढ़ें। आर्टिफिशियल इंटेलिजेंस के माध्यम से वास्तविक व्यावसायिक मूल्य बनाएँ।
