खऱ्या, पैसे मिळणाऱ्या तज्ञांच्या कामांवरून तयार केलेल्या नव्या बेंचमार्कने नुकत्याच वीस फ्रंटियर AI मॉडल्सचे मूल्यमापन केले आहे, आणि त्यांपैकी सर्वोत्तमाने 12 टक्के गुण मिळवले आहेत.
AI एजेंट तुमची कंपनी तज्ञांना पैसे देते ते काम करू शकतो का? या दाव्यासाठी प्रामाणिक स्कोअरबोर्ड कसा दिसेल? आणि करारावर स्वाक्षरी करण्यापूर्वी पुरवठादाराला काय विचारावे?
सिडनीतील छोट्या, मध्यम आणि मोठ्या उद्योगांसोबत काम करणारा स्वतंत्र AI मॉडेल डेव्हलपर आणि AI सुरक्षा सल्लागार म्हणून मला दर आठवड्यात हे प्रश्न विचारले जातात. या उत्तरांचा संबंध अर्थसंकल्प, मनुष्यबळ आणि जोखमींशी आहे.
GDPx बेंचमार्कने नेमके काय मोजले, त्याचे आकडे काय सिद्ध करतात आणि काय सिद्ध करत नाहीत, आणि या तिमाहीत AI एजेंट्सचे मूल्यमापन करणाऱ्या प्रत्येक नेत्यासाठी व्यावहारिक धडे कोणते, हे हा लेख सांगतो.
या आठवड्यात संशोधन संस्था SemiAnalysis ने GDPx प्रकाशित केला, जो 11 क्षेत्रांमधील 206 कामांचा बेंचमार्क आहे. ही क्षेत्रे म्हणूनच निवडली कारण लोक त्यांना करून उदरनिर्वाह करतात: चिप डिझाइन, सायबर सुरक्षा, कायदेशीर काम, क्वान्टिटेटिव्ह ट्रेडिंग, जीवशास्त्र, सॉफ्टवेअर अभियांत्रिकी आणि बरेच काही.
चौदा उद्योग भागीदारांनी कामे दिली, आणि वीस फ्रंटियर मॉडल्सचे मूल्यमापन झाले. हा बेंचमार्क आपल्या कठिणतेपेक्षा आपल्या मूळ साहित्यासाठी ठळक आहे: लोकांना पैसे मिळतात अशी कामे.
आघाडीवर असलेल्या Claude Opus 5.5 ला केवळ 12 टक्के मिळाले. Gemini 4 Carbon ने 10.9 गुण मिळवले. GPT-6 Astra ने 9.6 गुण मिळवले.
मात्र स्कोअरबोर्ड हा सुरुवातीचा बिंदू आहे, निकाल नव्हे. हे आकडे एकाच संस्थेची कामे तिच्याच निकषांनी मोजतात, आणि ते पुढच्या वर्षाची नव्हे, तर आजची मॉडेल्स सांगतात.
GDPx परिपूर्ण नाही. त्यात एकाच संस्थेची कामे आणि एकाच संस्थेचे मूल्यमापन निकष आहेत, अजून स्वतंत्र पडताळणी झालेली नाही, आणि ती संस्था ज्या उद्योगाचे मूल्यमापन करते त्याच उद्योगाला संशोधन विकते.
धडा असा की आकडा सैल पकडीनं घ्यावा. पण दिशा बरोबर आहे, कारण हे मॉडल्सचे मापन प्रभावित करणाऱ्या छोट्या गोष्टींवर नाही, तर पैसे देणाऱ्या कामावर करते.
आघाडीच्या मॉडलने प्रत्येकी पूर्ण झालेल्या कामामागे सरासरी सुमारे 51 डॉलर्स खर्च केले. दुसऱ्या क्रमांकाच्या मॉडलने एक गुणांच्या आत असलेल्या स्कोअरसाठी सरासरी सुमारे 16 डॉलर्सच खर्च केले.
तुमची एजेंटिक रणनीती असे गृहीत धरत असेल की क्षमता आणि खर्च एकत्र वाढतात, तर हा तक्ता सांगतो की तसे नाही. निकालाकडे जाणारा सर्वात स्वस्त मार्ग आता निकालाएवढाच धोरणात्मक आहे, आणि ते विश्लेषण मार्केटिंग पृष्ठावर नसून खरेदी विभागात हवे.
या तिमाहीत तुम्ही पाहणार असलेले सर्व डेमो तज्ञांच्या कामासाठी सज्ज असल्याचा दावा करतील. एका सार्वजनिक, नामांकित बेंचमार्कने नुकतीच मर्यादा 12 टक्क्यांवर ठेवली आहे.
यामुळे एजेंट्स निकामी होत नाहीत. याचा अर्थ आजचा प्रामाणिक अंमलबजावणी परिसर म्हणजे अरुंद, चांगल्या प्रकारे मोजमाप करण्यायोग्य, मानवी आढावा असलेली कामे; व्यासपीठावर विकली जाणारी स्वायत्त विभागे नव्हेत.
पहिला, डेमोचा युग संपला आहे. एखादे उद्योगक्षेत्र स्कोअरबोर्डवर भांडू लागले की डेमो वाद मिटवत नाहीत.
दुसरा, खर्च आणि क्षमता एकत्र वाढत नाहीत. प्रत्येकी पूर्ण कामामागचा खर्च स्कोअरच्या बाजूने खरेदीत घ्या.
तिसरा, प्रत्येक एजेंट पिच एका सार्वजनिक आकड्याशी ताळून वाचा. आजचा प्रामाणिक अंमलबजावणी परिसर अरुंद, चांगल्या प्रकारे मोजला जाणारा आणि मानवी आढावा घेतलेला आहे.
शेवटी, या तिमाहीत प्रत्येक AI पुरवठादाराला एकच प्रश्न विचारा: माझ्यासारख्या कामासाठी स्वतंत्र, कामावर आधारित बेंचमार्कमध्ये तुमचा स्कोअर दाखवा आणि प्रत्येकी पूर्ण कामामागचा तुमचा खर्च सांगा. उत्तर देता आले नाही तर डेमोपेक्षा मौल्यवान असं काहीतरी तुम्ही शिकलात.
12 टक्क्यांची मर्यादा AI एजेंट्सपासून दूर जाण्याचे कारण नाही. ती उत्साहाऐवजी पुराव्याने त्यांची खरेदी करण्याचे कारण आहे.
कृत्रिम बुद्धिमत्ता मंचसज्जेने नव्हे, तर मोजता येणाऱ्या निकालांनी आपले स्थान मिळवेल. शेवटी, प्रत्येकी पूर्ण कामामागच्या खर्चाचे गणित, प्रामाणिकपणे मोजलेले, हे ठरवते की हे तंत्रज्ञान खरोखर कोठे बसते.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, संशोधन नोंदी आणि उद्योग विश्लेषणे - https://semianalysis.com
गणितीय पद्धतीने विचार करा. हुशारीने अभियांत्रिकी करा. धोरणात्मकपणे नेतृत्व करा. जबाबदारीने बांधा. जागतिक पातळीवर वाढा. कृत्रिम बुद्धिमत्तेद्वारे खरी व्यावसायिक किंमत निर्माण करा.
