నిజమైన, జీతం పొందే నిపుణుల పనుల నుండి తయారైన ఒక కొత్త బెంచ్‌మార్క్ ఇరవై ఫ్రాంటియర్ AI మోడళ్లను ఇప్పుడే మూల్యాంకనం చేసింది, వాటిలో అత్యుత్తమమైనది 12 శాతం సాధించింది.
మీ సంస్థ నిపుణులకు జీతం ఇచ్చి చేయించే పనిని AI ఏజెంట్ చేయగలదా? ఆ వాదనకు నిజాయితీగల స్కోర్‌బోర్డ్ ఎలా ఉంటుంది? ఒప్పందంపై సంతకం చేయడానికి ముందు విక్రేతను ఏమి అడగాలి?
సిడ్నీలో చిన్న, మధ్యతరహా మరియు పెద్ద సంస్థలతో పనిచేసే ప్రైవేట్ AI మోడల్ డెవలపర్ మరియు AI భద్రతా సలహాదారుగా, ఈ ప్రశ్నలు ప్రతీ వారం నన్ను అడుగుతారు. ఆ సమాధానాలు బడ్జెట్, ఉద్యోగులు మరియు ప్రమాదాలతో ముడిపడి ఉంటాయి.
GDPx బెంచ్‌మార్క్ ఏమి కొలిచింది, దాని సంఖ్యలు ఏమి నిరూపిస్తాయి మరియు ఏమి నిరూపించవు, ఈ త్రైమాసికంలో AI ఏజెంట్లను మూల్యాంకనం చేసే ప్రతి నాయకుడికి ఆచరణాత్మక పాఠాలేమిటో ఈ వ్యాసం వివరిస్తుంది.
ఈ వారం పరిశోధనా సంస్థ SemiAnalysis GDPxని విడుదల చేసింది. ప్రజలు వాటిని చేసి జీవనోపాధి పొందుతారనే కారణంతో ఎంపిక చేసిన 11 రంగాల్లో 206 పనుల బెంచ్‌మార్క్ ఇది: చిప్ డిజైన్, సైబర్ భద్రత, న్యాయ పని, క్వాంటిటేటివ్ ట్రేడింగ్, జీవశాస్త్రం, సాఫ్ట్‌వేర్ ఇంజనీరింగ్ మరియు మరెన్నో.
పద్నాలుగు పరిశ్రమల భాగస్వాములు పనులను అందించారు, ఇరవై ఫ్రాంటియర్ మోడళ్లు మూల్యాంకనం చేయబడ్డాయి. ఈ బెంచ్‌మార్క్ తన కష్టం కంటే తన మూలపదార్థం కోసం ప్రసిద్ధం: ప్రజలు జీతం పొంది చేసే పనులు.
మొదటి స్థానంలో ఉన్న Claude Opus 5.5 కేవలం 12 శాతం మాత్రమే సాధించింది. Gemini 4 Carbon 10.9 సాధించింది. GPT-6 Astra 9.6 సాధించింది.
అయితే, స్కోర్‌బోర్డ్ ఒక ప్రారంభ బిందువు, తీర్పు కాదు. ఈ సంఖ్యలు ఒక సంస్థ పనులను అదే సంస్థ మూల్యాంకన పద్ధతితో కొలుస్తాయి, అవి వచ్చే ఏటివి కావు, నేటి మోడళ్లను వర్ణిస్తాయి.
GDPx ఖచ్చితమైనది కాదు. ఇందులో ఒకే సంస్థ పనులు మరియు ఒకే సంస్థ మూల్యాంకన పద్ధతి ఉన్నాయి, ఇంకా స్వతంత్ర ధృవీకరణ జరగలేదు, మరియు ఆ సంస్థ తాను మూల్యాంకనం చేసే పరిశ్రమకే పరిశోధనను అమ్ముతుంది.
పాఠం ఏమిటంటే సంఖ్యను జాగ్రత్తగా తీసుకోవాలి. కానీ దిశ సరైనదే, ఎందుకంటే ఇది మోడళ్లను ఆకట్టుకునే చిన్న విషయాలపై కాకుండా డబ్బు ఇచ్చే పనిపై కొలుస్తుంది.
మొదటి స్థానంలో ఉన్నది పూర్తయిన పనికి సగటున సుమారు $51 ఖర్చు చేసింది. రెండో స్థానంలో ఉన్నది ఒక పాయింట్ లోపు వ్యత్యాసంతో ఉన్న స్కోరుకు సగటున సుమారు $16 మాత్రమే ఖర్చు చేసింది.
సామర్థ్యమూ ఖర్చూ కలిసి పెరుగుతాయని మీ ఏజెంటిక్ వ్యూహం భావిస్తుంటే, ఈ పట్టిక అలా కాదని చెబుతుంది. ఫలితానికి అత్యంత చవకైన మార్గం ఇప్పుడు ఫలితం అంతటి వ్యూహాత్మకమైనదే, ఆ విశ్లేషణ మార్కెటింగ్ పేజీలో కాకుండా కొనుగోలు విభాగంలో ఉండాలి.
ఈ త్రైమాసికంలో మీరు చూడబోయే డెమోలన్నీ నిపుణుల పనికి సిద్ధంగా ఉన్నాయని చెబుతాయి. ఒక బహిరంగ, పేరుపెట్టిన బెంచ్‌మార్క్ పరిమితిని 12 శాతం వద్ద నిలిపింది.
దాంతో ఏజెంట్లు నిరుపయోగం కావు. నేటి నిజాయితీగల విస్తరణ పరిధి మానవ సమీక్షతో కూడిన ఇరుకైన, బాగా కొలవగల పనులు అని దీని అర్థం; వేదికపై అమ్ముతున్న స్వయంప్రతిపత్త విభాగాలు కావు.
మొదటిది, డెమో యుగం ముగిసింది. ఒక పరిశ్రమ స్కోర్‌బోర్డుల గురించి వాదించడం ప్రారంభిస్తే, డెమోలు వాదాలను పరిష్కరించడం ఆపేశాయని అర్థం.
రెండవది, ఖర్చు మరియు సామర్థ్యం కలిసి పెరగవు. పూర్తయిన పనికి ఖర్చును స్కోరు పక్కనే కొనుగోలులో చేర్చండి.
మూడవది, ప్రతి ఏజెంట్ పిచ్‌ని ఒక బహిరంగ సంఖ్యతో పోల్చి చదవండి. నేటి నిజాయితీగల విస్తరణ పరిధి ఇరుకైనది, బాగా కొలవబడినది, మానవ సమీక్ష చేయబడినది.
చివరిగా, ఈ త్రైమాసికంలో ప్రతి AI విక్రేతను ఒక్క ప్రశ్న అడగండి: నా పనిలాంటి పనుల కోసం స్వతంత్ర, పని ఆధారిత బెంచ్‌మార్క్‌లో మీ స్కోరును, పూర్తయిన పనికి మీ ఖర్చును చూపండి. వారు సమాధానం చెప్పలేకపోతే, డెమో కంటే విలువైన ఏదో మీరు నేర్చుకున్నారు.
12 శాతం పరిమితి AI ఏజెంట్ల నుండి దూరంగా వెళ్లడానికి కారణం కాదు. ఉత్సాహం కంటే ఆధారాలతో వాటిని కొనడానికి కారణం.
కృత్రిమ మేధస్సు వేదిక ప్రదర్శనతో కాకుండా కొలవగల ఫలితాలతో తన స్థానాన్ని సంపాదిస్తుంది. చివరకు, నిజాయితీగా లెక్కించిన పూర్తయిన పనికి ఖర్చు యొక్క గణితం, ఈ సాంకేతికత నిజంగా ఎక్కడికి చెందుతుందో నిర్ణయిస్తుంది.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, పరిశోధనా గమనికలు మరియు పరిశ్రమ విశ్లేషణలు - https://semianalysis.com
గణితపరంగా ఆలోచించండి. తెలివిగా ఇంజనీర్ చేయండి. వ్యూహాత్మకంగా నడపండి. బాధ్యతగా నిర్మించండి. ప్రపంచవ్యాప్తంగా విస్తరించండి. ఆర్టిఫిషియల్ ఇంటెలిజెన్స్ ద్వారా నిజమైన వ్యాపార విలువను సృష్టించండి.
