Isang bagong benchmark na binuo mula sa totoong, bayad na gawaing pang-eksperto ang nagbigay-grado sa dalawampung frontier AI models, at ang pinakamahusay sa kanila ay nakakuha ng 12 porsyento.
Magagawa ba ng isang AI agent ang trabahong binabayaran ng iyong negosyo sa mga eksperto? Ano ang magiging hitsura ng tapat na scoreboard para sa claim na iyon? At ano ang dapat itanong sa vendor bago pumirma?
Bilang pribadong AI model developer at AI security consultant na nagtatrabaho sa mga SME at malalaking kumpanya sa Sydney, itinatanong sa akin ang mga tanong na ito linggo-linggo. Mahalaga ang mga sagot sa badyet, tauhan at panganib.
Ipinapaliwanag ng artikulong ito kung ano ang sinukat ng GDPx benchmark, kung ano ang pinatutunayan at hindi pinatutunayan ng mga numero nito, at ang mga praktikal na aral para sa sinumang lider na nagtataya ng mga AI agent ngayong quarter.
Ngayong linggo, inilathala ng research firm na SemiAnalysis ang GDPx, isang benchmark ng 206 na gawain sa 11 larangan na pinili dahil ikinabubuhay ng mga tao ang mga ito: chip design, cybersecurity, legal na trabaho, quantitative trading, biology, software engineering at marami pang iba.
Labing-apat na industry partners ang nagbigay ng mga gawain, at dalawampung frontier models ang binigyang-grado. Ang benchmark ay kapansin-pansin hindi dahil sa hirap nito, kundi dahil sa pinagmulang materyal: mga trabahong binabayaran ang mga tao.
Ang nangunguna, Claude Opus 5.5, ay nakamit lamang ang 12 porsyento. Ang Gemini 4 Carbon ay nakakuha ng 10.9. Ang GPT-6 Astra ay nakakuha ng 9.6.
Gayunpaman, ang scoreboard ay panimulang punto, hindi hatol. Ang mga numerong ito ay sumusukat sa mga gawain ng isang firm gamit ang rubric ng firm ding iyon, at inilalarawan nila ang mga modelo ngayon, hindi ang sa susunod na taon.
Ang GDPx ay hindi perpekto. Gumagamit ito ng mga gawain ng isang firm at rubric ng isang firm, wala pang independiyenteng pagsusuri, at ang firm ay nagbebenta ng research sa mismong industriyang ginagraduhan nito.
Ang aral ay hawakan ang numero nang may pag-iingat. Ngunit tama ang direksyon, dahil sinusukat nito ang mga modelo sa trabahong kumikita, hindi sa mga trivia na nakakaimpres.
Ang nangunguna ay gumastos ng average na humigit-kumulang $51 bawat natapos na gawain. Ang pangalawa ay gumastos ng average na humigit-kumulang $16 para sa iskor na isang puntos lamang ang agwat.
Kung ang iyong agentic strategy ay nagpapalagay na sabay na umuusad ang kakayahan at gastos, sinasabi ng talahanayang ito na hindi. Ang pinakamurang daan patungo sa resulta ay ngayon ay kasing-estratehiko ng resulta mismo, at ang pagsusuring iyon ay nararapat sa procurement, hindi sa marketing page.
Ang mga demo na makikita mo ngayong quarter ay lahat mag-aangkin ng kahandaan para sa gawaing pang-eksperto. Isang pampublikong, pinangalanang benchmark ang nagtakda ng kisame sa 12 porsyento.
Hindi nito ginagawang walang silbi ang mga agent. Ibig sabihin, ang tapat na deployment zone ngayon ay mga makitid, mahusay na nasusukat na gawain na may pagsusuri ng tao, hindi ang mga awtonomong departamentong ibinebenta sa entablado.
Una, tapos na ang panahon ng demo. Kapag ang isang industriya ay nagsisimulang makipagtalo tungkol sa mga scoreboard, hindi na naaayos ng mga demo ang mga argumento.
Pangalawa, hindi sabay na umuusad ang gastos at kakayahan. Ilagay ang gastos bawat natapos na gawain sa procurement, katabi ng iskor.
Pangatlo, basahin ang bawat agent pitch laban sa isang pampublikong numero. Ang tapat na deployment zone ngayon ay makitid, mahusay na nasusukat, at sinusuri ng tao.
Panghuli, magtanong ng isang tanong sa bawat AI vendor ngayong quarter: ipakita mo sa akin ang iyong iskor sa isang independiyenteng, nakabatay-sa-gawain na benchmark para sa trabahong katulad ng akin, at ang iyong gastos bawat natapos na gawain. Kung hindi sila makasagot, may natutunan kang mas mahalaga kaysa sa demo.
Ang kisameng 12 porsyento ay hindi dahilan para talikuran ang mga AI agent. Ito ay dahilan para bilhin ang mga ito na may ebidensiya sa halip na sigasig.
Ang artipisyal na katalinuhan ay magtatamo ng kanyang lugar sa pamamagitan ng mga nasusukat na resulta, hindi sa palabas sa entablado. Sa huli, ang matematika ng gastos bawat natapos na gawain, na binilang nang tapat, ang magpapasya kung saan tunay na kabilang ang teknolohiyang ito.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, mga tala ng pananaliksik at pagsusuri ng industriya - https://semianalysis.com
Mag-isip nang matematikal. Mag-engineer nang matalino. Mamuno nang may estratehiya. Bumuo nang may responsibilidad. Lumago nang pandaigdigan. Lumikha ng tunay na halagang pangnegosyo sa pamamagitan ng artificial intelligence.
