从206项专家任务到一个让人清醒个12%:GDPx基准测试揭示今朝AI智能体个真实极限

从206项专家任务到一个让人清醒个12%:GDPx基准测试揭示今朝AI智能体个真实极限 - AI News cover

引言:假使AI智能体已经准备好做专家工作,为啥顶顶厉害个也只拿12分?

一个由真实、有报酬个专家工作构建个新基准测试,刚刚评估仔二十个前沿AI模型,其中顶好个只拿到12%。

AI智能体做得了侬个公司拨钞票请专家做个生活伐?搿种讲法个诚实记分牌会是啥样子?签约之前侬应该问供应商啥问题?

作为勒悉尼同中小企业搭仔大企业合作个私人AI模型开发者兼AI安全顾问,我每礼拜侪拨人问搿星问题。答案同预算、人手搭仔风险息息相关。

搿篇文章会解释GDPx基准测试量度仔啥、伊个数字证明得啥搭仔证明勿得啥,还有搿个季度评估AI智能体个每位领导者好汲取个实用教训。

1. GDPx究竟量度仔啥

搿个礼拜,研究公司SemiAnalysis发布仔GDPx,一个涵盖11个领域206项任务个基准测试。搿星领域之所以被选中,是因为人靠伊拉谋生:芯片设计、网络安全、法律工作、量化交易、生物学、软件工程咾啥。

14家行业合作伙伴提供仔任务,20个前沿模型接受仔评估。搿个基准测试值得留意个地方勿在于伊个难度,而在于伊个素材:人拿报酬做个工作。

2. 记分牌:二十个模型,一个低个天花板

排名第一个Claude Opus 5.5也只拿到12%。Gemini 4 Carbon拿10.9,GPT-6 Astra拿9.6。

不过,记分牌是起点,勿是判决。搿星数字是用一家公司个评分标准量度一家公司个任务,伊拉描述个是今朝个模型,勿是明年个。

3. 局限:GDPx证明勿了啥

GDPx并勿完美。伊用一家公司个任务搭仔一家公司个评分标准,还呒没独立复现,而且搿家公司还向伊评估个行业卖研究报告。

教训是对搿个数字要有所保留。但方向是对个,因为伊量度个是能赚钱个工作,而勿是令人印象深刻个冷知识。

4. 成本一栏:51美元对16美元

领先个每完成一项任务平均用脱大约51美元。第二名以勿到1分个差距,平均每项任务只用脱大约16美元。

假使侬个智能体战略假设能力搭仔成本一道动,搿张表讲勿是搿能介。通往结果个顶便宜个路径现在同结果本身一样有战略意义,而搿种分析应该属于采购部门,勿是营销页面。

5. 用一个公开个数字来审视智能体推销

搿个季度侬会得看到个演示侪会声称自家已经准备好做专家工作。一个公开个、有名字个基准测试刚刚拿上限定勒12%。

搿并勿表示智能体呒没用场。伊个意思是今朝诚实个部署领域是狭窄个、有良好工具化、带人工审查个任务,而勿是舞台浪向兜售个自治部门。

拨各地领导者个教训

第一,演示个时代结束脱仔。当一个行业开始围绕记分牌争个辰光,演示已经解决勿了争论。

第二,成本搭仔能力勿是一道动个。拿每完成一项任务个成本搭仔分数一道摆进采购考量。

第三,用一个公开个数字来审视每一个智能体推销。今朝诚实个部署领域是狭窄个、工具化良好个、有人工审查个。

末脚,搿个季度问每个AI供应商一个问题:拨我看侬勒独立个、以任务为本个基准测试中、针对像我搿能个工作个得分,搭仔侬每完成一项任务个成本。假使伊拉答勿上来,侬就学到仔比演示更有价值个物事。

结论:量度已经取代仔营销

12%个天花板勿是放弃AI智能体个理由,而是用证据而勿是热情来采购伊拉个理由。

人工智能会凭好量度个结果,而勿是舞台效果,来赢得自家个位置。归根结底,诚实计算个每完成一项任务成本个数学,决定仔搿项技术真正属于啥地方。

参考文献搭仔延伸阅读

SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com

SemiAnalysis,研究笔记搭仔行业分析 - https://semianalysis.com

用数学来思考。用智慧来设计。用战略来领导。负责任地建造。向全球扩展。通过人工智能创造真正个商业价值。

#ArtificialIntelligence #AIStrategy #EnterpriseAI #AIGovernance #ITImpress