一个由真实、有报酬个专家工作构建个新基准测试,刚刚评估仔二十个前沿AI模型,其中顶好个只拿到12%。
AI智能体做得了侬个公司拨钞票请专家做个生活伐?搿种讲法个诚实记分牌会是啥样子?签约之前侬应该问供应商啥问题?
作为勒悉尼同中小企业搭仔大企业合作个私人AI模型开发者兼AI安全顾问,我每礼拜侪拨人问搿星问题。答案同预算、人手搭仔风险息息相关。
搿篇文章会解释GDPx基准测试量度仔啥、伊个数字证明得啥搭仔证明勿得啥,还有搿个季度评估AI智能体个每位领导者好汲取个实用教训。
搿个礼拜,研究公司SemiAnalysis发布仔GDPx,一个涵盖11个领域206项任务个基准测试。搿星领域之所以被选中,是因为人靠伊拉谋生:芯片设计、网络安全、法律工作、量化交易、生物学、软件工程咾啥。
14家行业合作伙伴提供仔任务,20个前沿模型接受仔评估。搿个基准测试值得留意个地方勿在于伊个难度,而在于伊个素材:人拿报酬做个工作。
排名第一个Claude Opus 5.5也只拿到12%。Gemini 4 Carbon拿10.9,GPT-6 Astra拿9.6。
不过,记分牌是起点,勿是判决。搿星数字是用一家公司个评分标准量度一家公司个任务,伊拉描述个是今朝个模型,勿是明年个。
GDPx并勿完美。伊用一家公司个任务搭仔一家公司个评分标准,还呒没独立复现,而且搿家公司还向伊评估个行业卖研究报告。
教训是对搿个数字要有所保留。但方向是对个,因为伊量度个是能赚钱个工作,而勿是令人印象深刻个冷知识。
领先个每完成一项任务平均用脱大约51美元。第二名以勿到1分个差距,平均每项任务只用脱大约16美元。
假使侬个智能体战略假设能力搭仔成本一道动,搿张表讲勿是搿能介。通往结果个顶便宜个路径现在同结果本身一样有战略意义,而搿种分析应该属于采购部门,勿是营销页面。
搿个季度侬会得看到个演示侪会声称自家已经准备好做专家工作。一个公开个、有名字个基准测试刚刚拿上限定勒12%。
搿并勿表示智能体呒没用场。伊个意思是今朝诚实个部署领域是狭窄个、有良好工具化、带人工审查个任务,而勿是舞台浪向兜售个自治部门。
第一,演示个时代结束脱仔。当一个行业开始围绕记分牌争个辰光,演示已经解决勿了争论。
第二,成本搭仔能力勿是一道动个。拿每完成一项任务个成本搭仔分数一道摆进采购考量。
第三,用一个公开个数字来审视每一个智能体推销。今朝诚实个部署领域是狭窄个、工具化良好个、有人工审查个。
末脚,搿个季度问每个AI供应商一个问题:拨我看侬勒独立个、以任务为本个基准测试中、针对像我搿能个工作个得分,搭仔侬每完成一项任务个成本。假使伊拉答勿上来,侬就学到仔比演示更有价值个物事。
12%个天花板勿是放弃AI智能体个理由,而是用证据而勿是热情来采购伊拉个理由。
人工智能会凭好量度个结果,而勿是舞台效果,来赢得自家个位置。归根结底,诚实计算个每完成一项任务成本个数学,决定仔搿项技术真正属于啥地方。
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis,研究笔记搭仔行业分析 - https://semianalysis.com
用数学来思考。用智慧来设计。用战略来领导。负责任地建造。向全球扩展。通过人工智能创造真正个商业价值。