一個由真實、有薪嘅專家工作整成嘅新基準測試，啱啱評估咗二十個前沿AI模型，當中最勁嘅都只係攞到12%。
AI智能體做唔做得到你公司出錢請專家做嘅嘢？呢個講法嘅誠實記分牌會係點？簽約之前你應該問供應商咩問題？
作為一個喺悉尼同中小企同大企業合作嘅私人AI模型開發者兼AI安全顧問，我每個禮拜都俾人問呢啲問題。答案同預算、人手同風險息息相關。
呢篇文章會解釋GDPx基準測試量度咗啲咩、佢嘅數字證明到啲咩同證明唔到啲咩，同埋今季評估AI智能體嘅每位領導者可以汲取嘅實用教訓。
今個星期，研究公司SemiAnalysis發表咗GDPx，一個涵蓋11個領域206項任務嘅基準測試。揀呢啲領域係因為人哋靠佢哋搵食：晶片設計、網絡安全、法律工作、量化交易、生物學、軟件工程等等。
14個行業合作夥伴提供咗任務，20個前沿模型接受咗評估。呢個基準測試值得留意之處唔在於佢嘅難度，而係佢嘅素材：人哋攞人工做嘅工作。
排第一嘅Claude Opus 5.5都只係攞到12%。Gemini 4 Carbon攞10.9，GPT-6 Astra攞9.6。
不過，記分牌係起點，唔係判決。呢啲數字係用一間公司嘅評分標準量度一間公司嘅任務，佢哋描述嘅係今日嘅模型，唔係下年嘅。
GDPx唔係完美。佢用一間公司嘅任務同一間公司嘅評分標準，仲未有獨立重現，而且呢間公司仲要賣研究報告畀佢評估緊嘅行業。
教訓係對呢個數字要有所保留。但方向係啱嘅，因為佢量度嘅係搵到錢嘅工作，唔係令人印象深刻嘅冷知識。
領先者每完成一項任務平均使咗約51美元。第二名以唔到1分嘅差距，平均每項任務只係使咗約16美元。
如果你嘅智能體策略假設能力同成本一齊郁，呢張表話你知唔係咁。通往結果嘅最平路徑而家同結果本身一樣咁有戰略意義，而呢種分析應該屬於採購部門，唔係營銷頁面。
今季你會見到嘅示範全部都會話自己已經準備好做專家工作。一個公開嘅、有名有姓嘅基準測試啱啱將上限定咗喺12%。
咁唔代表智能體冇用。佢意思係今日誠實嘅部署領域係狹窄嘅、有良好工具化、有人工審查嘅任務，而唔係喺台上兜售嘅自治部門。
第一，示範時代結束咗。當一個行業開始圍住記分牌嗌交，示範已經解決唔到爭拗。
第二，成本同能力唔係一齊郁。將每完成一項任務嘅成本同分數一齊放入採購考慮。
第三，用一個公開嘅數字嚟審視每一個智能體推銷。今日誠實嘅部署領域係狹窄嘅、工具化良好嘅、有人工審查嘅。
最後，今季問每個AI供應商一個問題：畀我睇你喺獨立嘅、以任務為本嘅基準測試中、針對好似我呢類工作嘅得分，同埋你每完成一項任務嘅成本。如果佢哋答唔到，你就學到咗比示範更有價值嘅嘢。
12%嘅上限唔係放棄AI智能體嘅理由，而係用證據而唔係熱情嚟採購佢哋嘅理由。
人工智能會憑可以量度嘅結果，而唔係舞台效果，嚟贏得自己嘅位置。歸根究柢，誠實計算嘅每完成一項任務成本嘅數學，決定咗呢項技術真正屬於邊度。
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis，研究筆記同行業分析 - https://semianalysis.com
以數學思考。以智慧設計。以策略領導。負責任咁建構。向全球擴展。透過人工智能創造真正嘅商業價值。
