実際の報酬の伴う専門家の仕事から作られた新しいベンチマークが、20の最先端AIモデルを評価しました。最高のモデルでもスコアは12パーセントでした。
AIエージェントは、あなたの会社が専門家に報酬を払っている仕事をこなせるのでしょうか。その主張に対する正直なスコアボードとはどのようなものでしょうか。そして契約する前に、ベンダーに何を尋ねるべきでしょうか。
シドニーで中小企業や大企業と仕事をする民間のAIモデル開発者・AIセキュリティコンサルタントとして、私は毎週これらの質問を受けます。その答えは、予算、人員、リスクに直結します。
この記事では、GDPxベンチマークが何を測定したのか、その数字が何を示し、何を示さないのか、そしてこの四半期にAIエージェントを評価するすべてのリーダーへの実践的な教訓を説明します。
今週、調査会社SemiAnalysisがGDPxを発表しました。人々が生計を立てていることから選ばれた11領域206タスクのベンチマークです。チップ設計、サイバーセキュリティ、法務、クオンツトレーディング、生物学、ソフトウェア工学などです。
14の業界パートナーがタスクを提供し、20の最先端モデルが評価されました。このベンチマークが注目に値するのは、その難しさよりもむしろ原材料のためです。人々が報酬を得て行う仕事だからです。
トップのClaude Opus 5.5でさえ12パーセントにとどまりました。Gemini 4 Carbonは10.9、GPT-6 Astraは9.6でした。
しかし、スコアボードは出発点であり、評決ではありません。これらの数字は一社のタスクをその会社の採点基準で測ったものであり、来年のモデルではなく今日のモデルを表しています。
GDPxは完全ではありません。一社のタスクと一社の採点基準を使い、独立した再現はまだなく、その会社は評価対象の業界に調査を販売しています。
教訓は、数字を慎重に受け取ることです。しかし方向性は正しい。印象的な雑学ではなく、お金になる仕事でモデルを測るからです。
トップのモデルは完了タスクあたり平均約51ドルを費やしました。2位のモデルは1ポイント以内のスコアに対して平均約16ドルしか費やしていません。
能力とコストが一緒に動くとエージェント戦略が想定しているなら、この表はそうではないと言っています。結果への最も安い経路は今や結果そのものと同じく戦略的であり、その分析はマーケティングページではなく調達部門にあるべきです。
この四半期に見るデモはすべて、専門家の仕事への対応準備ができていると主張するでしょう。公開された名前入りのベンチマークが、天井を12パーセントに設定しました。
だからといってエージェントが無意味になるわけではありません。今日の正直な導入領域は、人間のレビューを伴う狭く計測の整ったタスクであり、舞台で売られている自律的な部門ではないということです。
第一に、デモの時代は終わりました。業界がスコアボードについて議論し始めたら、デモはもはや議論を決着させていないということです。
第二に、コストと能力は一緒に動きません。完了タスクあたりのコストをスコアと並べて調達に組み込んでください。
第三に、すべてのエージェントの提案を公開された数字に照らして読んでください。今日の正直な導入領域は、狭く、計測が整い、人間がレビューするものです。
最後に、この四半期にすべてのAIベンダーに一つだけ質問してください。私の仕事のような業務に対する、独立したタスクベースのベンチマークでのスコアと、完了タスクあたりのコストを見せてください、と。答えられなければ、デモより価値のあることを学んだことになります。
12パーセントという天井は、AIエージェントから手を引く理由ではありません。熱意ではなく証拠に基づいて購入する理由です。
人工知能は演出ではなく、測定可能な結果によってその居場所を勝ち取るでしょう。最終的には、正直に数えられた完了タスクあたりのコストの数学が、この技術が本当にどこに属するかを決めます。
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, リサーチノートと業界分析 - https://semianalysis.com
数学的に考える。知的に設計する。戦略的に導く。責任を持って構築する。グローバルに拡大する。人工知能で真のビジネス価値を生み出す。
