Новый бенчмарк, построенный на реальных, оплачиваемых экспертных задачах, только что оценил двадцать передовых моделей ИИ, и лучшая из них набрала 12 процентов.
Может ли ИИ-агент выполнять работу, за которую ваша компания платит экспертам? Как выглядело бы честное табло для такого заявления? И что следует спросить у поставщика до подписания контракта?
Как частный разработчик моделей ИИ и консультант по безопасности ИИ, работающий с малым, средним и крупным бизнесом в Сиднее, я слышу эти вопросы каждую неделю. От ответов зависят бюджеты, штат и риски.
Эта статья объясняет, что измерил бенчмарк GDPx, что его цифры доказывают и чего не доказывают, и какие практические уроки стоит извлечь руководителю, оценивающему ИИ-агентов в этом квартале.
На этой неделе исследовательская компания SemiAnalysis опубликовала GDPx — бенчмарк из 206 задач в 11 областях, выбранных потому, что люди зарабатывают ими на жизнь: проектирование чипов, кибербезопасность, юридическая работа, количественный трейдинг, биология, разработка программного обеспечения и другое.
Четырнадцать отраслевых партнёров предоставили задачи, двадцать передовых моделей были оценены. Бенчмарк примечателен не столько сложностью, сколько исходным материалом: работой, за которую людям платят.
Лидер, Claude Opus 5.5, набрал лишь 12 процентов. Gemini 4 Carbon набрал 10,9. GPT-6 Astra набрал 9,6.
Однако табло — это отправная точка, а не приговор. Эти цифры измеряют задачи одной фирмы по критериям той же фирмы и описывают сегодняшние модели, а не модели следующего года.
GDPx несовершенен. В нём используются задачи одной фирмы и критерии одной фирмы, независимой проверки пока не было, и фирма продаёт исследования той самой отрасли, которую оценивает.
Урок в том, чтобы относиться к цифре с осторожностью. Но направление верное, потому что бенчмарк измеряет модели на работе, которая приносит деньги, а не на мелочах, которые впечатляют.
Лидер тратил в среднем около 51 доллара на выполненную задачу. Второе место — в среднем около 16 долларов за результат, отстающий меньше чем на балл.
Если ваша стратегия по агентам предполагает, что возможности и стоимость растут вместе, эта таблица говорит, что это не так. Самый дешёвый путь к результату теперь так же стратегичен, как сам результат, и этот анализ должен быть в закупках, а не на маркетинговой странице.
Все демо, которые вы увидите в этом квартале, будут заявлять о готовности к экспертной работе. Публичный, названный бенчмарк только что установил потолок на уровне 12 процентов.
Это не делает агентов бесполезными. Это значит, что честная зона внедрения сегодня — узкие, хорошо инструментированные задачи с человеческой проверкой, а не автономные отделы, которые продают со сцены.
Во-первых, эпоха демо закончилась. Когда отрасль начинает спорить о табло, демонстрации уже не решают споры.
Во-вторых, стоимость и возможности не растут вместе. Внесите стоимость за выполненную задачу в закупки, рядом с баллом.
В-третьих, оценивайте каждую презентацию агента по публичной цифре. Честная зона внедрения сегодня узка, хорошо инструментирована и проверяется людьми.
Наконец, задайте каждому поставщику ИИ в этом квартале один вопрос: покажите ваш результат в независимом, основанном на задачах бенчмарке для работы, похожей на мою, и вашу стоимость за выполненную задачу. Если они не могут ответить, вы узнали нечто более ценное, чем демо.
Потолок в 12 процентов — не повод отказаться от ИИ-агентов. Это повод покупать их на основании доказательств, а не энтузиазма.
Искусственный интеллект завоюет своё место измеримыми результатами, а не сценическими эффектами. В конечном счёте математика стоимости за выполненную задачу, честно подсчитанная, решает, где этой технологии действительно место.
SemiAnalysis, «GDPx: The General Agentic Benchmark» - https://gdpx.semianalysis.com
SemiAnalysis, исследовательские заметки и отраслевой анализ - https://semianalysis.com
Мыслите математически. Проектируйте разумно. Ведите стратегически. Стройте ответственно. Масштабируйтесь глобально. Создавайте реальную бизнес-ценность с помощью искусственного интеллекта.
