Um novo benchmark construído a partir de trabalhos especializados reais e remunerados acabou de avaliar vinte modelos de IA de fronteira, e o melhor deles marcou 12 por cento.
Pode um agente de IA fazer o trabalho pelo qual a sua empresa paga a especialistas? Como seria um placar honesto para essa afirmação? E o que deve perguntar a um fornecedor antes de assinar?
Como programador privado de modelos de IA e consultor de segurança de IA que trabalha com PME e grandes empresas em Sydney, fazem-me estas perguntas todas as semanas. As respostas importam para orçamentos, equipas e risco.
Este artigo explica o que o benchmark GDPx mediu, o que os seus números estabelecem e não estabelecem, e as lições práticas para qualquer líder que avalie agentes de IA neste trimestre.
Esta semana, a empresa de pesquisa SemiAnalysis publicou o GDPx, um benchmark de 206 tarefas em 11 domínios escolhidos porque as pessoas ganham a vida com eles: design de chips, cibersegurança, trabalho jurídico, trading quantitativo, biologia, engenharia de software e mais.
Catorze parceiros da indústria forneceram as tarefas, e vinte modelos de fronteira foram avaliados. O benchmark é notável menos pela dificuldade do que pela sua matéria-prima: trabalhos pelos quais as pessoas são pagas.
O líder, Claude Opus 5.5, conseguiu apenas 12 por cento. O Gemini 4 Carbon marcou 10,9. O GPT-6 Astra marcou 9,6.
No entanto, um placar é um ponto de partida, não um veredicto. Estes números medem as tarefas de uma empresa segundo os critérios dessa mesma empresa, e descrevem os modelos de hoje, não os do próximo ano.
O GDPx é imperfeito. Usa tarefas de uma só empresa e os critérios de uma só empresa, ainda não há reprodução independente, e a empresa vende pesquisa à indústria que avalia.
A lição é segurar o número com leveza. Mas a direcção está certa, porque mede os modelos em trabalho que paga, não em trivialidades que impressionam.
O líder gastou em média cerca de $51 por tarefa concluída. O segundo classificado gastou em média cerca de $16 por uma pontuação a menos de um ponto de distância.
Se a sua estratégia de agentes assume que capacidade e custo avançam juntos, esta tabela diz que não. O caminho mais barato para um resultado é agora tão estratégico quanto o próprio resultado, e essa análise pertence às compras, não a uma página de marketing.
As demonstrações que verá neste trimestre vão todas alegar prontidão para trabalho especializado. Um benchmark público e nomeado acabou de fixar o teto em 12 por cento.
Isso não torna os agentes inúteis. Significa que a zona honesta de implantação hoje são tarefas estreitas, bem instrumentadas, com revisão humana, e não os departamentos autónomos vendidos no palco.
Primeiro, a era das demonstrações acabou. Quando uma indústria começa a discutir placares, as demonstrações deixaram de resolver discussões.
Segundo, custo e capacidade não avançam juntos. Ponha o custo por tarefa concluída nas compras, ao lado da pontuação.
Terceiro, leia cada proposta de agente contra um número público. A zona honesta de implantação hoje é estreita, bem instrumentada e revista por humanos.
Finalmente, faça uma única pergunta a cada fornecedor de IA neste trimestre: mostre-me a sua pontuação num benchmark independente, baseado em tarefas, para trabalho como o meu, e o seu custo por tarefa concluída. Se não souberem responder, aprendeu algo que vale mais do que a demonstração.
Um teto de 12 por cento não é razão para abandonar os agentes de IA. É razão para os comprar com evidência em vez de entusiasmo.
A inteligência artificial conquistará o seu lugar com resultados mensuráveis, não com encenação. No fim, a matemática do custo por tarefa concluída, contada com honestidade, decide onde esta tecnologia realmente pertence.
SemiAnalysis, "GDPx: The General Agentic Benchmark" - https://gdpx.semianalysis.com
SemiAnalysis, notas de pesquisa e análise da indústria - https://semianalysis.com
Pense matematicamente. Engenhe com inteligência. Lidere estrategicamente. Construa com responsabilidade. Escale globalmente. Crie valor real de negócio através da inteligência artificial.
