Un nouveau benchmark construit à partir de véritables missions d'expert rémunérées vient d'évaluer vingt modèles d'IA de pointe, et le meilleur d'entre eux a obtenu 12 pour cent.
Un agent IA peut-il faire le travail pour lequel votre entreprise paie des experts ? À quoi ressemblerait un tableau de scores honnête pour cette affirmation ? Et que demander à un fournisseur avant de signer ?
En tant que développeur privé de modèles d'IA et consultant en sécurité de l'IA travaillant avec des PME et des grandes entreprises à Sydney, on me pose ces questions chaque semaine. Les réponses comptent pour les budgets, les effectifs et le risque.
Cet article explique ce que le benchmark GDPx a mesuré, ce que ses chiffres établissent et n'établissent pas, et les leçons pratiques pour tout dirigeant qui évalue des agents IA ce trimestre.
Cette semaine, le cabinet de recherche SemiAnalysis a publié GDPx, un benchmark de 206 tâches réparties sur 11 domaines choisis parce que des gens en vivent : conception de puces, cybersécurité, travail juridique, trading quantitatif, biologie, ingénierie logicielle et plus encore.
Quatorze partenaires industriels ont fourni les tâches, et vingt modèles de pointe ont été évalués. Le benchmark est remarquable moins par sa difficulté que par sa matière première : des métiers pour lesquels les gens sont payés.
Le leader, Claude Opus 5.5, n'a atteint que 12 pour cent. Gemini 4 Carbon a obtenu 10,9. GPT-6 Astra a obtenu 9,6.
Cependant, un tableau de scores est un point de départ, pas un verdict. Ces chiffres mesurent les tâches d'un cabinet selon la grille de ce même cabinet, et ils décrivent les modèles d'aujourd'hui, pas ceux de l'année prochaine.
GDPx est imparfait. Il utilise les tâches d'un seul cabinet et la grille d'un seul cabinet, il n'y a pas encore de reproduction indépendante, et ce cabinet vend ses recherches à l'industrie qu'il évalue.
La leçon est de prendre le chiffre avec prudence. Mais la direction est la bonne, car il mesure les modèles sur un travail qui rapporte, pas sur des anecdotes qui impressionnent.
Le leader a dépensé en moyenne environ 51 dollars par tâche accomplie. Le deuxième a dépensé en moyenne environ 16 dollars pour un score à moins d'un point d'écart.
Si votre stratégie d'agents suppose que capacité et coût évoluent ensemble, ce tableau dit le contraire. Le chemin le moins cher vers un résultat est désormais aussi stratégique que le résultat lui-même, et cette analyse relève des achats, pas d'une page marketing.
Les démos que vous verrez ce trimestre prétendront toutes être prêtes pour le travail d'expert. Un benchmark public et nommé vient de fixer le plafond à 12 pour cent.
Cela ne rend pas les agents inutiles. Cela signifie que la zone de déploiement honnête aujourd'hui, ce sont les tâches étroites, bien instrumentées, avec revue humaine, et non les départements autonomes vendus sur scène.
Premièrement, l'ère des démos est terminée. Quand une industrie commence à débattre de tableaux de scores, les démos ne tranchent plus les débats.
Deuxièmement, coût et capacité n'évoluent pas ensemble. Intégrez le coût par tâche accomplie dans les achats, à côté du score.
Troisièmement, lisez chaque argumentaire d'agent à l'aune d'un chiffre public. La zone de déploiement honnête aujourd'hui est étroite, bien instrumentée et relue par des humains.
Enfin, posez une seule question à chaque fournisseur d'IA ce trimestre : montrez-moi votre score sur un benchmark indépendant, basé sur des tâches, pour un travail comme le mien, et votre coût par tâche accomplie. S'ils ne savent pas répondre, vous avez appris quelque chose qui vaut plus que la démo.
Un plafond de 12 pour cent n'est pas une raison de renoncer aux agents IA. C'est une raison de les acheter avec des preuves plutôt qu'avec de l'enthousiasme.
L'intelligence artificielle gagnera sa place sur des résultats mesurables, pas sur des effets de scène. Au bout du compte, les mathématiques du coût par tâche accomplie, honnêtement comptées, décident où cette technologie a véritablement sa place.
SemiAnalysis, « GDPx: The General Agentic Benchmark » - https://gdpx.semianalysis.com
SemiAnalysis, notes de recherche et analyses sectorielles - https://semianalysis.com
Pensez mathématiquement. Concevez intelligemment. Dirigez stratégiquement. Construisez de façon responsable. Développez-vous mondialement. Créez une vraie valeur commerciale grâce à l'intelligence artificielle.
