Classements des agents de codage IA : lire SWE-bench et les coûts

Chaque semaine, quelqu’un publie un graphique : des barres, des pourcentages et un gros titre en haut qui annonce « la meilleure IA pour coder en 2026 ». Et juste en dessous, une discussion de cent commentaires démarre. Une personne affirme que son outil résout 80 pour cent des tâches, une autre montre une capture d’écran où le même outil obtient 74. Les deux ont raison. Elles s’appuient simplement sur des mesures différentes et ne mesurent pas la même chose.

L’auteur original a vécu cette situation en choisissant des outils pour ses projets. On poursuit la première place d’un classement, puis, une semaine plus tard, on découvre que le chiffre venait d’un test de laboratoire alors que sa tâche réelle est toute autre. La suite ne porte donc pas sur le classement des gagnants, mais sur le fonctionnement de tout classement des agents de codage IA : ce qu’il mesure, pourquoi un même réseau neuronal produit des résultats différents, ce que cela coûte réellement et comment lire n’importe quel tableau en cinq minutes pour choisir un outil adapté à sa tâche.

Pour aller plus loin, consultez la documentation Ailoot.

Pourquoi le classement d’un agent IA ne dépend-il pas de la marque ?#

La première chose à oublier, c’est l’habitude de soutenir une marque. « Anthropic contre OpenAI », « Claude contre Gemini » : cela fait un titre facile, mais n’a presque rien à voir avec le choix d’un outil. Car ce qui tourne sur votre ordinateur, c’est un agent. Et un agent comprend au moins deux couches, qui influent toutes deux sur le résultat.

Imaginez un chef et une cuisine. Le modèle, c’est le chef : il sait cuisiner, il a du talent et de l’expérience. L’agent, c’est la cuisine et tout son équipement : cuisinière, couteaux, organisation du travail et assistant qui apporte les ingrédients. Placez un chef brillant dans une cuisine délabrée : le dîner sera médiocre. Placez un chef moyen dans une cuisine parfaitement équipée : il cuisinera avec régularité et rapidité. Dans les classements d’agents IA, vous choisissez toute la cuisine, chef compris.

Cela nous donne une règle simple qui facilitera la suite. Quand vous voyez « l’outil X résout 80 pour cent des tâches », demandez-vous d’abord : quel modèle se trouve à l’intérieur, quel agent l’a contrôlé et quel test a servi à le mesurer ? S’il manque la réponse à une seule de ces questions, vous avez sous les yeux un graphique conçu pour lancer une dispute. Il est trop tôt pour parler de classement.

De quoi se compose chaque agent IA : modèle, harnais et configuration#

Passons en revue ces trois couches dans l’ordre : nous ne pouvons pas avancer sans les comprendre.

La première couche, c’est le modèle. C’est le réseau neuronal lui-même : Claude Opus et Sonnet d’Anthropic, GPT-5 d’OpenAI, Gemini de Google. C’est le « cerveau » qui trouve une solution et écrit du code. Mais, à lui seul, le modèle ne peut rien exécuter ni voir de fichiers. Il ne peut que produire du texte en réponse à du texte.

La deuxième couche, c’est le harnais, ou agent. Il s’agit d’un programme construit autour du modèle. Il donne des mains au réseau neuronal : il ouvre les fichiers du projet, exécute des commandes dans le terminal, montre ce qui ne fonctionne pas et lui demande de corriger le problème. Claude Code, Codex CLI d’OpenAI, Cursor, Cline et Aider sont tous des harnais. Les ingénieurs ont un terme spécialisé pour cette deuxième couche : « harnais ». L’idée est bien celle-ci : le harnais permet au modèle de réaliser un travail concret.

La troisième couche, c’est la configuration. Ce sont les réglages du harnais : jusqu’où le modèle peut « réfléchir » avant de répondre, combien de tentatives lui accorder pour une tâche et quels outils mettre à sa disposition. Une même combinaison produit des scores différents avec des configurations différentes.

C’est là que naît toute la confusion autour des classements. Les gens se disputent au sujet de la première couche (« quel modèle est le plus intelligent ? »), alors que le résultat du tableau dépend des trois à la fois. Vous trouverez une explication détaillée de la façon dont ces couches s’assemblent pour former un système opérationnel dans Qu’est-ce qu’un agent IA, expliqué simplement.

Lire un classement est une chose ; composer sa propre combinaison opérationnelle de modèle, d’agent et de configuration en est une autre. C’est à cela que sert l’ingénierie du contexte : gérer ce que l’IA voit avant le prompt.

Que mesure SWE-bench dans un classement d’agents de codage ?#

Pour lire un classement de codage, il faut comprendre la principale mesure à laquelle tout le monde fait référence : SWE-bench. Il a été créé par des chercheurs universitaires et présenté lors d’une conférence universitaire reconnue. Ce n’est pas un graphique bricolé dans un blog.

Le test est simple et équitable. On prend un vrai projet contenant un vrai bogue qu’un programmeur humain a déjà corrigé. L’agent reçoit ce projet et une description du problème formulée dans ses propres termes. Il doit comprendre le code de quelqu’un d’autre, trouver le bon endroit et soumettre un correctif. Ensuite, le système exécute les vrais tests du projet. Si les tests réussissent, la tâche est considérée comme résolue. Sinon, elle ne l’est pas. Pas de « je crois que c’est résolu » : seules comptent les coches vertes des tests automatisés.

Sur l’ensemble des 2,294 tâches, les résultats sont le plus souvent présentés pour un sous-ensemble soigneusement vérifié appelé SWE-bench Verified. Il contient 500 tâches examinées manuellement pour s’assurer qu’elles ne sont pas erronées ou intrinsèquement impossibles à résoudre. Cette version a été élaborée avec OpenAI en août 2024 et c’est celle dont les pourcentages apparaissent dans presque tous les classements. Quand vous voyez « X pour cent sur SWE-bench Verified », il s’agit de la part de ces 500 tâches.

Pourquoi une même IA obtient-elle des résultats différents selon les agents ?#

Voici un fait qui règle d’emblée la moitié des disputes dans les commentaires : un même modèle produit des pourcentages différents dans différents harnais, et l’écart est notable.

Les données publiques le montrent. Un benchmark qui mesure le travail des agents dans un terminal présente un tableau équitable : il comporte deux colonnes distinctes pour le modèle et l’agent. Il indique également le coût et l’utilisation. Les auteurs l’ont conçu ainsi pour montrer que le résultat est toujours une paire : « modèle plus agent ». Un réseau neuronal seul ne suffit pas à produire un score.

La raison de ces écarts est claire quand on revient aux trois couches. Un agent accorde dix tentatives par tâche au modèle, un autre trois. L’un lui montre le texte complet de l’erreur, l’autre le tronque. L’un lui permet d’exécuter des tests et de continuer les corrections jusqu’à ce que tout fonctionne, l’autre s’arrête après le premier correctif. Le réseau neuronal est le même, mais les conditions de travail diffèrent, et les pourcentages aussi.

La conclusion pratique est simple. Si vous voyez « Claude résout 77 pour cent des tâches », cela concerne Claude dans un harnais précis et avec une configuration précise. Placez le même modèle dans un autre agent et vous obtiendrez un autre chiffre. « Le modèle est intelligent » et « la combinaison résout des tâches » sont donc des affirmations qui portent sur deux choses différentes.

Combien coûte la résolution d’une tâche ?#

Passons à l’argent, car c’est là que commencent la plupart des disputes. Les gens comparent les prix des abonnements : cet agent coûte 20 dollars par mois, celui-là 200. Ils en concluent alors : « Le premier est moins cher. » Cette conclusion est fausse, car le prix d’un abonnement ne reflète pas le résultat.

Le prix de l’abonnement ne vous apprend pas grand-chose ici. Vous devez calculer le coût d’une tâche que l’agent a réellement terminée avec succès. Vous payez des jetons, les morceaux de texte échangés entre vous et le modèle. Plus le modèle lit et écrit, plus il consomme de jetons et plus la facture augmente. Les entreprises publient ouvertement leurs tarifs par jeton. Voici, par exemple, ce qu’Anthropic indique pour son modèle Sonnet :

Vient ensuite le calcul qui rend trompeur un tarif bas. Prenons deux modèles. Le premier coûte plus cher par jeton, mais résout la tâche dès le premier essai. Le second est moins cher, mais tente dix fois sa chance et relit chaque fois l’ensemble du projet. Au bout du compte, le modèle au tarif le plus bas utilise davantage de jetons et génère une facture plus élevée que le modèle coûteux. J’explique en détail les éléments qui composent le coût du travail avec l’IA dans Combien coûte un agent IA pour une entreprise, et séparément dans Comment calculer les prix des outils de vibe coding.

Les bons classements en tiennent compte et affichent le coût à côté du pourcentage : combien d’argent a été dépensé pour l’ensemble des tâches. Prêtez-y attention. Pour vous, un agent qui résout 75 pour cent des tâches à un dollar par tâche est généralement plus avantageux qu’un agent qui atteint 78 pour cent à trois dollars par tâche.

Pourquoi la vitesse fait-elle aussi partie du classement ?#

Le troisième élément souvent éclipsé par les pourcentages, c’est le temps. Il compte autant que le coût si vous travaillez chaque jour avec un agent.

Voici le problème : précision et vitesse tirent dans des directions opposées. Pour résoudre davantage de tâches, vous donnez à l’agent plus de temps pour « réfléchir » et davantage de tentatives : il essaie différentes options, exécute des tests et révise son travail. Les pourcentages augmentent, tout comme le temps de réponse. Pour une correction ponctuelle, la différence entre une minute et dix minutes passe presque inaperçue. Mais si vous passez toute une soirée avec un agent et lui confiez les tâches l’une après l’autre, ces minutes se transforment en heures d’attente devant l’écran.

C’est pourquoi la vitesse a deux facettes dans un classement. Le premier en précision se révèle souvent aussi le plus lent et le plus coûteux : ses réglages ont été poussés au maximum pour obtenir un joli chiffre. Or, pour le travail quotidien, vous aurez peut-être besoin d’une combinaison un peu plus bas dans le tableau, trois fois plus rapide et moins chère. Ce qui compte le plus dépend de vos tâches ; le classement ne peut pas choisir à votre place.

Pourquoi un écart de quelques points de pourcentage n’est-il souvent que du bruit ?#

Un autre piège des classements consiste à croire que la première place est vraiment meilleure que la troisième. L’écart est souvent de deux ou trois points de pourcentage, soit 10 à 15 tâches sur 500 ; son interprétation dépend de l’échantillon et des variations entre essais. Si l’on répète le même test, les leaders peuvent changer de place, car un modèle ne donne pas exactement la même réponse à chaque fois.

Les mesures honnêtes montrent l’incertitude en plus du score ponctuel. Les « moustaches » peuvent représenter un intervalle de confiance à 95 % ; vérifiez la définition du benchmark. Leur chevauchement ne prouve pas l’égalité et ne tranche pas la significativité d’une différence. Il faut une comparaison adaptée de cette différence, de la taille d’échantillon et de la variabilité, idéalement appariée quand les agents tentent les mêmes tâches.

N’utilisez pas un seuil universel de trois points pour déclarer une égalité. Un petit écart peut être significatif ou indécidable selon l’échantillon, les essais répétés et la méthode. Considérez incertitude, coût, vitesse et disponibilité, puis testez les meilleures combinaisons sur vos propres tâches.

Qui est en tête des différents benchmarks au moment de la rédaction ?#

Passons aux chiffres, avec une réserve importante. Les pourcentages précis ont une courte durée de vie. Une nouvelle version du modèle sort ou un agent est mis à jour, et une semaine plus tard le tableau a changé. Ne mémorisez donc pas les chiffres : retenez l’ordre de grandeur et apprenez à vérifier par vous-même.

D’après les déclarations officielles des entreprises elles-mêmes, voici le tableau pour les 500 tâches vérifiées de SWE-bench. OpenAI a écrit ceci au sujet de son modèle GPT-5 :

Anthropic rapporte des chiffres similaires pour ses modèles. Pour Claude Opus 4.1, l’entreprise annonce 74,5 pour cent sur le même benchmark SWE-bench Verified. Pour le plus récent Claude Sonnet 4.5, elle annonce une moyenne de 77,2 pour cent sur dix passages, et jusqu’à 82 pour cent si le modèle dispose de plusieurs tentatives et que l’on retient la meilleure.

Vous voyez ce qui se passe ? Les meilleures combinaisons de différentes entreprises se situent dans une plage étroite : environ 74–77 pour cent. L’écart entre elles correspond à ces quelques points qui se trouvent souvent dans la marge d’erreur. Qui arrive en tête dépend donc de la semaine où le benchmark a été exécuté et de la configuration utilisée. Il importe davantage que tout le groupe de tête sache faire à peu près les mêmes choses. Il faut choisir au sein du groupe en fonction du coût, de la vitesse et de la disponibilité de l’outil.

Les entreprises mentionnent aussi un détail en petits caractères, mais il compte. Le résultat de GPT-5 n’a pas été calculé sur les 500 tâches :

Cela signifie que 74,9 pour cent correspond à la part sur 477 tâches, et non sur les 500. Un détail mineur ? Non. C’est précisément pourquoi deux classements honnêtes peuvent donner des chiffres différents pour un même modèle. La section suivante explique ce qu’il faut vérifier dans les notes de bas de page.

Lire n’importe quel classement en cinq minutes : une liste de vérification#

Voici une courte marche à suivre. Ouvrez n’importe quel classement d’agents IA et passez ces six questions en revue dans l’ordre.

1. De quel benchmark s’agit-il ? SWE-bench Verified ou autre chose. Si le benchmark n’est pas du tout indiqué, fermez la page : ce graphique est fait pour lancer une dispute.
2. Quelle combinaison ? « Claude » tout seul ne suffit pas ; il faut « cette version de Claude dans ce harnais ». Sans les deux éléments, le pourcentage est suspendu dans le vide.
3. Combien de tâches ont été comptées ? Les 500, ou seulement une partie, comme dans l’exemple de GPT-5 avec 477. Un ensemble réduit gonfle le chiffre.
4. Combien de tentatives étaient autorisées ? Une seule tentative est plus équitable que « dix tentatives, et on garde la meilleure ». Cette dernière option donne un meilleur résultat, mais personne ne travaille ainsi dans la vraie vie.
5. Combien cela coûte-t-il ? Une colonne des coûts accompagne-t-elle le pourcentage ? Sinon, la moitié du tableau reste cachée.
6. La dispersion est-elle indiquée ? Que représentent les moustaches, combien de tâches et d’essais les produisent, et une comparaison adaptée de la différence est-elle publiée ? Ni leur chevauchement ni un seuil fixe de trois points ne prouvent l’égalité.

Suivez ces six points et tout titre fracassant résistera à l’examen ou s’effondrera en cinq minutes. Il est également utile de se rappeler que même réussir un test ne garantit pas un résultat sur votre projet : j’explique pourquoi dans Pourquoi un agent IA dit « terminé » alors que le travail ne l’est pas.

D’où viennent les informations trompeuses sur les classements : des tâches déjà présentes dans l’entraînement des modèles ?#

Il y a une autre raison de ne pas vénérer les pourcentages, et les créateurs des benchmarks en parlent ouvertement. Les tâches de SWE-bench proviennent de projets ouverts qui sont en ligne depuis des années. Or, les réseaux neuronaux sont entraînés sur Internet. Un modèle a donc facilement pu rencontrer ces mêmes projets et leurs correctifs tout faits durant son entraînement.

Qu’est-ce que cela signifie en pratique ? Le modèle n’a pas lui-même résolu certaines tâches dites « résolues » : il s’est souvenu de la réponse toute faite. Il l’avait déjà vue pendant l’entraînement et l’a simplement reproduite. Ce pourcentage mesure la mémoire. Il ne dit rien de la capacité à comprendre du nouveau code. OpenAI reconnaît ouvertement ce risque pour SWE-bench.

Voici ce qu’il faut retenir. Plus les tâches sont récentes et plus elles sont nombreuses à être fermées, donc certainement inconnues du modèle, plus la mesure est équitable. C’est pourquoi les nouveaux benchmarks comportant des tests cachés méritent davantage de confiance que les anciens ensembles ouverts sur lesquels tout le monde s’est déjà entraîné. Si vous devez choisir entre deux classements, privilégiez celui qui utilise des tâches récentes et en garde certaines cachées aux modèles.

Quel agent IA choisir pour votre tâche ?#

Rassemblons tout cela pour arriver à un choix pratique. Il n’y a pas de gagnant universel : examinez donc vos propres tâches.

Si le projet est complexe, comporte une grande base de code et va prendre longtemps, choisissez un modèle puissant dans un harnais bien établi. Parmi les combinaisons proches du sommet des classements figurent Claude Code d’Anthropic avec les modèles Opus et Sonnet, ainsi que Codex d’OpenAI avec les modèles de la famille GPT-5. Ces agents sont prêts à l’emploi, avec une configuration déjà en place, et ils gèrent régulièrement les tâches exigeantes. Ils coûtent plus cher en jetons, mais demandent moins d’efforts de configuration.

Si les tâches sont simples – corriger un texte, créer une petite page ou écrire un script –, inutile de payer plus pour un modèle haut de gamme. Des modèles plus simples et moins chers s’en chargeront sans différence de résultat, et la facture sera plusieurs fois inférieure.

Si vous avez besoin d’un outil gratuit qui fonctionne localement, examinez des agents ouverts tels que Cline, Aider et OpenHands. Ils n’ont pas leur propre modèle ; vous en connectez un à l’aide de votre propre clé. Ils sont flexibles, mais vous devrez les configurer vous-même. Cursor est un éditeur à part, avec un agent intégré. Il peut utiliser des modèles de différentes entreprises, et vous en choisissez un pour la tâche. Je présente les tâches qu’une entreprise devrait réellement confier à un agent dans Quelles tâches professionnelles peut-on vraiment confier à un agent IA ?.

Foire aux questions#

Quand vous serez prêt, découvrez Ailoot.