Ranglijsten van AI-codeeragenten in 2026: wie lost taken daadwerkelijk op

Elke week plaatst iemand een grafiek: balken, percentages en bovenaan een vetgedrukte kop met “beste AI voor code in 2026”. En direct daaronder begint een discussie met honderd reacties. De een roept dat zijn tool 80 procent van de taken oplost, de ander wijst op een screenshot waarop staat dat diezelfde tool 74 scoorde. Ze hebben allebei gelijk. Ze kijken alleen naar verschillende metingen en meten verschillende dingen.

De oorspronkelijke auteur maakte dit mee bij het kiezen van tools voor diens projecten. Jaag op de eerste plaats in een ranglijst en een week later besef je dat het cijfer uit een labtest kwam, terwijl jouw echte taak een ander verhaal is. Wat volgt gaat dus niet over wie bovenaan staat, maar over hoe elke ranglijst van AI-codeeragenten werkt: wat die meet, waarom hetzelfde neurale netwerk verschillende resultaten oplevert, wat het werkelijk kost en hoe je elke tabel in vijf minuten leest om een tool voor jouw taak te kiezen.

Meer uitleg is te vinden in de Ailoot-documentatie.

Waarom gaat een ranglijst van AI-agenten niet over het merk?#

Het eerste wat je uit je hoofd moet zetten, is de neiging om voor een merk te juichen. “Anthropic versus OpenAI”, “Claude versus Gemini”—dat levert een handige kop op, maar heeft vrijwel niets te maken met het kiezen van een tool. Wat je op je computer uitvoert, is namelijk een agent. En een agent bestaat uit minstens twee lagen, die allebei invloed hebben op het resultaat.

Stel je een kok en een keuken voor. Het model is de kok: die weet hoe je kookt en heeft talent en ervaring. De agent is de keuken met alle apparatuur: het fornuis, de messen, de workflow en een assistent die ingrediënten aanreikt. Zet een briljante kok in een vervallen keuken en het diner wordt middelmatig. Zet een gemiddelde kok in een perfect ingerichte keuken en die kookt betrouwbaar en snel. In ranglijsten van AI-agenten kies je de hele keuken, inclusief de kok.

Daaruit volgt een eenvoudige regel die het vanaf hier makkelijker maakt. Als je ziet dat “tool X 80 procent van de taken oplost”, vraag dan eerst: welk model zit erin, welke agent stuurde het aan en welke test is gebruikt om het te meten? Als op één van die vragen geen antwoord is, kijk je naar een grafiek die bedoeld is om discussie uit te lokken. Een ranglijst kun je het nog niet noemen.

Waaruit bestaat elke AI-agent: model, harness en configuratie#

Ik loop de drie lagen in volgorde langs; zonder die komen we niet verder.

De eerste laag is het model. Dit is het neurale netwerk zelf: Claude Opus en Sonnet van Anthropic, GPT-5 van OpenAI en Gemini van Google. Het is het “brein” dat een oplossing bedenkt en code schrijft. Maar op zichzelf kan het model niets uitvoeren of bestanden zien. Het kan alleen tekst produceren als reactie op tekst.

De tweede laag is de harness, of agent. Dit is een programma dat om het model heen is gebouwd. Het geeft het neurale netwerk handen: het opent projectbestanden, voert opdrachten uit in de terminal, laat zien wat er misging en vraagt het om het probleem op te lossen. Claude Code, OpenAI’s Codex CLI, Cursor, Cline en Aider zijn allemaal harnesses. Ingenieurs hebben een vakterm voor deze tweede laag: “harness”. Dat is precies het idee: de omgeving waarmee het model echt werk verzet.

De derde laag is de configuratie. Dit zijn de instellingen in de harness: hoeveel het model mag “nadenken” voordat het antwoord geeft, hoeveel pogingen het voor één taak krijgt en welke tools beschikbaar zijn. Dezelfde combinatie levert met verschillende configuraties andere scores op.

Daar komt alle verwarring rond ranglijsten vandaan. Mensen discussiëren over de eerste laag (“welk model is slimmer”), terwijl het resultaat in de tabel afhangt van alle drie tegelijk. Een gedetailleerde uitleg van hoe deze lagen samen een werkend systeem vormen, vind je in wat is een AI-agent in eenvoudige bewoordingen.

Een ranglijst lezen is één ding; zelf een werkende combinatie van model, agent en configuratie samenstellen is iets anders. Daarvoor dient context engineering: bepalen wat de AI vóór de prompt te zien krijgt.

Wat meet SWE-bench, de belangrijkste codeerranglijst, eigenlijk?#

Om een codeerranglijst te kunnen lezen, moet je de belangrijkste maatstaf begrijpen waar iedereen naar verwijst. Dat is SWE-bench. Die is ontwikkeld door academische onderzoekers en gepresenteerd op een serieuze academische conferentie. Het is geen zelfgemaakte grafiek van een blog.

De test is eenvoudig en eerlijk. Men neemt een echt project met een echte bug die menselijke programmeurs ooit hebben opgelost. De agent krijgt dat project en een beschrijving van het probleem in eigen woorden. Hij moet de code van iemand anders begrijpen, de juiste plek vinden en een patch indienen. Daarna voert het systeem de echte tests van het project uit. Slagen de tests, dan telt de taak als opgelost. Zo niet, dan niet. Geen “ik denk dat het is opgelost”: alleen groene vinkjes van geautomatiseerde tests.

Van de volledige set van 2,294 taken worden resultaten meestal getoond voor een zorgvuldig gecontroleerde subset genaamd SWE-bench Verified. Die bevat 500 taken die mensen handmatig hebben beoordeeld om na te gaan of ze geen gebreken vertoonden of in wezen onoplosbaar waren. Deze versie is in augustus 2024 samengesteld met OpenAI en het zijn de percentages ervan die je in vrijwel elke ranglijst ziet. Als je “X procent op SWE-bench Verified” ziet, betekent dat het aandeel van die 500 taken.

Waarom behaalt dezelfde AI verschillende resultaten in verschillende agenten?#

Hier is een feit dat meteen de helft van de discussies in de reacties beslecht. Hetzelfde model behaalt verschillende percentages in verschillende harnesses, en het verschil is merkbaar.

Dat zie je in de openbare gegevens. Een benchmark die meet hoe agenten in een terminal werken, heeft een eerlijke tabel met twee afzonderlijke kolommen voor het model en de agent. De tabel toont ook kosten en gebruik. De auteurs hebben dit bewust zo opgezet om te laten zien dat het resultaat altijd een paar is: “model plus agent”. Een neurale netwerk alleen is niet genoeg om een score te behalen.

Als je teruggaat naar de drie lagen, wordt duidelijk waarom de resultaten uiteenlopen. De ene agent geeft het model tien pogingen per taak, de andere drie. De ene toont de volledige foutmelding, de andere kort die in. De ene laat de agent tests uitvoeren en blijven repareren tot alles werkt, de andere stopt na de eerste patch. Het neurale netwerk is hetzelfde, maar de werkomstandigheden verschillen en dus ook de percentages.

De praktische conclusie voor jou is eenvoudig. Als je “Claude lost 77 procent op” ziet, gaat het om Claude in een specifieke harness met een specifieke configuratie. Zet je hetzelfde model in een andere agent, dan krijg je een ander cijfer. “Het model is slim” en “de combinatie lost taken op” zijn dus uitspraken over twee verschillende dingen.

Wat kost één opgeloste taak?#

Dan nu het geld, want hier beginnen de meeste discussies. Mensen vergelijken abonnementsprijzen: deze agent kost 20 dollar per maand, die andere 200. Dan concluderen ze: “De eerste is goedkoper.” Die conclusie klopt niet, want een abonnement zegt niets over het resultaat.

De abonnementsprijs vertelt je hier weinig. Je moet de kosten berekenen van één taak die de agent daadwerkelijk succesvol heeft afgerond. Je betaalt voor tokens: de tekstdelen die tussen jou en het model worden uitgewisseld. Hoe meer het model leest en schrijft, hoe meer tokens het gebruikt en hoe hoger de rekening. Bedrijven publiceren hun tokenprijzen openlijk. Dit zegt Anthropic bijvoorbeeld over zijn Sonnet-model:

Dan volgt de rekensom die laat zien waarom een goedkoop prijskaartje misleidend kan zijn. Neem twee modellen. Het eerste kost meer per token, maar lost de taak bij de eerste poging op. Het tweede is goedkoper, maar probeert het tien keer en leest telkens het hele project opnieuw. Uiteindelijk gebruikt het model met het lagere prijskaartje meer tokens en levert het een hogere rekening op dan het dure model. Ik leg uitgebreid uit welke kosten komen kijken bij werken met AI in wat kost een AI-agent voor bedrijven en afzonderlijk in hoe bereken je prijzen voor vibe-codingtools.

Goede ranglijsten houden hier rekening mee en tonen naast het percentage ook de kosten: hoeveel geld aan alle taken is uitgegeven. Let daarop. Een agent die 75 procent oplost voor één dollar per taak is meestal een betere deal voor jou dan een agent die 78 procent haalt voor drie dollar per taak.

Waarom hoort snelheid ook bij de ranglijst?#

Het derde punt dat achter de percentages vaak uit beeld raakt, is tijd. Als je dagelijks met een agent werkt, is tijd net zo belangrijk als kosten.

Dit is het probleem. Nauwkeurigheid en snelheid werken elkaar tegen. Om meer taken op te lossen, geef je de agent meer tijd om na te denken en meer pogingen: hij probeert verschillende opties, voert tests uit en herziet zijn werk. De percentages stijgen en de responstijd ook. Voor een eenmalige reparatie is het verschil tussen één en tien minuten nauwelijks merkbaar. Maar als je een hele avond met een agent werkt en hem de ene na de andere taak geeft, tellen die minuten op tot uren wachten achter je scherm.

Daarom heeft snelheid twee kanten in een ranglijst. De nummer één voor nauwkeurigheid blijkt vaak tegelijk de langzaamste en duurste te zijn: de instellingen zijn tot het maximum opgevoerd voor een mooi cijfer. Voor dagelijks werk heb je misschien een combinatie nodig die iets lager in de tabel staat en drie keer sneller en goedkoper is. Wat belangrijker is, hangt af van je taken; de ranglijst kan die keuze niet voor je maken.

Waarom is een verschil van een paar procentpunten vaak gewoon ruis?#

Een andere valkuil bij ranglijsten is geloven dat de eerste plaats echt beter is dan de derde. Vaak is het verschil twee of drie procentpunt, oftewel 10 tot 15 taken op de 500; de betekenis hangt af van de steekproef en variatie tussen runs. Doe dezelfde test opnieuw en de leiders kunnen van plaats wisselen, omdat een model niet elke keer exact hetzelfde antwoord geeft.

Eerlijke metingen tonen onzekerheid naast een puntscore. De “snorharen” kunnen een 95-procentbetrouwbaarheidsinterval voorstellen; controleer de benchmarkdefinitie. Overlap bewijst niet dat twee agents gelijk zijn en beslist op zichzelf niet of hun verschil statistisch significant is. Dat vereist een passende vergelijking van het verschil, steekproefgrootte en variatie, liefst met behoud van de koppeling wanneer beide agents dezelfde taken proberen.

Gebruik geen universele grens van drie procentpunt om een gelijkspel te verklaren. Een klein verschil kan betekenisvol of onbeslist zijn, afhankelijk van steekproef, herhaalde runs en vergelijkingsmethode. Bekijk onzekerheid naast kosten, snelheid en beschikbaarheid en test toonaangevende combinaties op je eigen taken.

Wie loopt er op het moment van schrijven voorop in verschillende benchmarks?#

Dan nu de cijfers zelf, met één belangrijke kanttekening. Specifieke percentages zijn maar kort houdbaar. Er komt een nieuwe modelversie uit of een agent wordt bijgewerkt, en een week later ziet de tabel er anders uit. Leer de cijfers daarom niet uit het hoofd; onthoud de orde van grootte en leer hoe je ze zelf controleert.

Volgens de officiële verklaringen van de bedrijven zelf ziet het beeld er als volgt uit voor de geverifieerde 500 SWE-bench-taken. OpenAI schreef het volgende over zijn GPT-5-model:

Anthropic meldt vergelijkbare cijfers voor zijn modellen. Voor Claude Opus 4.1 noemt het 74.5 procent op dezelfde SWE-bench Verified. Voor de nieuwere Claude Sonnet 4.5 noemt het gemiddeld 77.2 procent over tien runs, en maximaal 82 procent als het model meerdere pogingen krijgt en de beste wordt gekozen.

Zie je wat er gebeurt? Toonaangevende combinaties van verschillende bedrijven zitten in een smalle bandbreedte: ongeveer 74–77 procent. Het verschil ertussen is diezelfde paar procentpunten die vaak binnen de foutmarge vallen. Wie “op de eerste plaats” staat, hangt dus af van de week waarin de benchmark is uitgevoerd en van de configuratie. Belangrijker is dat de hele topgroep ongeveer dezelfde dingen kan en dat je binnen die groep kiest op basis van kosten, snelheid en of de tool überhaupt voor jou beschikbaar is.

Er is nog een detail dat bedrijven in de kleine lettertjes vermelden, maar dat wel van belang is. Het GPT-5-resultaat is niet berekend over alle 500 taken:

Dat betekent dat 74.9 procent het aandeel van 477 taken is, niet van de volledige 500. Een klein detail? Nee. Precies daarom kunnen twee eerlijke ranglijsten voor hetzelfde model verschillende cijfers geven. In het volgende deel lees je waar je in deze voetnoten op moet letten.

Hoe lees je elke ranglijst in vijf minuten: een checklist#

Hier volgt een korte reeks stappen. Open een ranglijst van AI-agenten en loop deze zes vragen van boven naar beneden door.

1. Welke benchmark is het? SWE-bench Verified of iets anders. Als de benchmark helemaal niet wordt genoemd, sluit de pagina dan; het is een grafiek die bedoeld is om discussie uit te lokken.
2. Welke combinatie? “Claude” alleen is niet genoeg; je moet weten “welke versie van Claude in welke harness”. Zonder beide onderdelen hangt het percentage in de lucht.
3. Hoeveel taken zijn meegeteld? Alle 500 of slechts een subset, zoals in het voorbeeld van GPT-5 met 477. Een kleinere set maakt het cijfer hoger.
4. Hoeveel pogingen waren toegestaan? Eén poging is eerlijker dan “tien pogingen en we nemen de beste”. Dat laatste ziet er beter uit, maar in het echte leven werkt niemand zo.
5. Wat kost het? Staat er naast het percentage een kostenkolom? Zo niet, dan wordt de helft van het beeld verborgen.
6. Wordt de spreiding getoond? Wat betekenen de onzekerheidssnorharen, hoeveel taken en runs leverden ze op en is een passende vergelijking van het verschil gerapporteerd? Overlap noch een vaste grens van drie punten bewijst een gelijkspel.

Volg deze zes punten en elke luide kop houdt binnen vijf minuten stand of valt door de mand. Het is ook goed om te onthouden dat het slagen voor een test geen resultaat op jouw project garandeert: ik leg uit waarom in waarom een AI-agent zegt “klaar” terwijl het werk nog niet af is.

Waar komt misinformatie over ranglijsten vandaan: oude taken in de modeltraining?#

Er is nog een reden om de percentages niet te aanbidden, en de makers van benchmarks spreken daar openlijk over. De SWE-bench-taken komen uit openbare projecten die al jaren online staan. En neurale netwerken worden op het internet getraind. Dat betekent dat een model tijdens de training dezelfde projecten en kant-en-klare oplossingen kan zijn tegengekomen.

Wat betekent dat in de praktijk? Het model heeft sommige van de “opgeloste” taken niet zelf opgelost, maar het kant-en-klare antwoord uit het geheugen opgehaald. Het had dat tijdens de training al gezien en heeft het simpelweg gereproduceerd. Dat percentage toont geheugen. Het zegt niets over het vermogen om nieuwe code te begrijpen. OpenAI erkent dit risico voor SWE-bench openlijk.

De les voor de lezer is deze: hoe recenter de taken zijn en hoe meer gesloten taken er zijn waarvan het model ze zeker nooit heeft gezien, hoe eerlijker de meting. Daarom verdienen nieuwe benchmarks met verborgen tests meer vertrouwen dan oude openbare sets waarop iedereen al heeft geoefend. Kies je tussen twee ranglijsten, geef dan de voorkeur aan die met recente taken en een aantal taken die voor de modellen verborgen zijn.

Welke AI-agent moet je voor jouw taak kiezen?#

Laat ik dit samenbrengen tot een praktische keuze. Er is geen universele winnaar, dus kijk naar je eigen taak.

Is het project complex, heeft het een grote codebase en gaat het lang duren, kies dan een krachtig model in een volwassen harness. Tot de combinaties bovenaan de ranglijsten behoren Claude Code van Anthropic met Opus- en Sonnet-modellen, en Codex van OpenAI met modellen uit de GPT-5-familie. Dit zijn kant-en-klare agenten waarvan alles al is ingesteld en die veeleisende taken consistent aankunnen. Ze gebruiken meer tokens, maar vereisen minder instelwerk.

Zijn de taken eenvoudig—tekst corrigeren, een kleine pagina maken of een script schrijven—dan hoef je niet extra te betalen voor een topmodel. Eenvoudigere, goedkopere modellen kunnen ze zonder verschil in het resultaat afhandelen en de rekening valt meerdere keren lager uit.

Heb je iets gratis nodig dat lokaal draait, kijk dan naar open agenten zoals Cline, Aider en OpenHands. Ze hebben geen eigen model; je koppelt er een aan met je eigen sleutel. Ze zijn flexibel, maar je moet ze zelf configureren. Cursor is een aparte editor met een ingebouwde agent; die kan werken met modellen van verschillende bedrijven en je kiest er een voor de taak. Ik bespreek welke taken een bedrijf daadwerkelijk aan een agent kan overlaten in welke bedrijfstaken echt aan een AI-agent kunnen worden overgedragen.

Veelgestelde vragen#

Als je er klaar voor bent, maak dan kennis met Ailoot.