Rangering av AI-kodeagenter i 2026: hvem løser faktisk oppgavene

Hver uke legger noen ut et diagram: stolper, prosenttall og en stor, fet overskrift øverst der det står «beste AI for kode i 2026». Rett under starter en diskusjon med hundre kommentarer. Én person hevder at verktøyet deres løser 80 prosent av oppgavene, mens en annen viser til et skjermbilde der det samme verktøyet fikk 74. Begge har rett. De ser bare på ulike målinger og måler forskjellige ting.

Den opprinnelige forfatteren opplevde dette da hen valgte verktøy til prosjektene sine. Du jakter på topplasseringen i en rangering, og en uke senere innser du at tallet kom fra en laboratorietest, mens den virkelige oppgaven din er en annen historie. Det som følger, handler derfor ikke om hvem som kommer først, men om hvordan enhver rangering av AI-kodeagenter fungerer: hva den måler, hvorfor det samme nevrale nettverket gir ulike resultater, hva det faktisk koster, og hvordan du kan lese en hvilken som helst tabell på fem minutter og velge et verktøy til oppgaven din.

Du finner mer veiledning i Ailoot-dokumentasjonen.

Hvorfor handler en rangering av AI-agenter ikke om merkevaren?#

Det første du bør legge fra deg, er vanen med å heie på et merke. «Anthropic mot OpenAI», «Claude mot Gemini» – det gir en praktisk overskrift, men har nesten ingenting med valg av verktøy å gjøre. Det du kjører på datamaskinen, er nemlig en agent. Og en agent består av minst to lag, som begge påvirker resultatet.

Se for deg en kokk og et kjøkken. Modellen er kokken: Den kan lage mat og har talent og erfaring. Agenten er kjøkkenet og alt utstyret: komfyr, kniver, arbeidsflyt og en assistent som rekker fram ingrediensene. Sett en briljant kokk inn på et ødelagt kjøkken, så blir middagen middels. Sett en gjennomsnittlig kokk i et perfekt utstyrt kjøkken, så lager hen mat jevnt og raskt. I rangeringer av AI-agenter velger du hele kjøkkenet, kokken inkludert.

Det gir en enkel regel som gjør det lettere å forstå resten. Når du ser «verktøy X løser 80 prosent av oppgavene», bør du først spørre: Hvilken modell er inni, hvilken agent styrte den, og hvilken test ble brukt til å måle den? Hvis du ikke får svar på bare ett av spørsmålene, ser du på et diagram som er laget for å skape diskusjon. Det er for tidlig å kalle det en rangering.

Hva består enhver AI-agent av: modell, harness og konfigurasjon#

La meg gå gjennom de tre lagene i rekkefølge; uten dem kommer vi ikke videre.

Det første laget er modellen. Dette er selve det nevrale nettverket: Claude Opus og Sonnet fra Anthropic, GPT-5 fra OpenAI og Gemini fra Google. Det er «hjernen» som finner på en løsning og skriver kode. Men modellen kan ikke kjøre noe eller se filer på egen hånd. Den kan bare produsere tekst som svar på tekst.

Det andre laget er harnessen, eller agenten. Dette er et program som er pakket rundt modellen. Det gir det nevrale nettverket hender: Det åpner prosjektfiler, kjører kommandoer i terminalen, viser hva som gikk galt og ber modellen om å løse problemet. Claude Code, OpenAI sin Codex CLI, Cursor, Cline og Aider er alle harnesses. Ingeniører har et faguttrykk for dette andre laget: «harness». Ideen er nettopp at harnessen er miljøet modellen bruker til å utføre virkelig arbeid.

Det tredje laget er konfigurasjonen. Dette er kontrollene i harnessen: hvor mye modellen får «tenke» før den svarer, hvor mange forsøk den får på én oppgave, og hvilke verktøy den får tilgang til. Den samme kombinasjonen gir ulike poengsummer med ulike konfigurasjoner.

Det er her all forvirringen rundt rangeringer kommer fra. Folk diskuterer det første laget («hvilken modell er smartest»), mens resultatet i tabellen avhenger av alle tre samtidig. En detaljert forklaring på hvordan disse lagene passer sammen til et fungerende system, finner du i hva en AI-agent er, forklart enkelt.

Det er én ting å lese en rangering; det er noe annet å sette sammen din egen fungerende kombinasjon av modell, agent og konfigurasjon. Det er dette kontekstteknikk handler om: å styre hva AI-en ser før prompten.

Hva måler SWE-bench, den viktigste koderangeringen, egentlig?#

For å lese en hvilken som helst koderangering må du forstå den viktigste målingen alle viser til. Det er SWE-bench. Den ble laget av akademiske forskere og presentert på en anerkjent akademisk konferanse. Det er ikke et hjemmesnekret diagram fra en blogg.

Testen er enkel og rettferdig. Man tar et ekte prosjekt med en ekte feil som menneskelige programmerere tidligere har rettet. Agenten får prosjektet og en beskrivelse av problemet med egne ord. Den må forstå andres kode, finne riktig sted og sende inn en patch. Deretter kjører systemet prosjektets virkelige tester. Hvis testene består, regnes oppgaven som løst. Hvis ikke, gjør den ikke det. Ingen «jeg tror den er løst»: bare grønne avkrysninger fra automatiserte tester.

Resultater fra hele samlingen på 2,294 oppgaver vises oftest for en nøye kontrollert delmengde kalt SWE-bench Verified. Den inneholder 500 oppgaver som folk har gått gjennom manuelt for å sikre at de ikke hadde feil eller var umulige å løse i utgangspunktet. Denne versjonen ble satt sammen med OpenAI i august 2024, og det er prosentene fra den du ser i nesten alle rangeringer. Når du ser «X prosent på SWE-bench Verified», betyr det andelen av de 500 oppgavene.

Hvorfor får den samme AI-en ulike resultater i forskjellige agenter?#

Her er et faktum som straks avslutter halvparten av diskusjonene i kommentarfeltene. Den samme modellen gir ulike prosenter i forskjellige harnesses, og forskjellen mellom dem er merkbar.

Du kan se det i de offentlige dataene. En benchmark som måler agenter som arbeider i en terminal, har en rettferdig tabell med to separate kolonner for modellen og agenten. Den viser også kostnader og bruk. Forfatterne satte den opp slik med vilje for å vise at resultatet alltid er et par: «modell pluss agent». Et nevralt nettverk alene er ikke nok til å gi en poengsum.

Det er lett å forstå grunnen til variasjonen hvis du går tilbake til de tre lagene. Én agent gir modellen ti forsøk per oppgave, en annen gir den tre. Én viser hele feilmeldingen, en annen forkorter den. Én lar modellen kjøre tester og fortsette å rette til ting fungerer, en annen stopper etter den første patchen. Det nevrale nettverket er det samme, men arbeidsforholdene er forskjellige, og derfor varierer prosentene.

Den praktiske konklusjonen for deg er enkel. Hvis du ser «Claude løser 77 prosent», gjelder det Claude i en bestemt harness med en bestemt konfigurasjon. Plasserer du den samme modellen i en annen agent, får du et annet tall. «Modellen er smart» og «kombinasjonen løser oppgaver» er altså utsagn om to forskjellige ting.

Hva koster én løst oppgave?#

Nå til pengene, for det er her de fleste diskusjonene begynner. Folk sammenligner abonnementspriser: Denne agenten koster 20 dollar i måneden, den andre 200. Så konkluderer de: «Den første er billigere.» Den konklusjonen er feil, fordi et abonnement ikke forteller noe om resultatet.

Abonnementsprisen sier deg lite her. Du må regne ut kostnaden for én oppgave som agenten faktisk har fullført. Du betaler for tokens – tekstbitene som utveksles mellom deg og modellen. Jo mer modellen leser og skriver, desto flere tokens bruker den, og desto høyere blir regningen. Selskapene offentliggjør tokenprisene sine. Her er for eksempel det Anthropic sier om Sonnet-modellen sin:

Så kommer regnestykket som viser hvorfor en lav prislapp kan villede. Ta to modeller. Den første koster mer per token, men løser oppgaven på første forsøk. Den andre er billigere, men prøver ti ganger og leser hele prosjektet på nytt hver gang. Til slutt bruker modellen med den lavere prislappen flere tokens og gir en høyere regning enn den dyre modellen. Jeg forklarer i detalj hva som inngår i kostnadene ved å arbeide med AI i hva en AI-agent koster for bedrifter, og separat i hvordan du beregner priser for vibe-kodingverktøy.

Gode rangeringer tar hensyn til dette og viser kostnaden ved siden av prosenten: hvor mye penger som ble brukt på alle oppgavene. Legg merke til det. En agent som løser 75 prosent til én dollar per oppgave, er vanligvis et bedre kjøp for deg enn en som når 78 prosent til tre dollar per oppgave.

Hvorfor er hastighet også en del av rangeringen?#

Det tredje punktet som vanligvis forsvinner bak prosentene, er tid. Den betyr like mye som kostnaden hvis du arbeider med en agent hver dag.

Her er haken. Nøyaktighet og hastighet trekker i hver sin retning. For å løse flere oppgaver gir du agenten mer tid til å «tenke» og flere forsøk: Den prøver ulike alternativer, kjører tester og reviderer arbeidet sitt. Prosentene går opp, og det gjør også svartiden. For en engangsretting merker du knapt forskjell på ett og ti minutter. Men hvis du bruker hele kvelden sammen med en agent og gir den oppgaver etter hverandre, blir minuttene til timer med venting foran skjermen.

Derfor har hastighet to sider i en rangering. Førsteplassen i nøyaktighet viser seg ofte samtidig å være den tregeste og dyreste – innstillingene er skrudd helt opp for å få et pent tall. Til daglig arbeid kan du ha behov for en kombinasjon litt lenger ned i tabellen som er tre ganger raskere og billigere. Hva som betyr mest, avhenger av oppgavene dine, og rangeringen kan ikke velge for deg.

Hvorfor er en forskjell på et par prosentpoeng ofte bare støy?#

En annen felle ved rangeringer er å tro at førsteplassen faktisk er bedre enn tredjeplassen. Ofte er forskjellen to eller tre prosentpoeng, altså 10 til 15 oppgaver av 500. Tolkningen avhenger av utvalget og variasjonen mellom kjøringer. Kjør den samme testen igjen, og lederne kan bytte plass fordi en modell ikke gir nøyaktig samme svar hver gang.

Ærlige målinger viser usikkerhet fremfor bare en punktscore. «Værhårene» kan representere et konfidensintervall på 95 prosent; kontroller benchmarkens definisjon. Overlapp beviser ikke at to agenter er like, og avgjør ikke alene om forskjellen er statistisk signifikant. Det krever en egnet sammenligning av forskjellen, utvalgsstørrelsen og variasjonen, helst med bevart paring når begge agenter forsøker samme oppgaver.

Ikke bruk en universell grense på tre prosentpoeng til å erklære uavgjort. En liten forskjell kan være meningsfull eller uavklart, avhengig av utvalg, gjentatte kjøringer og sammenligningsmetode. Vurder usikkerhet sammen med kostnad, hastighet og tilgjengelighet, og test deretter ledende kombinasjoner på egne oppgaver.

Hvem leder på ulike benchmarker når dette skrives?#

Nå til tallene, med ett viktig forbehold. Alle konkrete prosenter har kort holdbarhet. En ny modellversjon kommer ut, eller en agent blir oppdatert, og en uke senere er tabellen annerledes. Ikke pugge tallene; husk størrelsesordenen og lær å kontrollere selv.

Ifølge selskapenes egne offisielle uttalelser ser bildet slik ut for de 500 verifiserte SWE-bench-oppgavene. OpenAI skrev dette om GPT-5-modellen sin:

Anthropic rapporterer lignende tall for modellene sine. For Claude Opus 4.1 rapporterer de 74.5 prosent på den samme SWE-bench Verified. For den nyere Claude Sonnet 4.5 rapporterer de et gjennomsnitt på 77.2 prosent over ti kjøringer, og opptil 82 prosent hvis modellen får flere forsøk og det beste velges.

Ser du hva som skjer? De ledende kombinasjonene fra ulike selskaper ligger innenfor et smalt intervall: omtrent 74–77 prosent. Forskjellen mellom dem er de samme par prosentpoengene som ofte ligger innenfor feilmarginen. Hvem som «kommer først», avhenger derfor av hvilken uke benchmarken ble kjørt og av konfigurasjonen. Det viktigste er at hele toppgruppen kan gjøre omtrent det samme, og at du bør velge blant dem ut fra kostnad, hastighet og om verktøyet i det hele tatt er tilgjengelig for deg.

Det er en detalj til som selskapene nevner med liten skrift, men som betyr noe. GPT-5-resultatet ble ikke beregnet på alle de 500 oppgavene:

Det betyr at 74.9 prosent er andelen av 477 oppgaver, ikke hele settet på 500. En liten detalj? Nei. Det er nettopp derfor to ærlige rangeringer kan vise ulike tall for samme modell. Neste del forklarer hva du bør se etter i fotnotene.

Slik leser du en hvilken som helst rangering på fem minutter: en sjekkliste#

Her er en kort rekke trinn. Åpne en rangering av AI-agenter og gå gjennom disse seks spørsmålene ovenfra og ned.

1. Hvilken benchmark gjelder det? SWE-bench Verified eller noe annet. Hvis benchmarken ikke er navngitt i det hele tatt, lukker du siden; det er et diagram laget for å skape diskusjon.
2. Hvilken kombinasjon? «Claude» alene er ikke nok; du trenger «denne versjonen av Claude i denne harnessen». Uten begge deler svever prosenttallet i løse luften.
3. Hvor mange oppgaver ble telt med? Alle 500 eller bare en delmengde, som i eksemplet med GPT-5 og 477? Et mindre utvalg blåser opp tallet.
4. Hvor mange forsøk var tillatt? Ett forsøk er mer rettferdig enn «ti forsøk, og så tar vi det beste». Det siste ser bedre ut, men ingen jobber slik i virkeligheten.
5. Hva koster det? Finnes det en kostnadskolonne ved siden av prosenten? Hvis ikke er halve bildet skjult.
6. Vises variasjonen? Hva betyr usikkerhetsværhårene, hvor mange oppgaver og kjøringer ga dem, og rapporteres en egnet sammenligning av forskjellen? Verken overlapp eller en fast trepoengsforskjell beviser uavgjort.

Følger du disse seks punktene, vil enhver høylytt overskrift enten holde mål eller falle fra hverandre på fem minutter. Det er også nyttig å huske at en bestått test ikke garanterer et resultat på prosjektet ditt: Jeg forklarer hvorfor i hvorfor en AI-agent sier «ferdig» når arbeidet ikke er ferdig.

Hvor kommer feilinformasjon om rangeringer fra: gamle oppgaver i modellens trening?#

Det finnes en grunn til til ikke å forgude prosentene, og skaperne av benchmarkene snakker åpent om den. SWE-bench-oppgavene kommer fra åpne prosjekter som har vært tilgjengelige på nettet i årevis. Nevrale nettverk trenes på internett. Det betyr at en modell lett kan ha støtt på de samme prosjektene og ferdige rettelsene mens den ble trent.

Hva betyr det i praksis? Modellen løste ikke noen av de «løste» oppgavene på egen hånd; den husket det ferdige svaret. Den hadde allerede sett det under treningen og gjenga det ganske enkelt. Denne prosenten viser hukommelse. Den sier ingenting om evnen til å forstå ny kode. OpenAI erkjenner åpent denne risikoen for SWE-bench.

Dette er lærdommen for leseren: Jo nyere oppgavene er, og jo flere lukkede oppgaver modellen helt sikkert aldri har sett, desto mer rettferdig er målingen. Derfor er det grunn til å stole mer på nye benchmarker med skjulte tester enn på gamle, åpne utvalg alle allerede har øvd på. Når du velger mellom to rangeringer, bør du foretrekke den med nye oppgaver og noen oppgaver som er skjult for modellene.

Hvilken AI-agent bør du velge til oppgaven din?#

La meg samle dette i et praktisk valg. Det finnes ingen universell vinner, så ta utgangspunkt i din egen oppgave.

Hvis prosjektet er komplisert, har en stor kodebase og vil ta lang tid, bør du velge en kraftig modell i en moden harness. Blant kombinasjonene nær toppen av rangeringene finner du Claude Code fra Anthropic med Opus- og Sonnet-modeller, og Codex fra OpenAI med modeller i GPT-5-familien. Dette er ferdig konfigurerte agenter som håndterer krevende oppgaver på en jevn måte. De koster mer i tokens, men krever mindre arbeid å sette opp.

Hvis oppgavene er enkle – rette tekst, sette sammen en liten side eller skrive et skript – er det ingen grunn til å betale ekstra for en toppmodell. Enklere og billigere modeller håndterer dem uten merkbar forskjell i resultatet, og regningen blir flere ganger lavere.

Hvis du trenger noe gratis som kjører lokalt, kan du se på åpne agenter som Cline, Aider og OpenHands. De har ingen egen modell; du kobler til en ved hjelp av din egen nøkkel. De er fleksible, men du må konfigurere dem selv. Cursor er en separat editor med en innebygd agent. Den kan arbeide med modeller fra forskjellige selskaper, og du velger en modell for oppgaven. Jeg drøfter hvilke oppgaver en bedrift faktisk bør overlate til en agent i hvilke bedriftsoppgaver som virkelig kan overlates til en AI-agent.

Ofte stilte spørsmål#

Når du er klar, kan du bli kjent med Ailoot.