Ranglister over AI-kodningsagenter i 2026: hvem løser faktisk opgaverne?

Hver uge lægger nogen et diagram op: søjler, procenttal og en fed overskrift øverst, hvor der står ”bedste AI til kode 2026”. Og lige nedenunder starter en diskussion med hundrede kommentarer. Én hævder højlydt, at deres værktøj løser 80 procent af opgaverne, en anden henviser til et skærmbillede, der viser, at det samme værktøj fik 74. De har begge ret. De ser bare på forskellige målinger og måler forskellige ting.

Den oprindelige forfatter gennemgik dette, da vedkommende valgte værktøjer til sine projekter. Jagter man førstepladsen på en rangliste, indser man en uge senere, at tallet kom fra en laboratorietest, mens ens virkelige opgave er en anden historie. Det følgende handler derfor ikke om, hvem der kommer først, men om, hvordan ranglister over AI-kodningsagenter fungerer: hvad de måler, hvorfor det samme neurale netværk giver forskellige resultater, hvad det faktisk koster, og hvordan du på fem minutter kan læse en tabel og vælge et værktøj til din opgave.

Du kan finde flere vejledninger i Ailoot-dokumentationen.

Hvorfor handler en rangliste over AI-agenter ikke om mærket?#

Det første, du skal lægge fra dig, er vanen med at heppe på et mærke. ”Anthropic mod OpenAI”, ”Claude mod Gemini” – det giver en bekvem overskrift, men har næsten intet at gøre med at vælge et værktøj. For det, du kører på din computer, er en agent. Og en agent består af mindst to lag, som begge påvirker resultatet.

Forestil dig en kok og et køkken. Modellen er kokken: vedkommende kan lave mad og har talent og erfaring. Agenten er køkkenet og alt dets udstyr: komfur, knive, arbejdsgang og en assistent, der rækker ingredienserne frem. Sæt en fremragende kok i et nedslidt køkken, og middagen bliver middelmådig. Sæt en gennemsnitlig kok i et perfekt indrettet køkken, og vedkommende vil lave mad hurtigt og konsekvent. Når du vælger blandt ranglister over AI-agenter, vælger du hele køkkenet, inklusive kokken.

Det fører til en enkel regel, der gør resten lettere. Når du ser ”værktøj X løser 80 procent af opgaverne”, skal du først spørge: hvilken model bruges, hvilken agent styrede den, og hvilken test blev brugt til at måle resultatet? Hvis der ikke er svar på bare ét af spørgsmålene, ser du på et diagram, der er lavet for at sætte gang i en diskussion. Det er for tidligt at kalde det en rangliste.

Hvad består enhver AI-agent af: model, harness og konfiguration?#

Lad mig gennemgå de tre lag i rækkefølge; vi kan ikke komme videre uden dem.

Det første lag er modellen. Det er selve det neurale netværk: Claude Opus og Sonnet fra Anthropic, GPT-5 fra OpenAI, Gemini fra Google. Det er ”hjernen”, der finder på en løsning og skriver kode. Men modellen kan ikke selv køre noget eller se filer. Den kan kun generere tekst som svar på tekst.

Det andet lag er harness eller agenten. Det er et program, der er bygget omkring modellen. Det giver det neurale netværk hænder: Det åbner projektfiler, kører kommandoer i terminalen, viser, hvad der gik galt, og beder modellen om at rette problemet. Claude Code, OpenAI's Codex CLI, Cursor, Cline og Aider er alle harnesses. Ingeniører har et fagudtryk for dette andet lag: ”harness”. Det er netop idéen: det harness, som modellen bruger til at udføre reelt arbejde.

Det tredje lag er konfigurationen. Det er indstillingerne i harness: hvor meget modellen må ”tænke”, før den svarer, hvor mange forsøg den får til en opgave, og hvilke værktøjer den skal have adgang til. Den samme kombination giver forskellige resultater med forskellige konfigurationer.

Det er herfra al forvirringen om ranglister stammer. Folk diskuterer det første lag (”hvilken model er klogest”), mens resultatet i tabellen afhænger af alle tre på én gang. En detaljeret forklaring af, hvordan lagene passer sammen i et fungerende system, findes i hvad en AI-agent er, forklaret enkelt.

At læse en rangliste er én ting; at sammensætte sin egen fungerende kombination af model, agent og konfiguration er noget andet. Det er det, kontekstteknik er til for: at styre, hvad AI'en ser før prompten.

Hvad måler SWE-bench, den vigtigste kodningsrangliste, egentlig?#

Hvis du vil læse en rangliste over kodningsværktøjer, skal du forstå det vigtigste målepunkt, som alle henviser til. Det er SWE-bench. Det blev udviklet af akademiske forskere og præsenteret på en seriøs akademisk konference. Det er ikke et hjemmelavet diagram fra en blog.

Testen er enkel og fair. Man tager et virkeligt projekt med en virkelig fejl, som menneskelige programmører engang rettede. Agenten får projektet og en beskrivelse af problemet med egne ord. Den skal forstå en andens kode, finde det rette sted og indsende en programrettelse. Derefter kører systemet projektets rigtige tests. Hvis testene består, tæller opgaven som løst. Hvis de ikke gør, gør den ikke. Intet ”jeg tror, den er løst”: kun grønne flueben fra automatiserede tests.

Af det samlede sæt på 2.294 opgaver vises resultaterne oftest for en omhyggeligt verificeret delmængde kaldet SWE-bench Verified. Den indeholder 500 opgaver, som folk har gennemgået manuelt for at sikre, at de ikke var mangelfulde eller umulige at løse. Denne version blev sammensat sammen med OpenAI i august 2024, og det er dens procenttal, du ser i næsten alle ranglister. Når du ser ”X procent på SWE-bench Verified”, betyder det andelen af de 500 opgaver.

Hvorfor får den samme AI forskellige resultater i forskellige agenter?#

Her er et faktum, der straks afgør halvdelen af diskussionerne i kommentarerne. Den samme model giver forskellige procenttal i forskellige harnesses, og forskellen er mærkbar.

Det kan ses i de offentlige data. En benchmarktest, der måler agenters arbejde i en terminal, har en fair tabel med to separate kolonner for modellen og agenten. Den viser også omkostninger og forbrug. Forfatterne har bevidst udformet testen sådan for at vise, at resultatet altid er et par: ”model plus agent”. Et neuralt netværk alene er ikke nok til at give et resultat.

Årsagen til spredningen bliver tydelig, hvis du går tilbage til de tre lag. Én agent giver modellen ti forsøg pr. opgave, en anden giver den tre. Én viser den hele fejlteksten, en anden afkorter den. Én lader den køre tests og fortsætte med at rette ting, indtil de virker, en anden stopper efter den første programrettelse. Det neurale netværk er det samme, men arbejdsforholdene er forskellige, så det er procenttallene også.

Den praktiske konklusion for dig er enkel. Hvis du ser ”Claude løser 77 procent”, gælder det Claude i et bestemt harness med en bestemt konfiguration. Sætter du den samme model i en anden agent, får du et andet tal. ”Modellen er klog” og ”kombinationen løser opgaver” er altså udsagn om to forskellige ting.

Hvad koster én løst opgave?#

Nu kommer vi til pengene, for det er her, de fleste diskussioner begynder. Folk sammenligner abonnementspriser: Denne agent koster 20 dollars om måneden, den anden 200. Så konkluderer de: ”Den første er billigere.” Den konklusion er forkert, for et abonnement siger ikke noget om resultatet.

Abonnementsprisen fortæller meget lidt her. Du skal beregne prisen for én opgave, som agenten faktisk har løst. Du betaler for tokens – de tekststykker, der udveksles mellem dig og modellen. Jo mere modellen læser og skriver, desto flere tokens bruger den, og desto højere bliver regningen. Virksomhederne offentliggør tokenpriserne. Her er for eksempel, hvad Anthropic siger om sin Sonnet-model:

Så kommer regnestykket, der viser, hvorfor en lav pris kan være misvisende. Tag to modeller. Den første koster mere pr. token, men løser opgaven i første forsøg. Den anden er billigere, men prøver ti gange og læser hele projektet igen hver gang. Til sidst bruger modellen med den lavere pris flere tokens og giver en større regning end den dyre model. Jeg forklarer i detaljer, hvad det koster at arbejde med AI, i hvad en AI-agent koster for virksomheder og separat i hvordan man beregner priser for vibe-kodningsværktøjer.

Gode ranglister forstår dette og viser prisen ved siden af procenttallet: hvor mange penge der blev brugt på alle opgaverne. Læg mærke til det. En agent, der løser 75 procent til én dollar pr. opgave, er som regel et bedre køb for dig end én, der når 78 procent til tre dollars pr. opgave.

Hvorfor er hastighed også en del af ranglisten?#

Det tredje, der som regel forsvinder bag procenttallene, er tid. Den er lige så vigtig som prisen, hvis du arbejder med en agent hver dag.

Her er hagen. Præcision og hastighed trækker i hver sin retning. Hvis agenten skal løse flere opgaver, giver du den mere tid til at ”tænke” og flere forsøg: Den prøver forskellige muligheder, kører tests og reviderer sit arbejde. Procenttallene stiger, og svartiden gør det samme. Ved en enkeltstående rettelse er forskellen mellem ét minut og ti minutter knap nok mærkbar. Men hvis du bruger en hel aften med en agent og giver den den ene opgave efter den anden, bliver minutterne til timers ventetid foran skærmen.

Derfor har hastighed to sider på en rangliste. Førstepladsen i præcision viser sig ofte samtidig at være den langsomste og dyreste – den er blevet presset op på maksimale indstillinger for at få et flot tal. Til hverdagsarbejde har du måske brug for en kombination, der ligger lidt længere nede i tabellen, men er tre gange hurtigere og billigere. Hvad der betyder mest, afhænger af dine opgaver, og ranglisten kan ikke træffe det valg for dig.

Hvorfor er en forskel på et par procentpoint ofte bare støj?#

En anden faldgrube ved ranglister er at tro, at førstepladsen virkelig er bedre end tredjepladsen. Ofte er forskellen to eller tre procentpoint, altså 10 til 15 opgaver ud af 500, og fortolkningen afhænger af stikprøven og variation mellem kørsler. Kører man den samme test igen, kan de førende skifte plads, fordi en model ikke giver præcis det samme svar hver gang.

Ærlige målinger viser usikkerhed frem for kun en punktscore. Deres “knurhår” kan vise et 95 procents konfidensinterval; kontrollér benchmarkens definition. Overlap beviser ikke, at to agenter er lige gode, og afgør ikke i sig selv, om forskellen er statistisk signifikant. Det kræver en passende sammenligning af forskellen, stikprøvestørrelsen og variationen, helst med parringen bevaret, når begge agenter forsøger samme opgaver.

Brug ikke en universel grænse på tre procentpoint til at erklære uafgjort. En lille forskel kan være meningsfuld eller uafklaret afhængigt af stikprøve, gentagne kørsler og sammenligningsmetode. Se usikkerhed sammen med pris, hastighed og tilgængelighed, og test derefter de førende kombinationer på dine egne opgaver.

Hvem fører på de forskellige benchmarktests, når artiklen skrives?#

Nu til tallene selv – med ét vigtigt forbehold. Bestemte procenttal holder ikke længe. En ny modelversion udkommer, eller en agent opdateres, og en uge senere er tabellen anderledes. Så lad være med at huske tallene; husk størrelsesordenen, og lær selv at kontrollere dem.

Ifølge virksomhedernes egne officielle udmeldinger ser billedet sådan ud for de 500 verificerede SWE-bench-opgaver. OpenAI skrev følgende om sin GPT-5-model:

Anthropic rapporterer lignende tal for sine modeller. For Claude Opus 4.1 rapporterer virksomheden 74,5 procent på samme SWE-bench Verified. For den nyere Claude Sonnet 4.5 rapporterer den et gennemsnit på 77,2 procent på tværs af ti kørsler og op til 82 procent, hvis modellen får flere forsøg, og det bedste vælges.

Kan du se, hvad der sker? Førende kombinationer fra forskellige virksomheder ligger inden for et snævert interval: cirka 74–77 procent. Forskellen mellem dem er de samme par procentpoint, som ofte ligger inden for fejlmargenen. Derfor afhænger svaret på ”hvem kommer først” af, hvilken uge benchmarktesten blev kørt, og af konfigurationen. Det vigtigere er, at hele topgruppen kan klare nogenlunde de samme ting, og at du vælger blandt den gruppe ud fra pris, hastighed og om værktøjet overhovedet er tilgængeligt for dig.

Der er én detalje mere, som virksomhederne nævner med småt, men den er vigtig. GPT-5-resultatet blev ikke beregnet på alle 500 opgaver:

Det betyder, at 74,9 procent er andelen af 477 opgaver, ikke alle 500. En mindre detalje? Nej. Det er netop derfor, to ærlige ranglister kan vise forskellige tal for den samme model. Næste afsnit forklarer, hvad du skal se efter i disse fodnoter.

Sådan læser du enhver rangliste på fem minutter: en tjekliste#

Her er en kort række trin. Åbn en vilkårlig rangliste over AI-agenter, og gå disse seks spørgsmål igennem fra top til bund.

1. Hvilket benchmark er det? SWE-bench Verified eller noget andet. Hvis benchmarken slet ikke er navngivet, så luk siden; det er et diagram, der er lavet for at sætte gang i en diskussion.
2. Hvilken kombination? ”Claude” alene er ikke nok; du har brug for ”denne version af Claude i dette harness”. Uden begge dele hænger procenttallet frit i luften.
3. Hvor mange opgaver blev talt med? Alle 500 eller kun en delmængde, som i eksemplet med GPT-5 og 477. Et mindre sæt puster tallet op.
4. Hvor mange forsøg var tilladt? Ét forsøg er mere fair end ”ti forsøg, og så vælger vi det bedste”. Det sidste ser bedre ud, men ingen arbejder sådan i virkeligheden.
5. Hvad koster det? Er der en priskolonne ved siden af procenttallet? Hvis ikke, er halvdelen af billedet skjult.
6. Vises spredningen? Hvad betyder usikkerhedens “knurhår”, hvor mange opgaver og kørsler skabte dem, og rapporteres en passende sammenligning af forskellen? Hverken overlap eller en fast forskel på tre point beviser uafgjort.

Følg disse seks punkter, så vil enhver højlydt overskrift enten holde stik eller falde fra hinanden på fem minutter. Det er også nyttigt at huske, at det heller ikke garanterer et resultat i dit projekt, at en test bliver bestået: Jeg forklarer hvorfor i hvorfor en AI-agent siger ”færdig”, når arbejdet ikke er færdigt.

Hvor kommer misinformation om ranglister fra: gamle opgaver i modellernes træningsdata?#

Der er endnu en grund til ikke at tilbede procenttallene, og benchmarkskaberne taler åbent om den. Opgaverne i SWE-bench kommer fra åbne projekter, der har været online i årevis. Og neurale netværk trænes på internettet. Det betyder, at en model nemt kan være stødt på de samme projekter og deres færdige rettelser under træningen.

Hvad betyder det i praksis? Modellen løste ikke selv nogle af de ”løste” opgaver; den genkaldte det færdige svar. Den havde allerede set det under træningen og gengav det blot. Den procentdel viser hukommelse. Den siger intet om evnen til at forstå ny kode. OpenAI anerkender åbent denne risiko ved SWE-bench.

Konklusionen for læseren er denne: Jo friskere opgaverne er, og jo flere lukkede opgaver der er, som modellen med sikkerhed aldrig har set, desto mere fair er målingen. Derfor fortjener nye benchmarktests med skjulte tests større tillid end gamle åbne sæt, som alle allerede har øvet sig på. Når du vælger mellem to ranglister, så foretræk den med friske opgaver og nogle opgaver, der er skjult for modellerne.

Hvilken AI-agent skal du vælge til din opgave?#

Lad mig samle det hele i et praktisk valg. Der er ingen universel vinder, så tag udgangspunkt i din egen opgave.

Hvis projektet er komplekst, har en stor kodebase og vil tage lang tid, skal du vælge en kraftfuld model i et modent harness. Blandt kombinationerne tæt på toppen af ranglisterne er Anthropics Claude Code med Opus- og Sonnet-modeller samt OpenAI's Codex med modeller fra GPT-5-familien. Det er agenter, der er klar til brug, hvor alt allerede er konfigureret, og som konsekvent klarer krævende opgaver. De koster mere i tokens, men kræver mindre arbejde at sætte op.

Hvis opgaverne er enkle – rette tekst, sætte en lille side sammen eller skrive et script – er der ingen grund til at betale ekstra for en topmodel. Enklere og billigere modeller klarer dem uden nogen forskel i resultatet, og regningen bliver flere gange lavere.

Hvis du har brug for noget gratis, der kører lokalt, så se på åbne agenter som Cline, Aider og OpenHands. De har ikke deres egne modeller; du forbinder en ved hjælp af din egen nøgle. De er fleksible, men du skal selv konfigurere dem. Cursor er en separat editor med en indbygget agent; den kan arbejde med modeller fra forskellige virksomheder, og du vælger én til opgaven. Jeg gennemgår, hvilke opgaver en virksomhed faktisk bør overlade til en agent, i hvilke virksomhedsopgaver der reelt kan overlades til en AI-agent.

Ofte stillede spørgsmål#

Når du er klar, kan du lære Ailoot at kende.