KI-Coding-Agenten vergleichen: Modell, Harness und SWE-bench

Jede Woche veröffentlicht jemand eine Grafik: Balken, Prozentzahlen und eine fette Überschrift oben, auf der „beste KI fürs Programmieren 2026“ steht. Und direkt darunter beginnt eine Diskussion mit hundert Kommentaren. Eine Person ruft, ihr Tool löse 80 Prozent der Aufgaben, eine andere verweist auf einen Screenshot, dem zufolge dasselbe Tool 74 erreicht hat. Beide haben recht. Sie schauen nur auf unterschiedliche Messungen und messen unterschiedliche Dinge.

Der ursprüngliche Autor hat das selbst erlebt, als er Tools für seine Projekte auswählte. Jagt man dem Spitzenplatz in einem Ranking hinterher, merkt man eine Woche später, dass die Zahl aus einem Labortest stammte, während die eigene Aufgabe ganz anders aussieht. Im Folgenden geht es also nicht darum, wer auf Platz eins steht, sondern darum, wie ein Ranking von KI-Coding-Agenten funktioniert: Was es misst, warum dasselbe neuronale Netz unterschiedliche Ergebnisse liefert, was es tatsächlich kostet und wie man jede Tabelle in fünf Minuten liest und ein Tool für die eigene Aufgabe auswählt.

Weitere Anleitungen finden Sie in der Ailoot-Dokumentation.

Warum geht es bei einem Ranking von KI-Agenten nicht um die Marke?#

Als Erstes sollte man sich die Gewohnheit abgewöhnen, für eine Marke Partei zu ergreifen. „Anthropic gegen OpenAI“, „Claude gegen Gemini“ – das ergibt eine bequeme Überschrift, hat aber fast nichts mit der Auswahl eines Tools zu tun. Denn auf dem Computer läuft ein Agent. Und ein Agent besteht aus mindestens zwei Ebenen, die beide das Ergebnis beeinflussen.

Stellen Sie sich einen Koch und eine Küche vor. Das Modell ist der Koch: Er weiß, wie man kocht, und hat Talent und Erfahrung. Der Agent ist die Küche samt Ausstattung: Herd, Messer, Arbeitsabläufe und eine Assistenz, die Zutaten reicht. Stellt man einen brillanten Koch in eine heruntergekommene Küche, wird das Abendessen mittelmäßig. Stellt man einen durchschnittlichen Koch in eine perfekt ausgestattete Küche, kocht er zuverlässig und schnell. Bei Rankings von KI-Agenten wählt man die ganze Küche samt Koch.

Daraus ergibt sich eine einfache Regel, die von nun an vieles leichter macht. Wenn Sie lesen: „Tool X löst 80 Prozent der Aufgaben“, fragen Sie zuerst: Welches Modell steckt darin, welcher Agent hat es gesteuert und welcher Test wurde zur Messung verwendet? Fehlt auch nur eine Antwort, sehen Sie eine Grafik, die einen Streit auslösen soll. Als Ranking kann man sie noch nicht bezeichnen.

Woraus besteht jeder KI-Agent: Modell, Harness und Konfiguration#

Gehen wir die drei Ebenen der Reihe nach durch; ohne sie kommen wir nicht weiter.

Die erste Ebene ist das Modell. Das ist das neuronale Netz selbst: Claude Opus und Sonnet von Anthropic, GPT-5 von OpenAI, Gemini von Google. Es ist das „Gehirn“, das eine Lösung entwickelt und Code schreibt. Für sich allein kann das Modell jedoch nichts ausführen und keine Dateien sehen. Es kann nur als Antwort auf Text weiteren Text erzeugen.

Die zweite Ebene ist der Harness oder Agent. Das ist ein Programm, das um das Modell herum gebaut ist. Es gibt dem neuronalen Netz Hände: Es öffnet Projektdateien, führt Befehle im Terminal aus, zeigt, was kaputtgegangen ist, und fordert es auf, das Problem zu beheben. Claude Code, OpenAIs Codex CLI, Cursor, Cline und Aider sind allesamt Harnesses. Für diese zweite Ebene verwenden Ingenieure den Fachbegriff „Harness“. Genau das ist damit gemeint: ein Harness, über den das Modell echte Arbeit erledigt.

Die dritte Ebene ist die Konfiguration. Das sind die Einstellungen im Harness: wie intensiv das Modell vor der Antwort „denken“ darf, wie viele Versuche es für eine Aufgabe bekommt und welche Tools verfügbar sind. Dieselbe Kombination erzielt mit unterschiedlichen Konfigurationen unterschiedliche Ergebnisse.

Hier entsteht die ganze Verwirrung um Rankings. Die Leute streiten über die erste Ebene („Welches Modell ist intelligenter?“), während das Ergebnis in der Tabelle von allen drei Ebenen zugleich abhängt. Eine ausführliche Erklärung dazu, wie diese Ebenen zu einem funktionierenden System zusammenwirken, finden Sie unter Was ist ein KI-Agent – einfach erklärt.

Ein Ranking zu lesen ist das eine; eine eigene funktionierende Kombination aus Modell, Agent und Konfiguration zusammenzustellen, etwas anderes. Genau dafür gibt es Context Engineering: Man steuert, was die KI vor dem Prompt sieht.

Was misst SWE-bench, das wichtigste Coding-Ranking, tatsächlich?#

Um ein Coding-Ranking lesen zu können, muss man die wichtigste Messgröße verstehen, auf die sich alle beziehen: SWE-bench. Der Benchmark wurde von Forschenden an Universitäten erstellt und auf einer renommierten akademischen Konferenz vorgestellt. Es ist keine selbst gebastelte Grafik aus einem Blog.

Der Test ist einfach und fair. Man nimmt ein echtes Projekt mit einem echten Fehler, den menschliche Programmierer einst behoben haben. Der Agent erhält das Projekt und eine Beschreibung des Problems in eigenen Worten. Er muss fremden Code verstehen, die richtige Stelle finden und einen Patch einreichen. Dann führt das System die echten Tests des Projekts aus. Bestehen die Tests, gilt die Aufgabe als gelöst. Andernfalls nicht. Kein „Ich glaube, es ist gelöst“: Es zählen nur grüne Häkchen von automatisierten Tests.

Von den insgesamt 2.294 Aufgaben werden Ergebnisse meist für eine sorgfältig geprüfte Teilmenge namens SWE-bench Verified angegeben. Sie umfasst 500 Aufgaben, die Menschen manuell überprüft haben, um sicherzustellen, dass sie keine Fehler enthalten und nicht grundsätzlich unlösbar sind. Diese Version wurde im August 2024 gemeinsam mit OpenAI zusammengestellt und ist diejenige, deren Prozentwerte in fast jedem Ranking auftauchen. Wenn Sie „X Prozent bei SWE-bench Verified“ sehen, ist damit der Anteil dieser 500 Aufgaben gemeint.

Warum erzielt dieselbe KI in verschiedenen Agenten unterschiedliche Ergebnisse?#

Hier ist eine Tatsache, die sofort die Hälfte der Diskussionen in den Kommentaren klärt: Dasselbe Modell erzielt in verschiedenen Harnesses unterschiedliche Prozentwerte, und der Unterschied ist deutlich.

Das zeigen die öffentlich verfügbaren Daten. Ein Benchmark, der Agenten bei der Arbeit im Terminal misst, hat eine übersichtliche Tabelle mit zwei getrennten Spalten für Modell und Agent. Außerdem zeigt er Kosten und Nutzung. Die Autoren haben ihn bewusst so aufgebaut, um zu zeigen, dass das Ergebnis immer ein Paar ist: „Modell plus Agent“. Ein neuronales Netz allein reicht nicht aus, um einen Wert zu erzielen.

Der Grund für die Unterschiede wird deutlich, wenn man zu den drei Ebenen zurückkehrt. Ein Agent gibt dem Modell zehn Versuche pro Aufgabe, ein anderer drei. Einer zeigt ihm den vollständigen Fehlertext, ein anderer kürzt ihn. Einer darf Tests ausführen und weiterarbeiten, bis alles funktioniert, ein anderer stoppt nach dem ersten Patch. Das neuronale Netz ist dasselbe, aber die Arbeitsbedingungen sind verschieden, also unterscheiden sich auch die Prozentwerte.

Die praktische Schlussfolgerung ist einfach: Wenn Sie lesen: „Claude löst 77 Prozent“, geht es um Claude in einem bestimmten Harness mit einer bestimmten Konfiguration. Setzen Sie dasselbe Modell in einem anderen Agenten ein, erhalten Sie eine andere Zahl. „Das Modell ist intelligent“ und „die Kombination löst Aufgaben“ sind also Aussagen über zwei verschiedene Dinge.

Was kostet eine gelöste Aufgabe?#

Jetzt zum Geld, denn hier beginnen die meisten Diskussionen. Leute vergleichen Abopreise: Dieser Agent kostet 20 Dollar im Monat, jener 200. Dann folgern sie: „Der erste ist günstiger.“ Das ist falsch, denn beim Abo geht es nicht um das Ergebnis.

Der Abopreis sagt hier nur wenig aus. Berechnen muss man die Kosten einer Aufgabe, die der Agent tatsächlich erfolgreich erledigt hat. Bezahlt wird für Tokens – Textbausteine, die zwischen Ihnen und dem Modell ausgetauscht werden. Je mehr das Modell liest und schreibt, desto mehr Tokens verbraucht es und desto höher wird die Rechnung. Unternehmen veröffentlichen ihre Tokenpreise. Hier ist zum Beispiel die Angabe von Anthropic zu seinem Sonnet-Modell:

Dann kommt die Rechnung, die einen günstigen Preis täuschend wirken lässt. Nehmen wir zwei Modelle. Das erste kostet pro Token mehr, löst die Aufgabe aber beim ersten Versuch. Das zweite ist günstiger, versucht es jedoch zehnmal und liest dabei jedes Mal das ganze Projekt erneut. Am Ende verbraucht das Modell mit dem günstigeren Preis mehr Tokens und verursacht eine höhere Rechnung als das teure. Was in die Kosten der Arbeit mit KI einfließt, erkläre ich ausführlich in Was ein KI-Agent für Unternehmen kostet und separat in Wie man Preise für Vibe-Coding-Tools berechnet.

Gute Rankings berücksichtigen das und zeigen neben dem Prozentwert auch die Kosten: wie viel Geld für alle Aufgaben ausgegeben wurde. Achten Sie darauf. Ein Agent, der 75 Prozent für einen Dollar pro Aufgabe löst, ist für Sie meist günstiger als einer, der 78 Prozent für drei Dollar pro Aufgabe erreicht.

Warum gehört auch die Geschwindigkeit zum Ranking?#

Der dritte Aspekt, der hinter den Prozentwerten oft verloren geht, ist die Zeit. Wenn man täglich mit einem Agenten arbeitet, ist sie genauso wichtig wie die Kosten.

Der Haken: Genauigkeit und Geschwindigkeit stehen im Konflikt. Damit mehr Aufgaben gelöst werden, gibt man dem Agenten mehr Zeit zum „Denken“ und mehr Versuche. Er probiert verschiedene Möglichkeiten aus, führt Tests aus und überarbeitet seine Arbeit. Die Prozentwerte steigen, ebenso wie die Antwortzeit. Bei einer einmaligen Reparatur fällt der Unterschied zwischen einer und zehn Minuten kaum auf. Verbringt man aber einen ganzen Abend mit einem Agenten und gibt ihm Aufgabe um Aufgabe, summieren sich diese Minuten zu stundenlangem Warten vor dem Bildschirm.

Deshalb hat Geschwindigkeit in einem Ranking zwei Seiten. Der Spitzenplatz bei der Genauigkeit entpuppt sich oft zugleich als langsamste und teuerste Option – die Einstellungen wurden für eine schöne Zahl auf das Maximum gedreht. Für die tägliche Arbeit brauchen Sie vielleicht eine Kombination, die in der Tabelle etwas weiter unten steht, dafür aber dreimal schneller und günstiger ist. Was wichtiger ist, hängt von Ihren Aufgaben ab; diese Entscheidung kann Ihnen das Ranking nicht abnehmen.

Warum ein Unterschied von ein paar Prozentpunkten oft nur Rauschen ist#

Eine weitere Ranking-Falle besteht darin, zu glauben, Platz eins sei wirklich besser als Platz drei. Oft sind es zwei oder drei Prozentpunkte – 10 bis 15 Aufgaben von 500. Ihre Bedeutung hängt von Stichprobe und Schwankungen zwischen Läufen ab. Wiederholt man denselben Test, können die Spitzenplätze wechseln, denn ein Modell gibt nicht jedes Mal exakt dieselbe Antwort.

Ehrliche Messungen zeigen neben dem Punktwert die Unsicherheit. Fehlerbalken können ein 95-Prozent-Konfidenzintervall darstellen; prüfe die Benchmarkdefinition. Überlappung belegt keine Gleichheit und entscheidet allein nicht über statistische Signifikanz. Dafür braucht es einen geeigneten Vergleich der Differenz, Stichprobengröße und Variation. Bearbeiten beide Agenten dieselben Aufgaben, sollte ihre Paarung möglichst erhalten bleiben.

Verwenden Sie keine allgemeine Drei-Prozentpunkte-Grenze für Gleichstand. Ein kleiner Abstand kann je nach Stichprobe, Wiederholungsläufen und Vergleichsmethode bedeutsam oder unentschieden sein. Betrachten Sie Unsicherheit neben Kosten, Geschwindigkeit und Verfügbarkeit und testen Sie führende Kombinationen an eigenen Aufgaben.

Wer liegt zum Zeitpunkt der Veröffentlichung bei den verschiedenen Benchmarks vorn?#

Jetzt zu den Zahlen selbst – mit einem wichtigen Vorbehalt. Konkrete Prozentwerte sind nur kurz aktuell. Eine neue Modellversion erscheint oder ein Agent wird aktualisiert, und eine Woche später sieht die Tabelle anders aus. Prägen Sie sich die Zahlen also nicht ein, sondern behalten Sie die Größenordnung im Kopf und lernen Sie, selbst nachzusehen.

Nach den offiziellen Angaben der Unternehmen sieht das Bild für die verifizierten 500 SWE-bench-Aufgaben so aus. OpenAI schrieb über sein Modell GPT-5:

Anthropic nennt für seine Modelle ähnliche Zahlen. Für Claude Opus 4.1 gibt das Unternehmen 74,5 Prozent bei demselben Benchmark SWE-bench Verified an. Für das neuere Claude Sonnet 4.5 nennt es einen über zehn Durchläufe gemittelten Wert von 77,2 Prozent und bis zu 82 Prozent, wenn das Modell mehrere Versuche erhält und der beste ausgewählt wird.

Sehen Sie, was hier passiert? Die führenden Kombinationen verschiedener Unternehmen liegen in einem engen Bereich: ungefähr 74–77 Prozent. Der Abstand zwischen ihnen beträgt dieselben paar Prozentpunkte, die oft innerhalb der Fehlertoleranz liegen. Wer also „auf Platz eins“ steht, hängt davon ab, in welcher Woche der Benchmark ausgeführt wurde und welche Konfiguration verwendet wurde. Wichtiger ist, dass die ganze Spitzengruppe ungefähr dieselben Aufgaben bewältigt. Wählen sollte man daraus anhand von Kosten, Geschwindigkeit und der Frage, ob das Tool überhaupt verfügbar ist.

Ein weiteres Detail erwähnen Unternehmen im Kleingedruckten, doch es ist wichtig. Das GPT-5-Ergebnis wurde nicht für alle 500 Aufgaben berechnet:

Das bedeutet: 74,9 Prozent ist der Anteil von 477 Aufgaben, nicht von allen 500. Ein kleines Detail? Nein. Genau deshalb können zwei ehrliche Rankings für dasselbe Modell unterschiedliche Zahlen angeben. Im nächsten Abschnitt erfahren Sie, worauf Sie in diesen Fußnoten achten sollten.

Jedes Ranking in fünf Minuten lesen: eine Checkliste#

Hier ist eine kurze Schrittfolge. Öffnen Sie ein beliebiges Ranking von KI-Agenten und gehen Sie diese sechs Fragen der Reihe nach durch.

1. Welcher Benchmark ist es? SWE-bench Verified oder etwas anderes. Ist der Benchmark überhaupt nicht genannt, schließen Sie die Seite: Die Grafik soll nur einen Streit auslösen.
2. Welche Kombination? „Claude“ allein genügt nicht; Sie brauchen „diese Claude-Version in diesem Harness“. Ohne beide Angaben schwebt der Prozentwert in der Luft.
3. Wie viele Aufgaben wurden gezählt? Alle 500 oder nur eine Teilmenge, wie beim Beispiel mit GPT-5 und 477. Eine kleinere Menge treibt den Wert nach oben.
4. Wie viele Versuche waren erlaubt? Ein Versuch ist fairer als „zehn Versuche, und wir nehmen den besten“. Letzteres sieht besser aus, aber im echten Leben arbeitet niemand so.
5. Was kostet es? Gibt es neben dem Prozentwert eine Spalte zu den Kosten? Wenn nicht, bleibt die Hälfte des Bildes verborgen.
6. Wird die Streuung gezeigt? Was bedeuten die Fehlerbalken, aus wie vielen Aufgaben und Läufen entstanden sie und gibt es einen geeigneten Vergleich der Differenz? Weder Überlappung noch ein fester Drei-Punkte-Abstand belegt Gleichstand.

Befolgen Sie diese sechs Punkte, wird jede laute Schlagzeile innerhalb von fünf Minuten entweder Bestand haben oder in sich zusammenfallen. Außerdem sollte man sich bewusst sein, dass selbst ein bestandener Test kein Ergebnis für das eigene Projekt garantiert. Warum, erkläre ich in Warum ein KI-Agent „fertig“ sagt, obwohl die Arbeit noch nicht erledigt ist.

Woher kommen falsche Ranking-Informationen: alte Aufgaben im Modelltraining?#

Es gibt noch einen Grund, Prozentwerte nicht anzubeten, und die Entwickler der Benchmarks sprechen offen darüber. Die SWE-bench-Aufgaben stammen aus offenen Projekten, die seit Jahren online sind. Neuronale Netze werden mit dem Internet trainiert. Ein Modell könnte also während des Trainings problemlos auf dieselben Projekte und ihre fertigen Fehlerbehebungen gestoßen sein.

Was bedeutet das in der Praxis? Einige der angeblich „gelösten“ Aufgaben hat das Modell nicht selbst gelöst, sondern die fertige Antwort abgerufen. Es hatte sie im Training bereits gesehen und einfach reproduziert. Dieser Prozentwert zeigt Erinnerungsleistung. Über die Fähigkeit, neuen Code zu verstehen, sagt er nichts aus. OpenAI räumt dieses Risiko bei SWE-bench offen ein.

Die Schlussfolgerung für Leserinnen und Leser: Je aktueller die Aufgaben sind und je mehr abgeschlossene Aufgaben es gibt, die das Modell mit Sicherheit noch nie gesehen hat, desto fairer ist die Messung. Deshalb verdienen neue Benchmarks mit verborgenen Tests mehr Vertrauen als alte offene Testsätze, an denen alle bereits geübt haben. Wählen Sie zwischen zwei Rankings dasjenige mit aktuellen Aufgaben und einigen Aufgaben, die den Modellen verborgen bleiben.

Welchen KI-Agenten sollten Sie für Ihre Aufgabe auswählen?#

Fassen wir das zu einer praktischen Entscheidung zusammen. Es gibt keinen universellen Sieger, also richten Sie sich nach Ihrer Aufgabe.

Ist das Projekt komplex, hat es eine große Codebasis und dauert die Arbeit lange, wählen Sie ein leistungsstarkes Modell in einem ausgereiften Harness. Zu den Kombinationen nahe der Spitze gehören Claude Code von Anthropic mit Opus- und Sonnet-Modellen sowie Codex von OpenAI mit Modellen der GPT-5-Familie. Das sind sofort einsatzbereite Agenten, bei denen bereits alles konfiguriert ist; anspruchsvolle Aufgaben bewältigen sie zuverlässig. Sie kosten mehr an Tokens, erfordern aber weniger Einrichtungsaufwand.

Bei einfachen Aufgaben – Text korrigieren, eine kleine Seite erstellen oder ein Skript schreiben – muss man nicht extra für ein Spitzenmodell bezahlen. Schlichtere, günstigere Modelle erledigen sie ohne Unterschied im Ergebnis, und die Rechnung fällt um ein Mehrfaches niedriger aus.

Wenn Sie etwas Kostenloses brauchen, das lokal läuft, sehen Sie sich offene Agenten wie Cline, Aider und OpenHands an. Sie haben kein eigenes Modell; Sie verbinden eines über Ihren eigenen Schlüssel. Sie sind flexibel, aber die Konfiguration müssen Sie selbst übernehmen. Cursor ist ein separater Editor mit integriertem Agenten. Er kann mit Modellen verschiedener Unternehmen arbeiten, und Sie wählen das passende für die Aufgabe. Welche Aufgaben ein Unternehmen tatsächlich einem Agenten übertragen sollte, bespreche ich in Welche Geschäftsaufgaben lassen sich wirklich einem KI-Agenten übertragen?.

Häufig gestellte Fragen#

Wenn Sie bereit sind, lernen Sie Ailoot kennen.