KI-Coding-Benchmarks lesen: HumanEval, SWE-bench und Grenzen

Kurz gesagt: Die Zahl „löst 76 Prozent der Aufgaben“ sagt für sich genommen fast nichts aus. Entscheidend ist, welche Aufgabensammlung den Wert hervorgebracht hat, welches Modell und welcher Agent-Wrapper gemeinsam bewertet wurden, ob die Aufgaben neu oder alt sind und wie viel es gekostet hat. Ohne diese Bedingungen eignet sich der Prozentsatz für ein Werbebanner, aber nicht für die Wahl eines Tools.

Als Nächstes erkläre ich in einfachen Worten, was die beiden wichtigsten Coding-Benchmarks messen, wo sich der Haken in den Tabellen versteckt und wie man jedes Ranking in einer Minute überprüft, bevor man sich darauf verlässt. Im Folgenden werden historische Benchmarkdefinitionen erklärt. Hier wird kein aktueller gepaarter Ranglistenstand wiedergegeben. Ein aktueller Punkte- oder Kostenvergleich braucht eine eigene verlinkte Tabelle, Datum und Konfiguration.

Mehr über die Arbeit mit Modellen erfahren Sie in der Ailoot-Dokumentation.

Was zeigt ein Benchmark-Prozentsatz tatsächlich?#

Ein Benchmark funktioniert ganz einfach. Es gibt eine fertige Liste von Programmieraufgaben. Das Tool erhält jede Aufgabe und gibt Code zurück; anschließend führt das System automatisierte Tests aus, um festzustellen, ob die Lösung funktioniert. Der Anteil der bestandenen Aufgaben ist der in der Tabelle angezeigte Prozentsatz.

Die Stärke liegt hier in der objektiven Auswertung. Ein Test ist entweder grün oder rot; niemand vergibt eine Bewertung nach Augenmaß. In dieser Hinsicht sind Benchmarks ehrlicher als Rezensionen oder Erfahrungsberichte.

Die Schwäche ist genau dieselbe. Die Aufgabensammlung ist endlich und allen im Voraus bekannt, auch denjenigen, die die Modelle trainieren. Jede Messung hat ihre eigenen Bedingungen. Und die Aufgaben in der Sammlung ähneln mit großer Wahrscheinlichkeit nicht Ihrer Arbeit. Daraus ergeben sich alle Fallstricke, die ich weiter unten bespreche. Der Prozentsatz beschreibt das Verhalten eines Tools bei einer abgeschlossenen Aufgabenliste von jemand anderem und lässt sich nicht direkt auf Ihr Projekt übertragen.

Was misst HumanEval, und warum kann man danach nicht mehr auswählen?#

HumanEval wurde bei OpenAI entwickelt und 2021 zusammen mit dem Codex-Modell veröffentlicht. Die Sammlung enthält 164 kleine Python-Aufgaben: Die Modelle erhalten eine Funktionsbeschreibung in Worten, schreiben deren Rumpf, und eine Reihe automatisierter Tests prüft, ob er korrekt funktioniert.

Damals eignete sich HumanEval gut zum Unterscheiden der Modelle. In ihrer eigenen Arbeit nennen die Autoren folgende Zahl: Das erste Codex löste in einem Versuch 28,8 Prozent der Aufgaben, während das gewöhnliche GPT-3 keine einzige löste.

Seitdem sind die Modelle leistungsfähiger geworden, und heute bewältigen starke Modelle fast die gesamte HumanEval-Sammlung. Wenn alle nahe an 100 Prozent liegen, kann die Tabelle nichts mehr unterscheiden: Die Unterschiede zwischen den Tools verschwinden. Das nennt man eine Sättigung des Benchmarks, und HumanEval befindet sich schon lange in diesem Zustand.

Der zweite Mangel ist schwerwiegender. Die Aufgaben sind winzig: eine Funktion anhand einer Beschreibung schreiben. Ihre tatsächliche Arbeit sieht anders aus – sie umfasst ein großes Projekt mit einer Vorgeschichte, in dem Sie den Code anderer verstehen, einen Fehler finden und benachbarte Codebereiche nicht beschädigen müssen. Zwischen „eine Funktion von Grund auf schreiben“ und „einen Fehler in einem laufenden Projekt beheben“ klafft eine Lücke. Eine hohe HumanEval-Punktzahl ist heute also kein Grund mehr, ein Tool auszuwählen; sie ist eher ein Zeichen dafür, dass „die Grundlagen abgedeckt sind“.

Was misst SWE-bench, und warum kommt es der tatsächlichen Arbeit näher?#

SWE-bench unterscheidet sich grundlegend und ist deshalb interessanter. Der Benchmark wurde anhand tatsächlicher Issues und Pull Requests in beliebten GitHub-Projekten erstellt. Laut den Autoren umfasst er 2.294 Aufgaben aus 12 großen Python-Repositories und wurde im Oktober 2023 veröffentlicht.

Die Auswertungslogik ist eindeutig. Man nimmt einen Stand eines Projekts, an dem ein tatsächlicher Fehler vorlag, sowie eine Reihe von Tests, die damals fehlschlugen. Das Tool erhält die Problembeschreibung und bearbeitet den Code. Danach werden dieselben Tests ausgeführt: Wenn sie bestehen, ist die Aufgabe tatsächlich gelöst; hier vertraut niemand auf mündliche Versprechen.

Die ersten Zahlen zeigen, wie viel schwieriger das ist als Spielzeugaufgaben. Der erste Baseline-Ansatz erzielte bei SWE-bench gerade einmal 1,96 Prozent, und der erste Agent erreichte 12,47 Prozent. Anders gesagt: Schon die Annäherung an tatsächliche Coding-Arbeit war schwierig. Die Prozentsätze stiegen später, begannen aber nahe null.

Wenn Sie heute große Zahlen in einem Ranking von KI-Coding-Agenten sehen, stammen sie meistens aus SWE-bench oder dessen von Menschen überprüfter Teilmenge mit 500 Aufgaben, SWE-bench Verified. Das ist ein vernünftiger Benchmark. Aber auch er hat Bedingungen, ohne die der Prozentsatz irreführend ist. Darum geht es als Nächstes.

Selbst der ehrlichste Benchmark in einer Tabelle ist noch kein Ergebnis für Ihr Projekt. Das Ergebnis hängt davon ab, wie Sie mit dem Tool arbeiten; die oberste Zeile des Rankings sagt nur wenig aus. Für zuverlässige Arbeit zählt die Kombination: KI-Klon, Second Brain und Context Engineering. Ein sauberer Kontext verbessert Ihre persönliche Erfolgsquote deutlich stärker als die Auswahl eines Modells anhand einer Tabelle.

Warum zeigt dasselbe Modell einen anderen Prozentsatz?#

Hier verbirgt sich der häufigste Fehler beim Lesen von Benchmarks. Menschen lesen eine Tabelle als Modell-Ranking: Dieses Modell sei zwei Prozent intelligenter als jenes. Doch drei Dinge beeinflussen den Prozentsatz, und das Modell ist nur eines davon.

Erstens das Modell selbst. Zweitens der Agent-Wrapper darum: ein Programm, mit dem das Modell Dateien durchsuchen, Befehle ausführen, Fehlermeldungen lesen und Code neu schreiben kann. Dasselbe Modell erzielt in einem intelligenten und einem einfachen Wrapper unterschiedliche Ergebnisse, weil der Wrapper bestimmt, wie das Modell mit dem Projekt arbeitet. Drittens die Reasoning-Stufe – also, wie gründlich das Modell jeden Schritt durchdenkt. Je länger es nachdenkt, desto höher ist normalerweise der Prozentsatz und desto höher sind die Kosten.

Ein reproduzierbarer Vergleich muss die vollständige Einrichtung festhalten. Nutzen Sie diese Tabelle als Berichtsvorlage, nicht als gemessene Rangliste:

So erkennen Sie die geänderte Variable und ob der Vergleich tatsächlich die Reasoning-Einstellung isoliert. Das frühere unverlinkte Zahlenbeispiel gilt nicht als gemessenes Ergebnis.

Die Regel lautet: Ein gutes Ranking gibt immer an, welches Modell, welcher Wrapper und welche Reasoning-Stufe verwendet wurden. Wenn die Tabelle nur einen Modellnamen und einen Prozentsatz enthält, aber keinen Wrapper nennt, ist ihr schwer zu vertrauen: Man weiß nicht, was tatsächlich gemessen wurde. Mehr dazu, woraus die Kombination „Modell plus Wrapper“ besteht, erfahren Sie im Artikel über das Ranking von KI-Coding-Agenten.

Das erklärt auch, warum ein Tool mit Spitzenwerten manchmal bei Ihnen Schwierigkeiten hat. Der Benchmark misst ein Modell in einem von jemand anderem verfeinerten Wrapper und anhand der Aufgaben von jemand anderem. Ihr Wrapper, Ihr Projekt und der Kontext, den Sie dem Modell geben, sind anders. In Ihrem Projekt hängt das Ergebnis vom Kontext ab; die Tabellenzeile kommt an zweiter Stelle.

Warum „verfallen“ Aufgaben, und was ist ein Datenleck bei den Trainingsdaten?#

Hier liegt der Haken, der in der Zahl selbst unsichtbar ist und den Benchmark stärker als alles andere entwertet. Modelle werden mit riesigen Mengen an Text und Code trainiert, die aus dem Internet stammen. Und fast alle Coding-Benchmarks sind öffentlich verfügbar: die Aufgaben, Tests und Referenzlösungen.

Der Ablauf ist einfach. Wenn eine Aufgabe und ihre korrekte Lösung in die Trainingsdaten gelangt sind, könnte das Modell sie auswendig gelernt haben. Bei der Auswertung löst es die Aufgabe dann womöglich nicht wirklich, sondern ruft eine vertraute Antwort aus dem Gedächtnis ab. Es sieht wie eine Lösung aus, ist aber nur eine Erinnerung. Das nennt man Trainingsdaten-Leckage oder Datenkontamination.

Je älter und beliebter die Aufgabensammlung ist, desto größer ist das Risiko. HumanEval ist seit 2021 online; die Sammlung wurde vielfach umgeschrieben, analysiert und in unzählige Datensätze aufgenommen. Es wäre seltsam zu erwarten, dass ein modernes Modell sie noch nie „gesehen“ hat. Deshalb ist die Aktualität der Aufgaben ein eigenständiger Qualitätsindikator für einen Benchmark. Eine gute Sammlung wird entweder regelmäßig aktualisiert oder hält einige Aufgaben geschlossen, damit sie nicht vorab gelernt werden können.

Was sollten Sie beim Lesen eines Rankings tun? Prüfen Sie das Datum der Aufgaben und ob die Sammlung aktualisiert wird. Wenn ein Benchmark auf aktuellen Fehlern aus den letzten Monaten beruht, ist er vertrauenswürdiger. Wenn er aus einer fünf Jahre alten Sammlung besteht, sagt ein hoher Prozentsatz darauf mehr über das gute Gedächtnis des Modells als über seine Fähigkeit aus, Ihre neue Aufgabe zu lösen. Ein konkretes Beispiel für genau diesen Effekt finden Sie im Artikel über den neuen FrontierCode-Benchmark, dessen Aufgaben bewusst neu waren.

Warum bedeutet ein Unterschied von ein paar Prozentpunkten oft nichts?#

Ein weiterer Grund, weshalb der Spitzenplatz in einer Tabelle irreführend sein kann: Ein Modell antwortet nicht jedes Mal gleich. Auf denselben Prompt kann es mit einem leicht anderen Gedankengang reagieren. Wenn Sie also ein Tool mehrere Male mit derselben Aufgabensammlung ausführen, schwankt der Prozentsatz von Durchlauf zu Durchlauf ein wenig. Diese Schwankung nennt man Varianz.

Die praktische Schlussfolgerung ist einfach. Wenn sich zwei Zeilen in einem Ranking um ein oder zwei Prozent unterscheiden, könnte das leicht nur Rauschen sein. Einem Tool hinterherzujagen, das „zwei Prozent besser“ ist, wäre töricht: Beim nächsten Durchlauf könnten die Plätze leicht getauscht sein. Ein Unterschied ist dann bedeutsam, wenn er auffällig ist und sich über eine große Aufgabensammlung hinweg hält; ein paar Punkte erfüllen diese Voraussetzung nicht.

Und das Letzte, was fast immer wichtiger ist als der Prozentsatz selbst, ist der Preis. Ähnliche Ergebnisse können sehr unterschiedliche Kosten verursachen. Ein Kostenvergleich braucht beide Modell-Harness-Konfigurationen und Gesamtausgaben der ausgewerteten Aufgaben einschließlich gescheiterter Versuche. Teilen Sie für Kosten je Versuch durch alle versuchten Aufgaben, für Kosten je gelöster Aufgabe durch die gelösten. Benennen Sie den Nenner. Dieser Artikel liefert keine belegte gepaarte Kostenmessung. Lesen Sie eine Ranking-Zeile deshalb immer zusammen mit dem Preis, denn der Prozentsatz allein sagt wenig aus. Der Artikel über die Kosten einer gelösten Aufgabe erklärt, wie man Tools fair nach Kosten vergleicht.

Wie kann man eine beliebige Benchmark-Tabelle in einer Minute lesen?#

Fassen wir alles in einer kurzen Checkliste zusammen. Öffnen Sie eine beliebige Ranking-Tabelle und gehen Sie diese sieben Punkte der Reihe nach durch.

1. Welche Aufgabensammlung? HumanEval ist heute schwach; SWE-bench kommt der tatsächlichen Arbeit näher. Wenn die Sammlung gar nicht benannt wird, brauchen Sie nicht weiterzulesen.
2. Sind die Aufgaben neu oder alt? Eine neue oder teilweise geschlossene Sammlung ist verlässlicher als eine alte öffentliche Sammlung, die das Modell möglicherweise gelernt hat.
3. Welches Modell wurde gemessen? Der genaue Name und die Version, keine vage Angabe wie „KI“ und kein bloßer Name einer Modellfamilie.
4. Welcher Agent-Wrapper? Der Prozentsatz gehört zur Kombination „Modell plus Wrapper“. Wenn der Wrapper nicht angegeben ist, wissen Sie nicht, was gemessen wurde.
5. Welche Reasoning-Stufe? Dasselbe Modell erzielt bei unterschiedlichen Stufen unterschiedliche Prozentsätze und verursacht unterschiedliche Kosten.
6. Was kostet eine Aufgabe? Ähnliche Ergebnisse können sich preislich um ein Vielfaches unterscheiden. Lesen Sie den Prozentsatz zusammen mit den Kosten.
7. Wie groß ist die Varianz? Ein Unterschied von ein oder zwei Punkten zwischen Zeilen ist oft nur Rauschen.

Es gibt eine achte Frage, und sie betrifft Sie: Ähneln die Aufgaben in der Sammlung Ihrer Arbeit? Ein Benchmark mit Python-Aufgaben sagt jemandem wenig, der eine Website oder einen Bot mit einem anderen Toolset entwickelt. Selbst eine ehrliche Zahl bei den Aufgaben anderer garantiert kein Ergebnis in Ihrem Projekt. Es gibt nur eine zuverlässige Möglichkeit, das zu prüfen: Lassen Sie ein paar Ihrer typischen Aufgaben durch das Tool laufen und sehen Sie sich das Ergebnis selbst an. Der Artikel darüber, wie man KI-generierten Code überprüft, erklärt, wie Sie feststellen können, ob der Code funktioniert, wenn Sie selbst nicht programmieren.

Worauf sollten Sie am Ende achten?#

Die Hauptaussage des gesamten Artikels ist kurz: Ein Platz im Ranking ist ein Grund, sich ein Tool genauer anzusehen, aber Sie müssen selbst weiter nachforschen. Eine hohe Zahl besagt nur, dass ein Tool eine bestimmte abgeschlossene Aufgabenliste unter bestimmten Bedingungen ordentlich bearbeitet hat. Der Prozentsatz zeigt nicht, ob diese Bedingungen Ihren eigenen entsprechen.

Lesen Sie also, was unter der Ranking-Zeile steht: welche Aufgaben verwendet wurden, wie aktuell sie sind, welche Modell-und-Wrapper-Kombination zum Einsatz kam, welche Reasoning-Stufe eingestellt war, wie viel es kostet und ob der Unterschied im Rauschen untergeht. Eine Tabelle, die diese Fragen nicht beantwortet, gehört auf ein Werbebanner. Die Übersicht welches Coding-Tool man 2026 verwenden sollte erklärt, welches Tool Sie für Ihre Aufgaben überhaupt auswählen sollten.

Und wichtiger als jeder Benchmark ist Folgendes: Selbst das beste Tool im Ranking hat mit unübersichtlichem Kontext Schwierigkeiten und arbeitet mit sauberem Kontext gut. Ihre persönliche Erfolgsquote hängt davon ab, was Sie dem Modell geben und wie Sie die Aufgabe formulieren; die Tabellenzeile kommt an zweiter Stelle. Das Ranking hilft dabei, eindeutig schwache Optionen auszuschließen, aber das Ergebnis erzielen Sie.

Ein Platz im Ranking schließt schwache Optionen aus, aber die Ergebnisse in Ihrem Projekt hängen von der Methode ab: KI-Klon plus Second Brain plus Context Engineering.

Für die weitere Arbeit – Ailoot.