Žebříčky AI agentů pro programování v roce 2026: kdo skutečně řeší úlohy

Každý týden někdo zveřejní graf: sloupce, procenta a nahoře výrazný nadpis „nejlepší AI na programování v roce 2026“. A hned pod ním se rozhoří hádka se stovkou komentářů. Jeden člověk vykřikuje, že jeho nástroj vyřeší 80 procent úloh, další ukazuje snímek obrazovky, podle kterého tentýž nástroj dosáhl 74. Oba mají pravdu. Jen se dívají na různá měření a měří různé věci.

Původní autor si tím prošel, když vybíral nástroje pro své projekty. Honíte se za prvním místem v žebříčku a o týden později zjistíte, že číslo pocházelo z laboratorního testu, zatímco vaše skutečná úloha je úplně jiný příběh. Následující text proto není o tom, kdo je první, ale o tom, jak každý žebříček AI agentů pro programování funguje: co měří, proč stejná neuronová síť dosahuje různých výsledků, kolik to skutečně stojí a jak za pět minut přečíst libovolnou tabulku a vybrat si nástroj pro svůj úkol.

Další doporučení najdete v dokumentaci Ailoot.

Proč žebříček AI agentů pro programování není žebříčkem značek?#

Nejdřív se zbavte zvyku fandit nějaké značce. „Anthropic proti OpenAI“, „Claude proti Gemini“ – to je sice lákavý nadpis, ale s výběrem nástroje to má jen málo společného. Na počítači totiž spouštíte agenta. A agent se skládá nejméně ze dvou vrstev, z nichž obě ovlivňují výsledek.

Představte si kuchaře a kuchyni. Model je kuchař: umí vařit, má talent i zkušenosti. Agent je kuchyně se vším vybavením: sporákem, noži, pracovním postupem a pomocníkem, který podává suroviny. Dejte skvělého kuchaře do zchátralé kuchyně a večeře bude průměrná. Dejte průměrného kuchaře do dokonale vybavené kuchyně a bude vařit spolehlivě a rychle. V žebříčcích AI agentů si vybíráte celou kuchyni včetně kuchaře.

Z toho plyne jednoduché pravidlo, které vám další čtení usnadní. Když uvidíte „nástroj X vyřeší 80 procent úloh“, nejdřív se zeptejte: jaký model je uvnitř, který agent ho řídil a jaký test výsledek měřil? Pokud chybí odpověď byť jen na jednu otázku, díváte se na graf vytvořený proto, aby vyvolal hádku. Na žebříček je příliš brzy.

Z čeho se skládá AI agent pro programování?#

Pojďme si projít všechny tři vrstvy popořadě; bez nich se dál nedostaneme.

První vrstvou je model. Je to samotná neuronová síť: Claude Opus a Sonnet od společnosti Anthropic, GPT-5 od OpenAI, Gemini od Googlu. Je to „mozek“, který vymýšlí řešení a píše kód. Sám o sobě ale model nedokáže nic spustit ani zobrazit soubory. Umí jen vytvářet text v reakci na text.

Druhou vrstvou je harness neboli agent. Jde o program obalený kolem modelu. Dává neuronové síti ruce: otevírá soubory projektu, spouští příkazy v terminálu, ukazuje, co se pokazilo, a žádá model o opravu. Claude Code, OpenAI Codex CLI, Cursor, Cline a Aider jsou všechno harnessy. Inženýři pro tuto druhou vrstvu používají odborný výraz „harness“. Přesně o to jde: harness vede model při skutečné práci.

Třetí vrstvou je konfigurace. Jsou to ovládací prvky uvnitř harnessu: kolik prostoru má model na „přemýšlení“ před odpovědí, kolik pokusů mu dát na jeden úkol a jaké nástroje mu zpřístupnit. Stejná kombinace dosahuje při různých konfiguracích různých výsledků.

Právě odtud pramení všechen zmatek kolem žebříčků. Lidé se přou o první vrstvu („který model je chytřejší“), zatímco výsledek v tabulce závisí na všech třech současně. Podrobné vysvětlení, jak tyto vrstvy společně tvoří fungující systém, najdete v článku co je AI agent jednoduchými slovy.

Číst žebříček je jedna věc; sestavit si vlastní fungující kombinaci modelu, agenta a konfigurace je věc druhá. K tomu slouží kontextové inženýrství: správa toho, co AI vidí ještě před zadáním.

Co vlastně měří SWE-bench, hlavní žebříček programovacích schopností?#

Abyste dokázali číst jakýkoli žebříček programovacích schopností, musíte rozumět hlavnímu měřítku, na které všichni odkazují. Tím je SWE-bench. Vytvořili ho akademičtí výzkumníci a představili na významné akademické konferenci. Není to žádný domácí graf z blogu.

Test je jednoduchý a férový. Vezmou skutečný projekt se skutečnou chybou, kterou už někdy opravili lidští programátoři. Agent dostane tento projekt a popis problému vlastními slovy. Musí pochopit cizí kód, najít správné místo a odevzdat opravu. Systém pak spustí skutečné testy projektu. Pokud projdou, úloha se počítá jako vyřešená. Pokud ne, nepočítá se. Žádné „myslím, že je to vyřešené“: platí pouze zelené značky úspěchu z automatických testů.

Z celé sady 2 294 úloh se nejčastěji uvádějí výsledky pečlivě ověřené podmnožiny zvané SWE-bench Verified. Obsahuje 500 úloh, které lidé ručně zkontrolovali, aby se ujistili, že nejsou chybné ani ze své podstaty neřešitelné. Tato verze vznikla ve spolupráci s OpenAI v srpnu 2024 a právě její procenta vidíte téměř v každém žebříčku. Když se píše „X procent na SWE-bench Verified“, znamená to podíl z těchto 500 úloh.

Proč stejná AI dosahuje v různých agentech různých výsledků?#

Tady je fakt, který okamžitě ukončí polovinu hádek v komentářích. Stejný model dosahuje v různých harnessích různých procent a rozdíl je znatelný.

Veřejná data to potvrzují. Jeden benchmark, který měří práci agentů v terminálu, má přehlednou tabulku se dvěma samostatnými sloupci pro model a agenta. Zobrazuje také náklady a využití. Autoři ji tak záměrně sestavili, aby ukázali, že výsledek vždy tvoří dvojice: „model plus agent“. Samotná neuronová síť k dosažení výsledku nestačí.

Důvod rozdílů je jasný, když se vrátíte ke třem vrstvám. Jeden agent dá modelu na každou úlohu deset pokusů, jiný tři. Jeden zobrazí celý text chyby, jiný ho zkrátí. Jeden mu dovolí spouštět testy a pokračovat v opravách, dokud vše nefunguje, jiný se zastaví po první opravě. Neuronová síť je stejná, ale pracovní podmínky se liší, a proto se liší i procenta.

Praktický závěr je jednoduchý. Když uvidíte „Claude řeší 77 procent“, jde o Claude v konkrétním harnessu a s konkrétní konfigurací. Vložte stejný model do jiného agenta a dostanete jiné číslo. „Model je chytrý“ a „tato kombinace řeší úlohy“ jsou tedy výroky o dvou různých věcech.

Kolik stojí vyřešení jedné úlohy?#

Teď k penězům, protože právě tady začíná většina hádek. Lidé porovnávají ceny předplatného: tento agent stojí 20 dolarů měsíčně, tamten 200. Pak usoudí: „První je levnější.“ Ten závěr je chybný, protože předplatné nevypovídá o výsledku.

Cena předplatného vám v tomto případě řekne jen málo. Musíte spočítat náklady na jednu úlohu, kterou agent skutečně úspěšně dokončil. Platíte za tokeny – části textu, které si vyměňujete s modelem. Čím více toho model přečte a napíše, tím více tokenů spotřebuje a tím vyšší bude účet. Společnosti zveřejňují ceny tokenů. Například Anthropic uvádí u svého modelu Sonnet toto:

Pak přichází počítání, které ukazuje, proč může být nízká cena zavádějící. Vezměme dva modely. První stojí za token více, ale úlohu vyřeší napoprvé. Druhý je levnější, ale zkouší to desetkrát a pokaždé znovu čte celý projekt. Nakonec levnější model spotřebuje více tokenů a vytvoří vyšší účet než dražší model. Podrobně vysvětluji, co tvoří náklady na práci s AI, v článcích kolik stojí AI agent pro podnikání a samostatně jak vypočítat ceny nástrojů pro vibe coding.

Dobré žebříčky s tím počítají a vedle procenta uvádějí také cenu: kolik se utratilo za všechny úlohy. Všímejte si toho. Agent, který vyřeší 75 procent úloh za dolar na úlohu, pro vás obvykle představuje výhodnější nabídku než agent, který dosáhne 78 procent za tři dolary na úlohu.

Proč patří do žebříčku také rychlost?#

Třetí věc, která se za procenty obvykle ztratí, je čas. Pokud s agentem pracujete každý den, záleží na něm stejně jako na ceně.

Je v tom háček. Přesnost a rychlost jdou proti sobě. Chcete-li vyřešit více úloh, dopřejete agentovi více času na „přemýšlení“ a více pokusů: zkouší různé možnosti, spouští testy a upravuje svou práci. Procenta rostou, ale prodlužuje se i doba odezvy. U jednorázové opravy si sotva všimnete rozdílu mezi jednou a deseti minutami. Pokud ale celý večer zadáváte agentovi jednu úlohu za druhou, ty minuty se nasčítají na hodiny čekání před obrazovkou.

Proto má rychlost v žebříčku dvě stránky. Agent, který vede v přesnosti, bývá zároveň nejpomalejší a nejdražší – jeho nastavení byla vyhnána na maximum kvůli působivému číslu. Pro každodenní práci ale můžete potřebovat kombinaci o něco níže v tabulce, která je třikrát rychlejší a levnější. Co je důležitější, závisí na vašich úlohách; žebříček tuto volbu nemůže udělat za vás.

Proč je rozdíl několika procentních bodů často jen šum?#

Další nástrahou žebříčků je přesvědčení, že první místo je opravdu lepší než třetí. Rozdíl bývá často dva či tři procentní body — 10 až 15 úloh z 500 — a jeho výklad závisí na vzorku a variabilitě mezi běhy. Při opakování testu si vedoucí příčky mohou prohodit, protože model nedává pokaždé přesně stejnou odpověď.

Poctivá měření ukazují nejistotu vedle bodového skóre. „Vousy“ mohou označovat 95% interval spolehlivosti; ověřte definici benchmarku. Překrytí nedokazuje rovnost dvou agentů ani samo nerozhoduje o statistické významnosti. Je třeba vhodně porovnat rozdíl, velikost vzorku a variabilitu, ideálně se zachováním párování, pokud oba agenti řeší stejné úkoly.

Univerzální hranici tří procentních bodů pro vyhlášení remízy nepoužívejte. Malý rozdíl může být významný či neprůkazný podle vzorku, opakovaných běhů a metody porovnání. Nejistotu posuzujte vedle ceny, rychlosti a dostupnosti a přední kombinace otestujte na vlastních úkolech.

Kdo vede v různých benchmarcích v době psaní?#

Teď k samotným číslům – s jednou důležitou výhradou. Konkrétní procenta mají krátkou životnost. Vyjde nová verze modelu nebo se aktualizuje agent a o týden později je tabulka jiná. Čísla si tedy nepamatujte; mějte na paměti jejich řád a naučte se je ověřovat.

Podle oficiálních vyjádření samotných společností vypadají výsledky na ověřené pětistovce úloh SWE-bench takto. OpenAI o svém modelu GPT-5 napsalo:

Anthropic uvádí podobná čísla pro své modely. U Claude Opus 4.1 uvádí 74,5 procenta ve stejném benchmarku SWE-bench Verified. U novějšího Claude Sonnet 4.5 uvádí průměr 77,2 procenta z deseti běhů a až 82 procent, pokud model dostane několik pokusů a vybere se nejlepší výsledek.

Vidíte, co se děje? Přední kombinace různých společností se pohybují v úzkém rozmezí: přibližně 74–77 procent. Rozdíl tvoří ony dvě procenta, která často spadají do meze chyby. To, „kdo je první“, tedy závisí na týdnu, kdy benchmark proběhl, a na konfiguraci. Důležitější je, že celá špičková skupina zvládá přibližně stejné věci; vybírejte v ní podle ceny, rychlosti a toho, zda je vám nástroj vůbec dostupný.

Společnosti zmiňují v drobném písmu ještě jeden detail, který je ale důležitý. Výsledek GPT-5 nebyl vypočítán ze všech 500 úloh:

To znamená, že 74,9 procenta je podíl z 477 úloh, nikoli z celé pětistovky. Drobnost? Ne. Právě proto mohou dva poctivé žebříčky uvádět pro stejný model různá čísla. V další části vysvětlujeme, na co si v takových poznámkách dát pozor.

Jak za pět minut přečíst libovolný žebříček: kontrolní seznam#

Tady je krátký postup. Otevřete libovolný žebříček AI agentů a projděte si těchto šest otázek popořadě.

1. O jaký benchmark jde? SWE-bench Verified nebo něco jiného. Pokud benchmark vůbec není pojmenovaný, zavřete stránku; je to graf vytvořený proto, aby vyvolal hádku.
2. O jakou kombinaci jde? Samotný „Claude“ nestačí; potřebujete „tuto verzi Claude v tomto harnessu“. Bez obou částí visí procento ve vzduchu.
3. Kolik úloh se započítalo? Všech 500, nebo jen část, jako v případě GPT-5 se 477 úlohami? Menší sada číslo uměle zvyšuje.
4. Kolik pokusů bylo povoleno? Jeden pokus je férovější než „deset pokusů a vybereme nejlepší“. Druhá možnost vypadá lépe, ale takhle nikdo v reálném životě nepracuje.
5. Kolik to stojí? Je vedle procenta sloupec s cenou? Pokud ne, polovina obrázku je skrytá.
6. Je uveden rozptyl? Co „vousy“ nejistoty znamenají, kolik úkolů a běhů je vytvořilo a je uvedeno vhodné porovnání rozdílu? Překrytí ani pevný tříbodový rozdíl remízu nedokazují.

Řiďte se těmito šesti body a každý hlasitý nadpis za pět minut buď obstojí, nebo se rozpadne. Hodí se také pamatovat, že ani úspěšné dokončení testu nezaručuje výsledek ve vašem projektu: vysvětluji proč v článku proč AI agent řekne „hotovo“, když práce hotová není.

Odkud se berou dezinformace o žebříčcích: staré úlohy v trénovacích datech modelu?#

Existuje ještě jeden důvod, proč procenta nezbožšťovat, a tvůrci benchmarků o něm otevřeně mluví. Úlohy SWE-bench pocházejí z veřejných projektů, které jsou už roky online. A neuronové sítě se trénují na internetu. Modely se tedy během trénování mohly snadno setkat se stejnými projekty i s hotovými opravami.

Co to znamená v praxi? Model některé „vyřešené“ úlohy nevyřešil sám; vybavil si hotovou odpověď. Viděl ji už během trénování a jen ji zopakoval. Toto procento ukazuje paměť. O schopnosti porozumět novému kódu nic nevypovídá. OpenAI toto riziko u SWE-bench otevřeně uznává.

Čtenář si z toho má odnést následující: čím čerstvější úlohy jsou a čím více uzavřených úloh, které model zaručeně nikdy neviděl, benchmark obsahuje, tím férovější je měření. Proto si nové benchmarky se skrytými testy zaslouží větší důvěru než staré veřejné sady, na kterých už všichni trénovali. Při výběru mezi dvěma žebříčky upřednostněte ten s čerstvými úlohami a alespoň některými úlohami skrytými před modely.

Kterého AI agenta si vybrat pro svůj úkol?#

Pojďme to celé převést do praktického výběru. Univerzální vítěz neexistuje, proto se řiďte svým úkolem.

Pokud je projekt složitý, má rozsáhlou kódovou základnu a bude trvat dlouho, vyberte výkonný model ve vyspělém harnessu. Mezi kombinace blízko špičky žebříčků patří Claude Code od Anthropicu s modely Opus a Sonnet a Codex od OpenAI s modely z rodiny GPT-5. Jsou to hotoví agenti, u kterých je všechno už nastavené, a náročné úlohy zvládají spolehlivě. Spotřebují více tokenů, ale jejich nastavení vyžaduje méně práce.

Pokud jsou úlohy jednoduché – opravit text, sestavit malou stránku nebo napsat skript – nemusíte připlácet za špičkový model. Jednodušší a levnější modely je zvládnou bez rozdílu ve výsledku a účet bude několikanásobně nižší.

Pokud potřebujete bezplatný nástroj, který běží lokálně, podívejte se na otevřené agenty jako Cline, Aider a OpenHands. Nemají vlastní model; připojíte si ho pomocí vlastního klíče. Jsou flexibilní, ale budete si je muset sami nastavit. Cursor je samostatný editor s vestavěným agentem; umí pracovat s modely od různých společností a vy vyberete model pro daný úkol. O tom, které úkoly má firma skutečně předat agentovi, píšu v článku které firemní úkoly lze opravdu svěřit AI agentovi.

Často kladené otázky#

Až budete připraveni, seznamte se s Ailoot.