Ako čítať benchmarky programovania s AI a vyhnúť sa víťazom na papieri

Stručne: údaj „rieši 76 percent úloh“ sám osebe takmer nič nehovorí. Záleží na tom, ktorá sada úloh priniesla tento výsledok, ktorý model a agent wrapper sa započítali spoločne, či sú úlohy nové alebo staré a koľko to stálo. Bez týchto podmienok sa percento hodí na reklamný banner, nie na výber nástroja.

Ďalej jednoducho vysvetlím, čo merajú dva hlavné benchmarky programovania, kde sa v tabuľkách skrýva háčik a ako si každú tabuľku poradia skontrolovať za minútu, než sa na ňu spoľahnete. Nižšie sa rozoberajú historické definície benchmarkov. Článok nereprodukuje živú párovú snímku rebríčka; aktuálne skóre či cenové porovnanie potrebuje vlastnú prepojenú tabuľku, dátum a konfiguráciu.

Viac o práci s modelmi nájdete v dokumentácii Ailoot.

Čo vlastne ukazuje percentuálny výsledok benchmarku?#

Benchmark funguje jednoducho. Existuje hotový zoznam programátorských úloh. Nástroj dostane každú úlohu, vráti kód a systém spustí automatizované testy, aby zistil, či riešenie funguje. Podiel úspešných úloh je percento uvedené v tabuľke.

Výhodou je objektívnosť vyhodnotenia. Test je buď zelený, alebo červený; nikto neudeľuje známku „od oka“. V tomto ohľade sú benchmarky čestnejšie než akékoľvek recenzie či referencie.

Slabina je presne tá istá. Sada úloh je konečná a vopred známa všetkým vrátane tých, ktorí modely trénujú. Každé meranie má vlastné podmienky. A úlohy v sade sa takmer určite nepodobajú na to, čo robíte vy. Z toho vyplývajú všetky nástrahy, o ktorých hovorím nižšie. Percento opisuje správanie nástroja na uzavretom zozname úloh niekoho iného a nedá sa priamo preniesť na váš projekt.

Čo meria HumanEval a prečo sa podľa neho už nedá vyberať?#

HumanEval vytvorila spoločnosť OpenAI a vydala ho v roku 2021 spolu s modelom Codex. Obsahuje 164 malých úloh v Pythone: modely dostanú slovný opis funkcie, napíšu jej telo a sada automatizovaných testov skontroluje, či funguje správne.

V tom čase to bol dobrý rozlišovací ukazovateľ. Vlastná práca autorov uvádza tento údaj: prvý Codex vyriešil na jeden pokus 28.8 percent úloh, zatiaľ čo bežný GPT-3 nevyriešil ani jednu.

Odvtedy sa modely výrazne zlepšili a dnes silné modely zvládnu takmer celý HumanEval. Keď všetci dosahujú skóre blízke 100 percentám, tabuľka už nič nerozlišuje: rozdiely medzi nástrojmi sa strácajú. Hovorí sa tomu saturácia benchmarku a HumanEval je v tomto stave už dlho.

Druhá chyba je vážnejšia. Úlohy sú drobné: napísať jednu funkciu podľa opisu. Vaša skutočná práca je iná — zahŕňa veľký projekt s históriou, v ktorom treba pochopiť cudzí kód, nájsť chybu a nerozbiť pri tom susedný kód. Medzi „napíš funkciu od nuly“ a „oprav chybu v živom projekte“ je priepasť. Vysoké skóre HumanEval dnes preto už nie je dôvodom na výber nástroja; skôr znamená, že „základy sú zvládnuté“.

Čo meria SWE-bench a ako sa viac približuje skutočnej práci?#

SWE-bench je zásadne odlišný, a preto zaujímavejší. Vznikol na základe skutočných issues a pull requests v populárnych projektoch GitHub. Podľa jeho autorov obsahuje 2,294 úloh z 12 veľkých repozitárov Pythonu a bol vydaný v októbri 2023.

Logika vyhodnotenia je objektívna. Vyberú bod v projekte, kde sa vyskytla skutočná chyba, a sadu testov, ktoré v tom čase zlyhávali. Nástroj dostane opis problému a upraví kód. Potom sa spustia tie isté testy: ak uspejú, úloha je skutočne vyriešená; nikto tu neverí slovným sľubom.

Prvé výsledky ukazujú, o koľko je to ťažšie než hračkárske úlohy. Prvý základný prístup dosiahol v SWE-bench iba 1.96 percent a prvý agent dosiahol 12.47 percent. Inými slovami, už len priblížiť sa skutočnej programátorskej práci bolo ťažké. Percentá neskôr rástli, ale začínali blízko nuly.

Keď dnes v rebríčku AI coding agentov vidíte vysoké čísla, najčastejšie pochádzajú zo SWE-bench alebo z jeho podmnožiny 500 úloh overených ľuďmi, ktorá sa volá SWE-bench Verified. Je to rozumný benchmark. Aj on má však podmienky, bez ktorých je percento zavádzajúce, a o tom budem hovoriť ďalej.

Ani najčestnejší benchmark v tabuľke ešte nie je výsledkom na vašom projekte. Výsledok závisí od toho, ako s nástrojom pracujete, a prvý riadok rebríčka hovorí len málo. Čistý kontext zvýši vašu osobnú úspešnosť oveľa výraznejšie než výber modelu z tabuľky.

Prečo má ten istý model rôzne percentuálne výsledky?#

Tu sa skrýva najčastejšia chyba pri čítaní benchmarkov. Ľudia čítajú tabuľku ako rebríček modelov: tento model je o dve percentá múdrejší než tamten. Percento však ovplyvňujú tri veci a model je len jednou z nich.

Po prvé, samotný model. Po druhé, agent wrapper okolo neho: program, ktorý umožňuje modelu prechádzať súbory, spúšťať príkazy, čítať chyby a prepisovať kód. Ten istý model v šikovnom wrapperi a jednoduchom wrapperi dosiahne rôzne výsledky, pretože wrapper určuje, ako model pracuje s projektom. Po tretie, úroveň uvažovania — teda ako dôkladne model premýšľa nad každým krokom. Čím dlhšie premýšľa, tým vyššie je zvyčajne percento, ale aj náklady.

Reprodukovateľné porovnanie má uchovať celé nastavenie. Nasledujúca tabuľka je šablóna vykazovania, nie nameraný rebríček:

To ukazuje, čo sa zmenilo a či porovnanie skutočne izoluje nastavenie uvažovania. Predchádzajúci číselný príklad bez odkazu sa nepovažuje za nameraný výsledok.

Pravidlo je takéto: dobrý rebríček vždy uvádza, ktorý model, wrapper a úroveň uvažovania boli použité. Ak tabuľka obsahuje len názov modelu a percento, bez uvedenia wrappera, ťažko jej dôverovať: neviete, čo sa vlastne meralo. Viac o tom, z čoho pozostáva kombinácia „model plus wrapper“, vysvetľuje článok o rebríčku AI coding agentov.

To tiež vysvetľuje, prečo má nástroj s najvyšším skóre niekedy u vás problémy. Benchmark meria model v niečom vyladenom wrapperi, na úlohách niekoho iného. Váš wrapper, projekt a kontext, ktorý modelu poskytnete, sú odlišné. Na vašom projekte výsledok závisí od kontextu; riadok tabuľky je druhoradý.

Prečo úlohy „zostarnú“ a čo je únik tréningových dát?#

Tu je háčik, ktorý samotné percento neodhaľuje, ale podkopáva jeho význam viac než čokoľvek iné. Modely sa trénujú na rozsiahlych množstvách textu a kódu získaných z internetu. A takmer všetky coding benchmarky sú verejne dostupné: úlohy, testy aj referenčné riešenia.

Mechanizmus je jednoduchý. Ak sa úloha a jej správne riešenie dostali do tréningových dát, model si ich mohol zapamätať. Počas vyhodnocovania potom úlohu ani tak nerieši, ako skôr vyťahuje z pamäti známu odpoveď. Vyzerá to ako riešenie, ale je to len spomienka. Hovorí sa tomu únik tréningových dát alebo kontaminácia dát.

Čím je sada úloh staršia a populárnejšia, tým vyššie je riziko. HumanEval je online od roku 2021; mnohokrát ho prepísali, analyzovali a zaradili do nespočetných súborov dát. Bolo by zvláštne očakávať, že ho moderný model „nevidel“. Preto je aktuálnosť úloh samostatným ukazovateľom kvality benchmarku. Dobrá sada sa buď pravidelne aktualizuje, alebo niektoré úlohy ponecháva uzavreté, aby sa ich nebolo možné vopred naučiť.

Čo robiť pri čítaní rebríčka? Skontrolujte dátum úloh a to, či sa sada aktualizuje. Ak benchmark vychádza z čerstvých chýb z posledných mesiacov, zaslúži si väčšiu dôveru. Ak ide o sadu starú päť rokov, vysoké percento na nej hovorí viac o dobrej pamäti modelu než o schopnosti vyriešiť vašu novú úlohu. Tento konkrétny jav ukazuje príklad v článku o novom benchmarku FrontierCode, ktorého úlohy boli zámerne nové.

Prečo rozdiel niekoľkých percentuálnych bodov často nič neznamená?#

Ďalšia vec, ktorá robí prvé miesto v tabuľke zavádzajúcim: model neodpovedá zakaždým rovnako. Na rovnakú výzvu môže zvoliť mierne odlišný postup uvažovania. Ak teda jeden nástroj spustíte na jednej sade úloh viackrát, percento bude medzi jednotlivými spusteniami trochu kolísať. Toto kolísanie sa nazýva variabilita.

Praktický záver je jednoduchý. Ak sa dva riadky rebríčka líšia o jedno alebo dve percentá, tento rozdiel môže byť pokojne len šum. Naháňať sa za nástrojom, ktorý je „o dve percentá vyššie“, je nerozumné: pri ďalšom spustení si ľahko vymenia miesta. Rozdiel má zmysel považovať za významný, ak je citeľný a pretrváva vo veľkej sade úloh; pár bodov túto podmienku nespĺňa.

A napokon je tu cena, ktorá je takmer vždy dôležitejšia než samotné percento. Podobné výsledky môžu stáť veľmi rozdielne sumy. Cenové porovnanie potrebuje obe konfigurácie modelu a agenta a celkové výdavky hodnotenej sady vrátane neúspešných pokusov. Pri cene za pokus deľte počtom skúšaných úloh, pri cene za vyriešenú úlohu počtom vyriešených a zvolenú mieru označte. Článok nedodáva zdrojované párové cenové meranie. Preto vždy čítajte riadok rebríčka spolu s cenou, pretože samotné percento hovorí len málo. Článok o cene jednej vyriešenej úlohy vysvetľuje, ako spravodlivo porovnávať nástroje podľa nákladov.

Ako prečítať ľubovoľnú tabuľku benchmarku za minútu?#

Zhrňme si všetko do krátkeho kontrolného zoznamu. Otvorte ľubovoľnú tabuľku rebríčka a postupne prejdite týchto sedem bodov.

1. Aká sada úloh? HumanEval je dnes slabý; SWE-bench sa viac približuje skutočnej práci. Ak sada vôbec nie je pomenovaná, nemusíte čítať ďalej.
2. Sú úlohy nové alebo staré? Nová alebo čiastočne uzavretá sada je spoľahlivejšia než stará verejná sada, ktorú sa model mohol naučiť.
3. Ktorý model sa meral? Presný názov a verzia, nie neurčité „AI“ ani názov rodiny modelov.
4. Ktorý agent wrapper? Percento patrí kombinácii „model plus wrapper“. Ak wrapper nie je uvedený, neviete, čo sa meralo.
5. Aká úroveň uvažovania? Ten istý model na rôznych úrovniach dosahuje rôzne percentá a stojí rôzne sumy.
6. Koľko stojí jedna úloha? Podobné výsledky sa môžu cenou líšiť násobne. Čítajte percento spolu s nákladmi.
7. Aká je variabilita? Rozdiel jedného či dvoch bodov medzi riadkami často predstavuje iba šum.

Je tu aj ôsma otázka, ktorá sa týka vás: Podobajú sa úlohy v sade na vašu prácu? Benchmark úloh v Pythone veľa nehovorí človeku, ktorý vytvára webovú stránku alebo bota s inou sadou nástrojov. Ani objektívny výsledok na úlohách niekoho iného nezaručuje výsledok na vašom projekte. Existuje len jeden spoľahlivý spôsob, ako to zistiť: zadajte nástroju niekoľko svojich typických úloh a sami sa pozrite na výsledky. Článok o tom, ako skontrolovať kód vygenerovaný AI, vysvetľuje, ako zistiť, či kód funguje, aj keď sami neprogramujete.

Čomu sa teda nakoniec venovať?#

Hlavná myšlienka celého článku je stručná: miesto v rebríčku je dôvodom pozrieť sa na nástroj bližšie, ale ďalej musíte pátrať sami. Vysoké číslo hovorí iba to, že nástroj si počínal slušne na konkrétnom uzavretom zozname úloh za konkrétnych podmienok. Percento neukazuje, či tieto podmienky zodpovedajú vašim.

Prečítajte si teda, čo sa skrýva pod riadkom rebríčka: o aké úlohy ide, ako sú aktuálne, aká kombinácia modelu a wrappera sa použila, aká bola úroveň uvažovania, koľko to stojí a či sa rozdiel nestráca v šume. Tabuľka, ktorá na tieto otázky neodpovedá, patrí na reklamný banner. Recenzia ktorý nástroj používať na programovanie v roku 2026 vysvetľuje, ktorý nástroj si vybrať pre svoje úlohy.

A toto je dôležitejšie než ktorýkoľvek benchmark. Aj najlepší nástroj v rebríčku má problémy s chaotickým kontextom a funguje dobre s čistým kontextom. Vaša osobná úspešnosť závisí od toho, čo modelu poskytnete a ako zadáte úlohu; riadok v tabuľke je druhoradý. Rebríček pomáha vyradiť zjavne slabé možnosti, ale výsledok vytvárate vy.

Ďalšie kroky — Ailoot.