AI-kódoló ügynökök rangsora 2026-ban: ki oldja meg ténylegesen a feladatokat

Minden héten közzétesz valaki egy grafikont: oszlopok, százalékok és felül egy vastag betűs cím, például „a legjobb AI kódoláshoz 2026-ban”. Közvetlenül alatta pedig elkezdődik a száz hozzászólásos vita. Valaki azt állítja, hogy az eszköze a feladatok 80 százalékát oldja meg, más pedig egy képernyőképre mutat, amely szerint ugyanez az eszköz 74-et ért el. Mindkettőjüknek igaza van. Csak más méréseket néznek, és mást mérnek.

Az eredeti szerző is átélte ezt, amikor eszközöket választott a projektjeihez. Hajszolod az első helyet egy rangsorban, majd egy hét múlva rájössz, hogy a szám laboratóriumi tesztből származott, a valódi feladatod pedig egészen más. A következők ezért nem arról szólnak, hogy ki végez az élen, hanem arról, hogyan működik bármely AI-kódoló ügynök rangsora: mit mér, miért ad eltérő eredményeket ugyanaz a neurális hálózat, mennyibe kerül valójában, és hogyan olvashatsz el öt perc alatt bármilyen táblázatot, majd választhatsz eszközt a feladatodhoz.

További útmutatók az Ailoot dokumentációjában találhatók.

Miért nem a márkáról szól az AI-ügynökök rangsora?#

Elsőként azt a beidegződést kell elengedned, hogy egy márkának szurkolsz. Az „Anthropic az OpenAI ellen”, a „Claude a Gemini ellen” jól mutat címként, de szinte semmi köze ahhoz, hogy milyen eszközt válassz. Amit a számítógépeden futtatsz, az ugyanis egy ügynök. Egy ügynök pedig legalább két rétegből áll, amelyek mindegyike hatással van az eredményre.

Képzelj el egy szakácsot és egy konyhát. A modell a szakács: tud főzni, tehetséges és tapasztalt. Az ügynök a konyha és minden felszerelése: a tűzhely, a kések, a munkafolyamat és egy segéd, aki odakészíti a hozzávalókat. Ha egy kiváló szakácsot egy romos konyhába teszel, az étel középszerű lesz. Ha egy átlagos szakácsot tökéletesen felszerelt konyhába teszel, következetesen és gyorsan fog főzni. Az AI-ügynökök rangsorában a teljes konyhát választod ki, a szakáccsal együtt.

Ebből következik egy egyszerű szabály, amely a továbbiakban megkönnyíti a dolgod. Amikor azt látod, hogy „az X eszköz a feladatok 80 százalékát oldja meg”, először kérdezd meg: milyen modell működik benne, melyik ügynök vezérelte, és milyen teszttel mérték? Ha akár egyetlen kérdésre sincs válasz, akkor egy vitát szítani hivatott grafikont nézel. Még korai rangsornak nevezni.

Miből áll minden AI-ügynök: modell, harness és konfiguráció#

Vegyük sorra ezt a három réteget; nélkülük nem juthatunk tovább.

Az első réteg a modell. Ez maga a neurális hálózat: az Anthropic Claude Opus és Sonnet modelljei, az OpenAI GPT-5 modellje, valamint a Google Gemini modellje. Ez az a „agy”, amely megoldást talál és kódot ír. A modell önmagában azonban nem tud semmit futtatni vagy fájlokat megnézni. Csak szövegre adott válaszként képes szöveget előállítani.

A második réteg a harness, vagyis az ügynök. Ez egy, a modell köré épített program. Kezet ad a neurális hálózatnak: megnyitja a projekt fájljait, parancsokat futtat a terminálban, megmutatja, mi romlott el, és megkéri a modellt a probléma kijavítására. A Claude Code, az OpenAI Codex CLI-je, a Cursor, a Cline és az Aider mind harness. A mérnököknek van egy szakzsargonszavuk erre a második rétegre: „harness”. A kifejezés pontosan arra utal, hogy a modell ezen keresztül végez valódi munkát.

A harmadik réteg a konfiguráció. Ezek a harnessen belüli beállítások: mennyit „gondolkodhat” a modell a válaszadás előtt, hányszor próbálkozhat egy feladattal, és milyen eszközök állnak rendelkezésére. Ugyanaz a kombináció különböző konfigurációkkal eltérő pontszámokat ér el.

Innen ered a rangsorok körüli zűrzavar. Az emberek az első rétegről vitatkoznak („melyik modell okosabb”), miközben a táblázatban szereplő eredmény mindhárom rétegtől egyszerre függ. Arról, hogyan illeszkednek ezek a rétegek működő rendszerré, részletes magyarázatot találsz ebben a cikkben: mi az AI-ügynök egyszerűen elmagyarázva.

Egy rangsor elolvasása egy dolog; saját, működő modell–ügynök–konfiguráció kombinációt összeállítani egy másik. Erre való a kontextustervezés: annak szabályozása, hogy mit lát az AI a prompt előtt.

Mit mér valójában a SWE-bench, a fő kódolási rangsor?#

Bármilyen kódolási rangsor értelmezéséhez ismerned kell a legfontosabb mérőszámot, amelyre mindenki hivatkozik. Ez a SWE-bench. Egyetemi kutatók hozták létre, és egy elismert tudományos konferencián mutatták be. Nem egy blogon készített házi grafikonról van szó.

A teszt egyszerű és tisztességes. Fogják egy valódi projekt valódi hibáját, amelyet korábban emberi programozók javítottak ki. Az ügynök megkapja a projektet és a probléma saját szavakkal megfogalmazott leírását. Meg kell értenie más kódját, meg kell találnia a megfelelő helyet, és be kell küldenie egy javítást. Ezután a rendszer lefuttatja a projekt valódi tesztjeit. Ha a tesztek sikeresek, a feladatot megoldottnak tekintik. Ha nem, akkor nem. Nincs olyan, hogy „szerintem megoldódott”: csak az automatizált tesztek zöld pipái számítanak.

A teljes, 2 294 feladatból álló készlet eredményeit leggyakrabban egy gondosan ellenőrzött SWE-bench Verified nevű részhalmazra adják meg. Ez 500 olyan feladatot tartalmaz, amelyeket emberek manuálisan átnéztek, hogy ne legyenek hibásak vagy eleve megoldhatatlanok. Ezt a változatot az OpenAI közreműködésével állították össze 2024 augusztusában; ennek százalékos eredményeit látod szinte minden rangsorban. Amikor azt látod, hogy „X százalék a SWE-bench Verified teszten”, az az 500 feladatból megoldott részarányt jelenti.

Miért ér el ugyanaz az AI különböző eredményt különböző ügynökökben?#

Íme egy tény, amely rögtön megoldja a kommentekben folyó viták felét. Ugyanaz a modell eltérő százalékos eredményt ér el a különböző harnessökben, és a különbség észrevehető.

Ez a nyilvános adatokból is látszik. Az egyik, terminálban dolgozó ügynököket mérő benchmarknak korrekt táblázata van: külön oszlopban tünteti fel a modellt és az ügynököt. A költséget és a használatot is megjeleníti. A szerzők szándékosan alakították így, hogy megmutassák: az eredmény mindig egy párból áll, „modell plusz ügynök”. Egy neurális hálózat önmagában nem elegendő pontszám előállításához.

A három rétegre visszatérve világos a szórás oka. Az egyik ügynök feladatonként tíz próbálkozást ad a modellnek, a másik csak hármat. Az egyik a teljes hibaüzenetet megmutatja, a másik levágja. Az egyik engedi, hogy az ügynök teszteket futtasson, és addig javítson, amíg azok sikeresek nem lesznek, a másik az első javítás után leáll. A neurális hálózat ugyanaz, de a munkakörülmények különböznek, ezért a százalékok is.

A gyakorlati következtetés egyszerű. Ha azt látod, hogy „a Claude a feladatok 77 százalékát megoldja”, akkor ez a Claude-ra, egy adott harnessre és egy adott konfigurációra vonatkozik. Tedd ugyanezt a modellt egy másik ügynökbe, és eltérő számot kapsz. Ezért az, hogy „a modell okos”, és az, hogy „a kombináció feladatokat old meg”, két különböző dologról szól.

Mennyibe kerül egy megoldott feladat?#

Most jöjjön a pénz, mert a legtöbb vita itt kezdődik. Az emberek az előfizetések árát hasonlítják össze: ez az ügynök havi 20 dollárba kerül, a másik 200-ba. Aztán arra jutnak, hogy „az első olcsóbb”. Ez téves következtetés, mert az előfizetés ára nem az eredményt mutatja.

Az előfizetés ára itt kevés támpontot ad. Azt kell kiszámolnod, mennyibe kerül egy olyan feladat, amelyet az ügynök ténylegesen sikeresen elvégzett. Tokenekért fizetsz – ezek a közted és a modell között kicserélt szövegegységek. Minél többet olvas és ír a modell, annál több tokent használ, és annál magasabb lesz a számla. A vállalatok nyilvánosan közzéteszik a tokenárakat. Például az Anthropic ezt adja meg a Sonnet modelljéhez:

Aztán jön az a számítás, amely megmutatja, miért félrevezető az alacsony árcédula. Vegyünk két modellt. Az első tokenenként drágább, de első próbálkozásra megoldja a feladatot. A második olcsóbb, de tízszer próbálkozik, és minden alkalommal újraolvassa a teljes projektet. Végül az olcsóbb árcédulájú modell több tokent használ, és nagyobb számlát eredményez, mint a drága. Részletesen bemutatom, mi kerül pénzbe az AI-val végzett munka során a mennyibe kerül egy AI-ügynök a vállalkozásnak című cikkben, külön pedig a vibe-kódoló eszközök árazásának kiszámításáról szóló írásban.

A jó rangsorok ezt figyelembe veszik, és a százalék mellett a költséget is feltüntetik: mennyi pénzt költöttek az összes feladatra. Figyelj erre. Egy feladatonként egy dollárért 75 százalékot megoldó ügynök általában jobb ajánlat számodra, mint egy, amely három dollárért 78 százalékot ér el.

Miért része a sebesség is a rangsornak?#

A harmadik tényező, amely rendszerint elveszik a százalékok mögött, az idő. Ha mindennap ügynökkel dolgozol, legalább annyira számít, mint a költség.

Itt a bökkenő: a pontosság és a sebesség ellentétes irányba húz. Ha több feladatot szeretnél megoldani, több időt és több próbálkozást adsz az ügynöknek: különböző lehetőségeket próbál ki, teszteket futtat és átdolgozza a munkáját. Nőnek a százalékok, de a válaszidő is. Egy egyszeri javításnál alig érezhető a különbség egy és tíz perc között. De ha egy egész estét töltesz az ügynökkel, és egymás után adod neki a feladatokat, azok a percek órákig tartó, képernyő előtti várakozássá adódnak össze.

Ezért a sebességnek két oldala van a rangsorban. A pontosság tekintetében élen álló kombináció gyakran a leglassabb és egyben a legdrágább is – a szép szám kedvéért maximálisra állították a beállításait. A mindennapi munkához viszont szükséged lehet a táblázatban valamivel lejjebb szereplő kombinációra, amely háromszor gyorsabb és olcsóbb. Az számít, hogy neked mi fontosabb, és ezt a döntést a rangsor nem hozhatja meg helyetted.

Miért csupán mérési zaj gyakran a pár százalékpontos különbség?#

A rangsorok egyik csapdája, ha azt hisszük, hogy az első hely valóban jobb a harmadiknál. Gyakran két-három százalékpont a különbség, vagyis 500-ból 10–15 feladat; értelmezése a mintától és a futások közötti változékonyságtól függ. Ha újra lefuttatod ugyanazt a tesztet, a vezetők helyet cserélhetnek, mivel a modell nem mindig ad pontosan ugyanolyan választ.

A tisztességes mérések nemcsak pontbecslést, hanem bizonytalanságot is mutatnak. A „bajuszok” jelenthetnek 95 százalékos konfidenciaintervallumot; nézd meg a benchmark meghatározását. Az átfedés nem bizonyítja két ügynök egyenlőségét, és önmagában nem dönti el a különbség statisztikai szignifikanciáját. Ehhez a különbség, mintaméret és változékonyság megfelelő összevetése kell, lehetőleg a párosítást megtartva, ha mindkettő ugyanazokat a feladatokat próbálja.

Döntetlen kimondásához ne használj általános háromszázalékpontos küszöböt. Kis eltérés is lehet jelentős vagy eldöntetlen a mintától, ismételt futásoktól és összevetési módszertől függően. A költség, sebesség és elérhetőség mellett a bizonytalanságot is vizsgáld, majd saját feladatokon teszteld a vezető kombinációkat.

Kik vezetnek a különböző benchmarkokban a cikk írásakor?#

Most jöjjenek maguk a számok – egy fontos megjegyzéssel. Bármely konkrét százalék rövid ideig érvényes. Megjelenik egy új modellverzió, vagy frissítik az ügynököt, és egy hét múlva már más a táblázat. Ne jegyezd meg tehát a számokat; tartsd észben a nagyságrendet, és tanuld meg magad ellenőrizni őket.

A vállalatok saját hivatalos nyilatkozatai szerint így fest az 500 ellenőrzött SWE-bench-feladat eredménye. Az OpenAI ezt írta a GPT-5 modelljéről:

Az Anthropic hasonló számokat közöl a modelljeiről. A Claude Opus 4.1 esetében 74,5 százalékot jelent ugyanazon a SWE-bench Verified teszten. Az újabb Claude Sonnet 4.5 esetében tíz futtatás átlaga 77,2 százalék, és akár 82 százalék is elérhető, ha a modell több próbálkozást kap, majd a legjobb eredményt választják ki.

Látod, mi történik? A különböző vállalatok vezető kombinációi szűk tartományba esnek: nagyjából 74–77 százalék közé. Közöttük ugyanaz a néhány százalékpontos eltérés van, amely gyakran a hibahatáron belül marad. Ezért attól függ, hogy „ki végez az első helyen”, melyik héten futtatták a benchmarkot, és milyen konfigurációval. Sokkal fontosabb, hogy a teljes élmezőny nagyjából ugyanazokra a dolgokra képes, és a költség, sebesség, valamint az eszköz elérhetősége alapján válassz közülük.

Van még egy részlet, amelyet a vállalatok apró betűs megjegyzésben említenek, de fontos. A GPT-5 eredményét nem mind az 500 feladaton számították ki:

Ez azt jelenti, hogy a 74,9 százalék 477 feladat aránya, nem mind az 500-é. Apróság? Nem. Pontosan ezért adhat két tisztességes rangsor eltérő számot ugyanarra a modellre. A következő részben elmagyarázom, mire figyelj ezekben a lábjegyzetekben.

Hogyan olvass el bármilyen rangsort öt perc alatt: ellenőrzőlista#

Íme egy rövid lépéssor. Nyiss meg bármilyen AI-ügynökrangsort, és haladj végig ezen a hat kérdésen sorrendben.

1. Melyik benchmarkról van szó? SWE-bench Verified vagy valami más. Ha a benchmarkot meg sem nevezik, zárd be az oldalt; ez egy vitát szítani hivatott grafikon.
2. Milyen kombinációról van szó? Önmagában a „Claude” nem elég; tudnod kell, hogy „a Claude ezen verziója ebben a harnessben”. Mindkét információ nélkül a százalék a levegőben lóg.
3. Hány feladatot számoltak bele? Mind az 500-at vagy csak egy részüket, mint a GPT-5 példájában szereplő 477-et. A kisebb készlet felfelé torzítja az eredményt.
4. Hány próbálkozást engedélyeztek? Egyetlen próbálkozás tisztességesebb, mint a „tíz próbálkozásból kiválasztjuk a legjobbat”. Az utóbbi jobban mutat, de a való életben senki sem így dolgozik.
5. Mennyibe kerül? Szerepel a százalék mellett költségoszlop? Ha nem, a teljes kép fele rejtve marad.
6. Megmutatják a szórást? Mit jelentenek a bizonytalansági „bajuszok”, hány feladatból és futásból származnak, és közölnek-e megfelelő különbség-összehasonlítást? Sem az átfedés, sem a rögzített hárompontos eltérés nem bizonyít döntetlent.

Kövesd ezt a hat pontot, és bármilyen hangzatos címsor öt perc alatt kiállja a próbát vagy lelepleződik. Azt is érdemes észben tartani, hogy még egy teszt sikeres teljesítése sem garantál eredményt a projekteden: ennek okát a miért mondja egy AI-ügynök, hogy „kész”, ha még nincs kész a munka című cikkben magyarázom el.

Honnan erednek a rangsorok félrevezető adatai: régi feladatok a modell tanításában?#

Van még egy ok, amiért nem érdemes bálványozni a százalékokat; a benchmark készítői nyíltan beszélnek róla. A SWE-bench feladatai nyílt projektekből származnak, amelyek már évek óta elérhetők az interneten. A neurális hálózatokat pedig internetes adatokon tanítják. Így a modell könnyen találkozhatott ugyanezekkel a projektekkel és az előre elkészített javításokkal a tanítás során.

Mit jelent ez a gyakorlatban? A „megoldott” feladatok egy részét nem maga a modell oldotta meg; felidézte a kész választ. Már látta azt a tanítás során, és egyszerűen megismételte. Ez a százalék a memóriát mutatja. Semmit sem mond arról, hogy a modell képes-e új kódot megérteni. Az OpenAI nyíltan elismeri ezt a kockázatot a SWE-bench esetében.

A tanulság az olvasónak: minél frissebbek a feladatok, és minél több olyan zárt feladat van közöttük, amelyeket a modell biztosan nem látott, annál tisztességesebb a mérés. Ezért érdemelnek nagyobb bizalmat a rejtett teszteket használó új benchmarkok, mint a régi, nyílt készletek, amelyeken már mindenki gyakorolt. Ha két rangsor közül választasz, részesítsd előnyben azt, amely friss feladatokat és a modellek elől elrejtett feladatokat is tartalmaz.

Melyik AI-ügynököt válaszd a feladatodhoz?#

Foglaljuk össze mindezt egy gyakorlati választási útmutatóban. Nincs univerzális győztes, ezért a saját feladatodat vedd alapul.

Ha a projekt összetett, nagy kódbázissal rendelkezik, és hosszú ideig tart, válassz erős modellt egy kiforrott harnessben. A rangsorok élmezőnyéhez közeli kombinációk közé tartozik az Anthropic Claude Code-ja Opus és Sonnet modellekkel, valamint az OpenAI Codexe a GPT-5 család modelljeivel. Ezek használatra kész ügynökök, amelyekben minden konfigurálva van, és következetesen elboldogulnak az igényes feladatokkal. Több tokenbe kerülnek, de kevesebb beállítást igényelnek.

Ha egyszerű feladatokról van szó – szövegjavításról, egy kis oldal összeállításáról vagy szkriptírásról –, nem kell felárat fizetned egy csúcskategóriás modellért. Az egyszerűbb, olcsóbb modellek az eredmény különbsége nélkül elvégzik ezeket, a számla pedig többszörösen alacsonyabb lehet.

Ha ingyenes, helyben futó megoldásra van szükséged, nézd meg a nyílt ügynököket, például a Cline-t, az Aidert és az OpenHandsot. Nincs saját modelljük; a saját kulcsoddal csatlakoztathatsz hozzájuk egyet. Rugalmasak, de magadnak kell konfigurálnod őket. A Cursor különálló, beépített ügynökkel rendelkező szerkesztő; különböző cégek modelljeivel is működhet, és a feladathoz te választhatod ki a modellt. Arról, hogy mely feladatokat érdemes ténylegesen egy ügynökre bízni egy vállalkozásban, ebben a cikkben írok: milyen üzleti feladatok bízhatók valóban AI-ügynökre.

Gyakran ismételt kérdések#

Ha készen állsz, ismerkedj meg az Ailoottal.