AI kodavimo agentų reitingai 2026 m.: kas iš tikrųjų sprendžia užduotis

Kas savaitę kas nors paskelbia diagramą: stulpeliai, procentai ir viršuje ryški antraštė „geriausia AI programavimui 2026 m.“ O iškart po ja prasideda šimto komentarų ginčas. Vienas žmogus šaukia, kad jo įrankis išsprendžia 80 procentų užduočių, kitas rodo ekrano kopiją, kurioje tas pats įrankis surinko 74. Abu teisūs. Jie tiesiog žiūri į skirtingus matavimus ir matuoja skirtingus dalykus.

Straipsnio autoriui teko su tuo susidurti renkantis įrankius savo projektams. Vejiesi pirmą vietą reitinge, o po savaitės supranti, kad šis skaičius gautas laboratoriniame teste, nors tavo tikroji užduotis – visai kas kita. Todėl toliau kalbėsime ne apie tai, kas užima pirmą vietą, o apie tai, kaip veikia bet kuris AI kodavimo agentų reitingas: ką jis matuoja, kodėl tas pats neuroninis tinklas duoda skirtingus rezultatus, kiek tai iš tikrųjų kainuoja ir kaip per penkias minutes perskaityti bet kurią lentelę bei pasirinkti savo užduočiai tinkamą įrankį.

Daugiau patarimų rasite Ailoot dokumentacijoje.

Kodėl AI agentų reitingas nėra susijęs su prekės ženklu?#

Pirmiausia reikia atsikratyti įpročio palaikyti kurį nors prekės ženklą. „Anthropic prieš OpenAI“, „Claude prieš Gemini“ – tokia antraštė patraukli, bet renkantis įrankį ji beveik nieko nelemia. Nes kompiuteryje paleidi agentą. O agentą sudaro bent du sluoksniai, kurie abu daro įtaką rezultatui.

Įsivaizduok virėją ir virtuvę. Modelis yra virėjas: jis moka gaminti, yra talentingas ir patyręs. Agentas – tai virtuvė ir visa jos įranga: viryklė, peiliai, darbo eiga ir padėjėjas, paduodantis ingredientus. Pastatyk puikų virėją į sugriautą virtuvę – vakarienė bus vidutiniška. Pastatyk vidutinį virėją į puikiai įrengtą virtuvę – jis gamins nuosekliai ir greitai. AI agentų reitinguose renkiesi visą virtuvę kartu su virėju.

Taigi galioja paprasta taisyklė, kuri nuo šiol palengvins orientavimąsi. Pamatęs „įrankis X išsprendžia 80 procentų užduočių“, pirmiausia paklausk: koks modelis jame naudojamas, kuris agentas jį valdė ir koks testas buvo taikytas rezultatui įvertinti? Jei bent į vieną klausimą nėra atsakymo, žiūri į diagramą, sukurtą ginčui išprovokuoti. Reitingu ją vadinti dar per anksti.

Iš ko sudarytas kiekvienas AI agentas: modelis, harness ir konfigūracija#

Aptarkime šiuos tris sluoksnius iš eilės – be jų toliau nepajudėsime.

Pirmasis sluoksnis – modelis. Tai pats neuroninis tinklas: Claude Opus ir Sonnet iš Anthropic, GPT-5 iš OpenAI, Gemini iš Google. Tai „smegenys“, kurios sugalvoja sprendimą ir rašo kodą. Tačiau vienas modelis negali nieko vykdyti ar matyti failų. Jis gali tik pateikti tekstą kaip atsakymą į tekstą.

Antrasis sluoksnis – harness arba agentas. Tai aplink modelį apgaubta programa. Ji suteikia neuroniniam tinklui rankas: atidaro projekto failus, vykdo komandas terminale, parodo, kas sugedo, ir paprašo modelio išspręsti problemą. Claude Code, OpenAI Codex CLI, Cursor, Cline ir Aider yra harness tipo programos. Inžinieriai šį antrąjį sluoksnį vadina techniniu terminu „harness“. Tai tiksliai nusako jo paskirtį: per harness modelis atlieka realų darbą.

Trečiasis sluoksnis – konfigūracija. Tai harness valdikliai: kiek modeliui leidžiama „mąstyti“ prieš atsakant, kiek bandymų skirti vienai užduočiai ir kokius įrankius padaryti prieinamus. Tas pats derinys su skirtingomis konfigūracijomis gauna skirtingus įverčius.

Štai iš kur kyla visa painiava dėl reitingų. Žmonės ginčijasi dėl pirmojo sluoksnio („kuris modelis protingesnis“), nors lentelės rezultatas priklauso nuo visų trijų sluoksnių kartu. Išsamus paaiškinimas, kaip šie sluoksniai susijungia į veikiančią sistemą, pateiktas straipsnyje kas yra AI agentas paprastais žodžiais.

Viena yra skaityti reitingą, kita – susikurti savo veikiantį modelio, agento ir konfigūracijos derinį. Tam skirtas konteksto projektavimas (context engineering): valdymas to, ką AI mato prieš pateikiant promptą.

Ką iš tikrųjų matuoja SWE-bench – pagrindinis kodavimo reitingas?#

Norint skaityti bet kurį kodavimo reitingą, reikia suprasti pagrindinį matą, kuriuo remiasi visi. Tai SWE-bench. Jį sukūrė universitetų tyrėjai ir pristatė rimtoje akademinėje konferencijoje. Tai ne savadarbė tinklaraščio diagrama.

Testas paprastas ir sąžiningas. Paimamas tikras projektas su tikra klaida, kurią kadaise ištaisė programuotojai. Agentui pateikiamas projektas ir jo žodžiais suformuluotas problemos aprašymas. Jis turi suprasti kito žmogaus kodą, rasti tinkamą vietą ir pateikti pataisą. Tada sistema paleidžia tikrus projekto testus. Jei testai praeina, užduotis laikoma išspręsta. Jei ne – ne. Jokio „manau, kad išsprendžiau“: svarbūs tik automatinių testų žali sėkmės žymekliai.

Iš viso 2 294 užduočių rinkinio rezultatai dažniausiai pateikiami kruopščiai patikrintai jo daliai, vadinamai SWE-bench Verified. Ją sudaro 500 užduočių, kurias žmonės rankiniu būdu peržiūrėjo ir įsitikino, kad jos nėra klaidingos ar iš principo neišsprendžiamos. Ši versija buvo sudaryta kartu su OpenAI 2024 m. rugpjūtį, ir būtent jos procentus matai beveik kiekviename reitinge. Kai matai „X procentų SWE-bench Verified“, tai reiškia dalį iš tų 500 užduočių.

Kodėl ta pati AI skirtinguose agentuose pasiekia skirtingų rezultatų?#

Štai faktas, iškart išsprendžiantis pusę ginčų komentaruose. Tas pats modelis skirtinguose harness pasiekia skirtingus procentus, o skirtumas yra pastebimas.

Tai matyti viešuose duomenyse. Vienas benchmarkas, matuojantis agentų darbą terminale, turi aiškią lentelę: atskirus stulpelius modeliui ir agentui. Joje taip pat pateikiamos išlaidos ir naudojimo duomenys. Autoriai taip padarė sąmoningai, norėdami parodyti, kad rezultatą visada sudaro pora: „modelis ir agentas“. Vien neuroninio tinklo nepakanka įverčiui gauti.

Skirtumų priežastis aiški, prisiminus tris sluoksnius. Vienas agentas modeliui suteikia dešimt bandymų kiekvienai užduočiai, kitas – tris. Vienas parodo visą klaidos tekstą, kitas jį sutrumpina. Vienas leidžia vykdyti testus ir taisyti, kol jie pradeda veikti, o kitas sustoja po pirmos pataisos. Neuroninis tinklas tas pats, tačiau darbo sąlygos skiriasi, todėl skiriasi ir procentai.

Praktinė išvada tau paprasta. Jei matai „Claude išsprendžia 77 procentus“, tai yra Claude konkrečiame harness su konkrečia konfigūracija. Įdėk tą patį modelį į kitą agentą ir gausi kitą skaičių. Taigi „modelis protingas“ ir „derinys sprendžia užduotis“ yra teiginiai apie du skirtingus dalykus.

Kiek kainuoja viena išspręsta užduotis?#

Dabar apie pinigus, nes čia prasideda dauguma ginčų. Žmonės lygina prenumeratų kainas: šis agentas kainuoja 20 dolerių per mėnesį, anas – 200. Tada daro išvadą: „Pirmasis pigesnis.“ Ši išvada klaidinga, nes prenumeratos kaina nepasako apie rezultatą.

Prenumeratos kaina šiuo atveju mažai ką pasako. Reikia apskaičiuoti vienos užduoties, kurią agentas iš tikrųjų sėkmingai atliko, kainą. Moki už tokenus – teksto dalis, kuriomis keičiasi tu ir modelis. Kuo daugiau modelis perskaito ir parašo, tuo daugiau tokenų sunaudoja ir tuo didesnė sąskaita. Įmonės tokenų kainas skelbia viešai. Pavyzdžiui, štai ką Anthropic sako apie savo Sonnet modelį:

Toliau – skaičiavimas, atskleidžiantis, kodėl maža kaina gali klaidinti. Paimkime du modelius. Pirmasis už tokeną kainuoja brangiau, bet užduotį išsprendžia pirmu bandymu. Antrasis pigesnis, tačiau bando dešimt kartų ir kaskart iš naujo perskaito visą projektą. Galiausiai pigesnės kainos modelis sunaudoja daugiau tokenų ir išrašo didesnę sąskaitą nei brangusis. Išsamiai aiškinu, kas sudaro darbo su AI kainą, straipsniuose kiek AI agentas kainuoja verslui ir atskirai kaip apskaičiuoti vibe-coding įrankių kainas.

Geri reitingai tai supranta ir šalia procento nurodo kainą: kiek pinigų išleista visoms užduotims. Atkreipk į tai dėmesį. Agentas, išsprendžiantis 75 procentus už vieną dolerį vienai užduočiai, paprastai yra geresnis pasirinkimas nei tas, kuris pasiekia 78 procentus už tris dolerius vienai užduočiai.

Kodėl greitis taip pat yra reitingo dalis?#

Trečias dalykas, paprastai pasislepiantis už procentų, yra laikas. Jei su agentu dirbi kasdien, jis toks pat svarbus kaip ir kaina.

Štai kur slypi keblumas. Tikslumas ir greitis veikia priešingomis kryptimis. Norėdamas išspręsti daugiau užduočių, suteiki agentui daugiau laiko „mąstyti“ ir daugiau bandymų: jis išbando skirtingus variantus, paleidžia testus ir taiso savo darbą. Procentai kyla, bet ilgėja ir atsakymo laikas. Vienkartiniam taisymui skirtumas tarp vienos ir dešimties minučių beveik nejuntamas. Tačiau jei visą vakarą dirbi su agentu ir duodi jam vieną užduotį po kitos, tos minutės virsta valandomis prie ekrano laukiant.

Todėl greitis reitinge turi dvi puses. Tikslumo lyderis dažnai pasirodo esąs ir lėčiausias, ir brangiausias – jo nustatymai maksimalūs dėl gražaus skaičiaus. Kasdieniam darbui gali reikėti derinio, esančio kiek žemiau lentelėje, bet veikiančio tris kartus greičiau ir pigiau. Kas svarbiau, priklauso nuo tavo užduočių, ir reitingas negali nuspręsti už tave.

Kodėl kelių procentinių punktų skirtumas dažnai tėra triukšmas#

Dar viena reitingų pinklė – manyti, kad pirma vieta iš tikrųjų geresnė už trečią. Dažnai skirtumas yra du ar trys procentiniai punktai — nuo 10 iki 15 užduočių iš 500 — o jo interpretacija priklauso nuo imties ir paleidimų kaitos. Pakartojus tą patį testą, lyderiai gali apsikeisti vietomis, nes modelis ne kiekvieną kartą pateikia visiškai tokį patį atsakymą.

Sąžiningi matavimai rodo neapibrėžtumą, o ne vien taškinį balą. „Ūsai“ gali reikšti 95 procentų pasikliautinąjį intervalą; patikrink testo apibrėžimą. Persidengimas neįrodo dviejų agentų lygybės ir savaime nenusprendžia, ar jų skirtumas statistiškai reikšmingas. Tam reikia tinkamai palyginti skirtumą, imties dydį ir kaitą, pageidautina išlaikant poras, kai abu agentai bando tas pačias užduotis.

Nenaudok visuotinės trijų procentinių punktų ribos lygybei skelbti. Nedidelis skirtumas gali būti reikšmingas arba nepakankamas išvadai, priklausomai nuo imties, pakartotinių paleidimų ir palyginimo metodo. Neapibrėžtumą vertink kartu su kaina, sparta bei prieinamumu, tada pirmaujančius derinius išbandyk su savo užduotimis.

Kas pirmauja skirtinguose benchmarkuose šio teksto rašymo metu?#

Dabar apie pačius skaičius – su viena svarbia išlyga. Konkretūs procentai galioja neilgai. Pasirodo nauja modelio versija arba atnaujinamas agentas ir po savaitės lentelė jau kitokia. Todėl skaičių neįsimink; turėk omenyje jų dydžio eilę ir išmok juos pasitikrinti.

Pagal oficialius pačių įmonių pareiškimus, 500 patikrintų SWE-bench užduočių rezultatai atrodo taip. OpenAI apie savo GPT-5 modelį parašė:

Anthropic savo modeliams nurodo panašius rezultatus. Claude Opus 4.1 pasiekia 74,5 procento tame pačiame SWE-bench Verified. Naujesnis Claude Sonnet 4.5 pasiekia 77,2 procento dešimties bandymų vidurkį ir iki 82 procentų, jei modeliui leidžiama kelis kartus bandyti, o pasirenkamas geriausias rezultatas.

Matai, kas vyksta? Įvairių įmonių pirmaujantys deriniai telpa į siaurą intervalą: maždaug 74–77 procentus. Skirtumą sudaro tie patys keli procentiniai punktai, kurie dažnai patenka į paklaidos ribą. Taigi tai, „kas užima pirmą vietą“, priklauso nuo savaitės, kai buvo paleistas benchmarkas, ir nuo konfigūracijos. Svarbiau tai, kad visa geriausiųjų grupė geba atlikti maždaug tuos pačius dalykus, todėl joje reikėtų rinktis pagal kainą, greitį ir tai, ar apskritai gali naudotis įrankiu.

Yra dar viena smulkiu šriftu minima detalė, kuri svarbi. GPT-5 rezultatas apskaičiuotas ne pagal visas 500 užduočių:

Tai reiškia, kad 74,9 procento yra 477 užduočių, o ne visų 500 dalis. Menka detalė? Ne. Būtent dėl jos du sąžiningi reitingai gali pateikti skirtingus to paties modelio skaičius. Kitame skyriuje paaiškinta, į ką atkreipti dėmesį tokiose išnašose.

Kaip per penkias minutes perskaityti bet kurį reitingą: kontrolinis sąrašas#

Štai trumpa veiksmų seka. Atverk bet kurį AI agentų reitingą ir iš eilės atsakyk į šiuos šešis klausimus.

1. Koks benchmarkas naudotas? SWE-bench Verified ar kitas. Jei benchmarkas visai nenurodytas, užverk puslapį – tai ginčui išprovokuoti sukurta diagrama.
2. Koks derinys? Vien „Claude“ nepakanka; reikia žinoti „ši Claude versija šiame harness“. Nenurodžius abiejų dalių, procentas kybo ore.
3. Kiek užduočių įskaičiuota? Visos 500 ar tik jų dalis, kaip GPT-5 pavyzdyje su 477 užduotimis. Mažesnis rinkinys padidina skaičių.
4. Kiek bandymų buvo leidžiama? Vienas bandymas sąžiningesnis už „dešimt bandymų ir imame geriausią“. Pastarasis variantas atrodo geriau, tačiau realiame gyvenime taip niekas nedirba.
5. Kiek tai kainuoja? Ar šalia procento yra kainos stulpelis? Jei ne, pusė vaizdo paslėpta.
6. Ar parodytas rezultatų išsibarstymas? Ką reiškia neapibrėžtumo „ūsai“, kiek užduočių ir paleidimų juos sudarė ir ar pateiktas tinkamas skirtumo palyginimas? Nei persidengimas, nei fiksuotas trijų punktų skirtumas neįrodo lygybės.

Vadovaukis šiais šešiais punktais ir per penkias minutes bet kuri garsiai skambanti antraštė arba atlaikys patikrą, arba subyrės. Taip pat verta prisiminti, kad net testo išlaikymas negarantuoja rezultato tavo projekte: kodėl taip yra, aiškinu straipsnyje kodėl AI agentas sako „atlikta“, nors darbas neatliktas.

Iš kur atsiranda klaidinga informacija reitinguose: senos užduotys modelio mokymo duomenyse?#

Yra dar viena priežastis neaukštinti procentų, ir benchmarkų kūrėjai apie ją kalba atvirai. SWE-bench užduotys paimtos iš viešų projektų, kurie internete skelbiami jau daugelį metų. Neuroniniai tinklai mokomi naudojant internetą. Todėl modelis mokymosi metu galėjo lengvai aptikti tuos pačius projektus ir paruoštus jų pataisymus.

Ką tai reiškia praktiškai? Kai kurių „išspręstų“ užduočių modelis pats neišsprendė – prisiminė paruoštą atsakymą. Jis jau buvo matęs jį mokydamasis ir tiesiog pakartojo. Šis procentas rodo atmintį. Apie gebėjimą suprasti naują kodą jis nieko nepasako. OpenAI atvirai pripažįsta šią SWE-bench riziką.

Štai kokia išvada skaitytojui. Kuo naujesnės užduotys ir kuo daugiau uždarų užduočių, kurių modelis tikrai niekada nematė, tuo sąžiningesnis matavimas. Todėl naujais benchmarkais su paslėptais testais verta pasitikėti labiau nei senais viešais rinkiniais, kuriuose visi jau yra pasitreniravę. Rinkdamasis iš dviejų reitingų, teik pirmenybę tam, kuriame yra naujų užduočių ir dalis modeliams paslėptų užduočių.

Kurį AI agentą pasirinkti savo užduočiai?#

Apibendrinkime visa tai praktiškai. Universalaus nugalėtojo nėra, todėl atsižvelk į savo užduotį.

Jei projektas sudėtingas, turi didelę kodo bazę ir užtruks ilgai, rinkis galingą modelį brandžiame harness. Tarp reitingų viršūnėje esančių derinių yra Anthropic Claude Code su Opus ir Sonnet modeliais bei OpenAI Codex su GPT-5 šeimos modeliais. Tai paruošti agentai, kuriuose viskas jau sukonfigūruota ir kurie patikimai susidoroja su sudėtingomis užduotimis. Jie sunaudoja daugiau tokenų, bet juos reikia mažiau konfigūruoti.

Jei užduotys paprastos – taisyti tekstą, sukurti nedidelį puslapį ar parašyti skriptą – nėra reikalo papildomai mokėti už aukščiausios klasės modelį. Paprastesni ir pigesni modeliai jas atliks be jokio rezultato skirtumo, o sąskaita bus kelis kartus mažesnė.

Jei reikia nemokamo įrankio, veikiančio vietoje, pasižiūrėk į atviruosius agentus, tokius kaip Cline, Aider ir OpenHands. Jie neturi savo modelio; jį prijungi naudodamas savo raktą. Jie lankstūs, bet turėsi juos konfigūruoti pats. Cursor yra atskira redaktoriaus programa su integruotu agentu; ji gali veikti su skirtingų įmonių modeliais, o tu pasirinksi tinkamą konkrečiai užduočiai. Apie tai, kokias užduotis verslas iš tikrųjų gali patikėti agentui, rašau straipsnyje kokias verslo užduotis iš tikrųjų galima patikėti AI agentui.

Dažnai užduodami klausimai#

Kai būsi pasiruošęs, susipažink su Ailoot.