# FrontierCode Diamond: 13.4% patchov vhodných na zlúčenie pri 50 náročných úlohách (jún 2026)
> Výsledky FrontierCode z júna 2026: 13.4% pri 50 náročných úlohách Diamond oproti 51.8% na Extended a kontrola patchu vytvoreného AI.
Source: https://ailoot.ai/blog/sk/frontiercode-benchmark-mergeable-ai-code/
Canonical: https://ailoot.ai/blog/sk/frontiercode-benchmark-mergeable-ai-code/
Language: sk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-173
Revision: sha256-731c563891533d6ca22049abe404249a26f5493602b2aed8786c9a1937c06a39
Kľúčové zistenie
Dňa 8. júna 2026 spoločnosť Cognition vydala FrontierCode, benchmark, ktorý meria, či by skutočný správca open-source repozitára súhlasil so zlúčením kódu vygenerovaného AI do svojho projektu. Hlavný výsledok: aj Claude Opus 4.8, najlepší model v odvetví, úspešne zvládne iba 13.4% z 50 najťažších úloh. Staršie benchmarky, ako HumanEval a SWE-bench, merali „funguje kód?“, zatiaľ čo nový meria „prijal by správca toto PR?“. Mení to pohľad každého, kto posúva kód vygenerovaný AI do produkcie.
Ďalšie materiály o konfigurácii nástrojov nájdete v [dokumentácii Ailoot](https://ailoot.ai/docs/).
[Sprievodcovia Ailoot](https://ailoot.ai/docs/)
## Čo je FrontierCode a prečo na ňom záleží?
Kľúčové zistenie
FrontierCode je benchmark kvality kódu AI od spoločnosti Cognition, zverejnený 8. júna 2026. Hodnotí, či patch spĺňa kritériá zlúčenia benchmarku orientované na správcov. Je to vymedzený výsledok benchmarku, nie všeobecná miera produkčnej pripravenosti všetkého kódu AI. Viac ako 20 správcov významných open-source projektov strávilo zostavovaním scenárov vyžadujúcich nielen správnosť, ale aj štýl, bezpečnosť a testy, pri každej úlohe viac ako 40 hodín.
Cognition je spoločnosť, ktorá stojí za Devinom (prvým autonómnym AI inžinierom, marec 2024) a Windsurfom (získaným v júli 2025). Vyvíja aj vlastný rad modelov SWE-1.x. Benchmark bol zverejnený na verejnom blogu na adrese `cognition.com/blog/frontier-code`.
Kľúčová zmena nespočíva v nových číslach. Ide o **mierku, ktorou sa veci merajú**.
Benchmark má tri úrovne náročnosti: **Extended** (150 úloh, úplná sada), **Main** (100 najťažších vrátane Diamond) a **Diamond** (50 mimoriadne náročných úloh). Cognition zámerne ponechala Diamond „z veľkej časti nenasýtený“—aj najlepší model vyrieši menej ako 15 %. Cieľom je ponechať benchmarku priestor na celý rok a zabrániť jeho nasýteniu za mesiac, ako sa to stalo pri HumanEval.
## Čo FrontierCode meria: „Zlúčil by správca toto PR?“
Kľúčové zistenie
FrontierCode hodnotí každé riešenie v 6 oblastiach: či patch rieši úlohu, či nenaruší iný kód, či prejde kontrolami zostavenia a lintovania, či má platné testy, či zostáva v rámci zadania a či je kód čitateľný. Aby sa patch považoval za vhodný na zlúčenie, musí prejsť všetkými 6 oblasťami. Ak zlyhá čo i len v jednej, PR sa nezlúči. Meranie sa tak presúva od automatizovaných testov k rozhodnutiu skutočného správcu.
Šesť oblastí hodnotenia (z oficiálneho blogu Cognition):
1. **Správnosť správania** — rieši patch úlohu?
2. **Bezpečnosť pred regresiami** — nenaruší existujúci kód?
3. **Technická čistota** — prejde kontrolami zostavenia, lintovania a štýlu?
4. **Správnosť testov** — sú testy napísané agentom platné (testy, ktoré prejdú pri akomkoľvek kóde, sa nepočítajú)?
5. **Rozsah** — vyhýba sa patch úpravám súborov, ktoré neboli požadované?
6. **Kvalita kódu** — dodržiava kód konvencie projektu a je čitateľný?
Aby sa patch považoval za vhodný na zlúčenie, musí prejsť **všetkými šiestimi oblasťami**. Ak zlyhá čo i len v jednej, nezlúči sa.
To je hlavná zmena perspektívy. „Správnosť je teraz základná požiadavka,“ ako to vyjadruje Cognition. Predtým sa benchmarky pýtali: „Prešiel kód testami?“ Teraz sa pýtajú: „Prijal by skutočný technický vedúci tento kód do projektu?“
Cognition predstavila tri nové techniky hodnotenia:
- **Reverse-Classical**: test napísaný agentom musí zlyhať na pokazenej verzii kódu. Inak je test falošný.
- **Code Scope**: automatická kontrola overuje, či patch zostáva v rámci súborov a počtu riadkov dohodnutých pre danú úlohu.
- **Adaptive Classical Grading**: nástroj LLM „mutagent“ prispôsobuje prísne testy platným variantom riešenia.
## Prečo už staré benchmarky nefungujú?
Kľúčové zistenie
HumanEval (Codex, 2021) a SWE-bench kontrolujú, či kód prejde automatizovanými testami. Nezachytia prípady, keď test prejde, ale nikto PR neprijme: kód je škaredý, narúša susedné moduly alebo prekračuje rozsah úlohy. V marci 2026 nezávislá štúdia vyhodnotila 296 PR vygenerovaných AI zo SWE-bench Verified pomocou 4 skutočných správcov: rozhodnutia správcov boli v priemere o 24 percentuálnych bodov nižšie než skóre automatizovaného hodnotenia. To znamená, že približne polovica „úspešných“ PR sa do skutočného repozitára nezlúči.
AI agenti už v roku 2024 dosahovali na HumanEval výborné výsledky. SWE-bench Verified je na tom veľmi podobne: v auguste 2025 OpenAI verejne priznala problém kontaminácie (modely „videli“ dátovú sadu počas tréningu). Benchmarky stratili schopnosť rozlišovať medzi špičkovými modelmi.
Kľúčová štúdia, ktorá podkopala staré meradlo, vyšla v marci 2026.
Čo urobili:
- Vybrali 4 aktívnych správcov z 3 repozitárov (scikit-learn, Sphinx, pytest).
- Nechali ich vyhodnotiť 296 PR vygenerovaných AI zo SWE-bench Verified—všetky tieto PR prešli automatizovanými testami.
- Porovnali rozhodnutia správcov s rozhodnutiami automatizovaného hodnotiteľa.
Inými slovami, benchmark hovorí „prešlo“, zatiaľ čo správca hovorí „nezlúči sa“—a v priemere sa to stáva v štvrtine prípadov. Tri hlavné dôvody odmietnutia, od najmenej po najzávažnejší:
1. **Kvalita kódu** — nezodpovedá štýlu repozitára.
2. **Narušenie iného kódu** — poškodzuje susedný kód.
3. **Zlyhanie základnej funkčnosti** — úplne nerieši úlohu, aj keď je test úspešný.
FrontierCode formalizuje presne tento problém. Cognition prevzala túto myšlienku a rozšírila ju na úplný benchmark s viac ako 20 správcami namiesto 4.
Ďalším klincom do rakvy je štúdia z decembra 2025 o bezpečnosti záplat generovaných AI.
V nej bolo 61 % riešení SWE-Agent s Claude 4 Sonnet funkčne správnych, ale iba 10.5 % z nich bolo bezpečných.
Kód prejde testom, a predsa každý druhý patch zavádza bezpečnostnú dieru. Na benchmarkoch SWE-bench to vôbec nevidno—bezpečnosť nemerajú. FrontierCode sa ju aspoň pokúša zachytiť prostredníctvom oblastí „technická čistota“ a kvalita kódu.
## Poradie modelov: Opus 4.8 dosahuje 13.4 %, GPT-5.5 dosahuje 6.3 %
Kľúčové zistenie
Cognition zverejnila rebríček 12 modelov v troch podmnožinách. Claude Opus 4.8 od Anthropic vedie v Diamond s výsledkom 13.4%. Nasledujú GPT-5.5 s 6.3%, Claude Opus 4.7 s 5.2% a Gemini 3.1 Pro od Google s 4.7%. Najlepším modelom s otvoreným kódom je Kimi K2.6 od Moonshot s 3.8%. Vlastný model Cognition SWE-1.6 sa nachádza v spodnej časti tabuľky s výsledkom 2.5%. Je to dôležitý argument proti obvineniam zo sebapropagácie.
| Model | Diamond (50) | Main (100) | Extended (150) |
|---------------------------------|--------------|------------|----------------|
| **Claude Opus 4.8** (Anthropic) | **13.4%** | 34.3% | 51.8% |
| GPT-5.5 (OpenAI) | 6.3% | \- | \- |
| Claude Opus 4.7 (Anthropic) | 5.2% | \- | \- |
| Gemini 3.1 Pro (Google) | 4.7% | \- | \- |
| GPT-5.4-mini (OpenAI) | 4.6% | \- | \- |
| Kimi K2.6 (najlepší model s otvoreným kódom) | 3.8% | \- | \- |
| Claude Sonnet 4.6 | 3.5% | \- | \- |
| **SWE-1.6** (Cognition) | **2.5%** | \- | \- |
| MiniMax M2.7 | 2.4% | \- | \- |
| MiniMax M2.5 | 1.1% | \- | \- |
| Kimi K2.5 | 1.0% | \- | \- |
| Gemini 3.1 Flash Lite | 0.7% | \- | \- |
Čo v tabuľke vyniká:
- **Jeden jasný líder.** Opus 4.8 od Anthropic je približne dvakrát vpredu pred najbližším konkurentom. Rozdiel, ktorý sa na SWE-bench ťažko rozpoznával, je na FrontierCode zreteľný.
- **Modely s otvoreným kódom zatiaľ nedobehli ostatné.** Kimi K2.6—najlepší model s otvoreným kódom—dosahuje na Diamond 3.8%. To je 3–4-krát menej než Opus 4.8. Cognition nezverejnila úplnú tabuľku Kimi K2.6 pre Main a Extended, takže zatiaľ nie je možné porovnanie na celej sade.
- **Cognition svoj model poctivo umiestnila** do spodnej časti tabuľky.
Podmnožina Diamond bola zámerne ponechaná „nenasýtená“. Cognition vytvorila bezpečnostnú rezervu na niekoľko rokov. Ak sa predchádzajúce benchmarky nasýtili za 12–18 mesiacov, FrontierCode je navrhnutý s vyšším stropom.
## Čo znamená „13 % vhodných na zlúčenie“ pre používateľa vibe codingu s Claude Code?
Kľúčové zistenie
V uvádzanom behu Opus 4.8 na 50 vybraných náročných úlohách Diamond splnilo kritériá zlúčiteľnosti benchmarku 13.4% patchov a 86.6% ich nesplnilo. To nedokazuje, že všetky odmietnuté patche vyzerali správne ani že rovnaká miera platí pre bežnú projektovú prácu. V praxi vibe codingu to znamená, že pri náročných zmenách nestačí pozrieť sa na úspešný test a vykonať push. Jednoduché zmeny v novom projekte sú iný prípad; tie AI zvláda dobre. Hranica medzi tým, „kedy vykonať push a kedy to ručne doladiť“, sa posunula.
Najprv dôležitá zmena pohľadu: sada **Diamond** vo FrontierCode je zámerne mimoriadne náročná. Pri bežných úlohách v novom startupe bez štyridsiatich závislých modulov dosahuje AI agent výrazne lepšie výsledky. Rovnaký Opus 4.8 má na Extended (150 úloh, úplná sada) 51.8 % kódu vhodného na zlúčenie. To je úplne iný obraz.
Výsledok 51.8% sa vzťahuje na sadu Extended so 150 úlohami. Je vyšší než výsledok Diamond, no ani jedno číslo neodhaduje zlúčiteľnosť patchov každého modelu pri vašich vlastných úlohách. Chýbajúce skóre Main či Extended iných modelov neoprávňuje ich výkon dopĺňať.
Čo to znamená pre vibe codera, ktorý posúva kód do produkcie:
- **Úspešný test už neznamená „pripravené na zlúčenie“.** Testy napísané samotnou AI môžu byť nanič—prejdú pri akomkoľvek kóde. FrontierCode to meria priamo prostredníctvom Reverse-Classical: ak test nezlyhá na pokazenej verzii, nepočíta sa.
- **Na štýle a konvenciách repozitára záleží.** Ak má projekt zavedený vzor a AI ho nedodržiava, skutočný spolupracovník zmenu neprijme. V samostatných projektoch bez pravidiel to nie je veľký problém. V tíme je to problém číslo jeden.
- **Testy neriešia bezpečnosť.** Spomeňte si na údaj vyššie: bezpečných je iba 10.5 % patchov, hoci 61 % je správnych. Toto treba kontrolovať osobitne pomocou nástrojov, ktoré zachytávajú tokeny, súbory `.env` a predvolené heslá.
- **Prekračovanie zadania je typická chyba AI.** Požiadate ju o opravu autorizačnej funkcie a dostanete patch, ktorý prepísal aj internú vrstvu a logovanie. Je to jedna zo 6 oblastí FrontierCode.
[Sprievodcovia Ailoot](https://ailoot.ai/docs/)
## Akých 6 kategórií chýb robí AI pri náročných úlohách?
Kľúčové zistenie
Šesť oblastí FrontierCode zodpovedá 6 typom chýb, ktoré AI agenti pravidelne robia. Ide o predvídateľné vzorce slabých výsledkov. Ak vezmete náhodný patch od Claude alebo Codexu a posúdite ho podľa týchto 6 oblastí, skutočný technický vedúci ho neprijme, ak zlyhá čo i len v jednej. Ak chcete s istotou posúvať kód do produkcie, pred zlúčením musíte týchto 6 oblastí skontrolovať sami.
Prejdime si jednotlivé oblasti jednoduchými slovami:
**1. Správnosť správania — rieši patch úlohu?**
Najzákladnejšia oblasť. AI často napíše kód, ktorý **vyzerá** ako riešenie, ale rieši nesprávny problém. Požiadam ju, aby „pridala potvrdenie prečítania k správe“, a dostanem funkciu `markAsRead`, ktorá však nie je prepojená so samotnou chatovou komponentou. Test funkcie prejde. Obchodná úloha vyriešená nie je.
**2. Bezpečnosť pred regresiami — zabráni poškodeniu susedného kódu?**
AI zmení jeden modul a ďalší zrazu nefunguje. Najčastejší prípad: AI agent zmení signatúru funkcie a zabudne, že sa volá z ďalších 17 miest. Na SWE-bench to nevidno—testujú tam iba jeden súbor. Na FrontierCode spúšťajú **celú testovaciu sadu repozitára**.
**3. Technická čistota — prejde kontrolami zostavenia, lintovania a štýlu?**
AI môže vytvoriť kód, ktorý sa lokálne skompiluje, ale zlyhá v CI: chýbajúci import, tabulátory namiesto medzier, dve koncové medzery alebo chyba v `eslint.config.js`. V živom projekte nie je štýl rozmar; je to tímové pravidlo.
**4. Správnosť testov — sú testy napísané AI platné?**
Najzradnejšia oblasť. AI napíše test, ktorý prejde. Ale **prejde pri akomkoľvek kóde vrátane pokazeného**. Videl som to mnohokrát: test kontroluje „či skript spadol“, nie „či vrátil správny výsledok“. Reverse-Classical vo FrontierCode zachytí presne takýto prípad.
**5. Rozsah — nezasahuje patch do nesúvisiacich súborov?**
Požiadam ju o opravu jednej funkcie a dostanem patch pre 12 súborov vrátane takých, ktoré s úlohou nesúvisia. Presne taká „iniciatíva“ AI poškodzuje produkčný projekt tým, že mení veci, o ktorých som ju nežiadal. Táto oblasť je vo FrontierCode neprekročiteľnou prekážkou.
**6. Kvalita kódu — dodržiava kód konvencie repozitára?**
AI napíše vlastnú funkciu „od nuly“ namiesto použitia existujúcich pomocných funkcií v `lib/`. Alebo premenné pomenuje spôsobom, ktorý nezodpovedá štýlu projektu. Alebo umiestni logiku do nesprávnej architektonickej vrstvy. Z pohľadu testu všetko funguje. Z pohľadu technického vedúceho sa kód nezlúči.
## Ako skontrolovať kód AI pred pushom: 5 krokov
Kľúčové zistenie
Kontrolný zoznam v 5 krokoch pokrýva 6 oblastí FrontierCode a bezpečnostnú kontrolu. Prejdite si ho pred vydaním každého patchu od Claude alebo Codexu. Krokov je málo a každý zaberie niekoľko minút. Oplatí sa to: venujte 10 minút zoznamu namiesto 4 hodín obnovovaniu produkčného projektu pomocou git rewind a obnovovaniu databázy zo zálohy.
1. ### Spustite celú testovaciu sadu, nielen testy súvisiace so zmenou
AI často mení kód aj mimo zadania. Problém sa prejaví v susedných testoch. Spúšťam celú testovaciu sadu (jediným príkazom `npm test`, bez cesty), nie iba testy konkrétneho súboru. Pri veľkých projektoch je praktické spúšťať ju paralelne pomocou git worktree (pozrite si [Git worktree v Claude Code](https://ailoot.ai/blog/sk/claude-code-git-worktree/)).
2. ### Spustite kontroly lintovania, štýlu a typov
Tri príkazy v tomto poradí: `eslint .`, `prettier --check .`, `tsc --noEmit`. AI agent môže prehliadnuť tabulátor aj jednu nadbytočnú koncovú medzeru. Ak má projekt prísne kontroly, spustite ich lokálne pred vydaním.
3. ### Otestujte samotný test
Najdôležitejšia z 5 kontrol. Urobím v kóde malú „poruchu“ (zmením `return true` na `return false`). Test by mal zlyhať. Ak **nezlyhá**, AI ho napísala iba naoko a je zbytočný. Test odstránim a požiadam AI, aby ho prepísala s povinnou podmienkou: test musí zlyhať na pokazenej verzii.
4. ### Skontrolujte, ktorých súborov sa AI dotkla
Príkaz `git diff --stat` zobrazí zmenené súbory a počet riadkov. Ak AI v reakcii na „oprav kontaktný formulár“ zasiahla 12 súborov, prekročila rozsah úlohy. Nadbytočné zmeny vrátim jediným príkazom pre daný súbor.
5. ### Vykonajte bezpečnostnú kontrolu pomocou hotového skillu
Testy nezachytia SQL injection ani natvrdo zapísané heslá. Používam hotový bezpečnostný skill pre Claude Code (pozrite si 754 hotových bezpečnostných skillov). Minimálne ručne vyhľadajte v kóde projektu slová „password“, „secret“ a „key“ a skontrolujte, či je `.env.example` úplný.
Všetkých 5 krokov pokrýva 5 zo 6 oblastí FrontierCode (1–5). Šiesta oblasť—kvalita kódu—sa kontroluje automaticky pomocou lintovania a ľudskou kontrolou.
## Čo v skutočnosti zvyšuje šancu na kód vhodný na zlúčenie?
Kľúčové zistenie
FrontierCode opisuje problém. Riešenie spočíva v metodike práce s AI; samotná zmena modelu tu prakticky nič nemení. Rozdiel robia tri postupy: pravidlá projektu, mapa projektu a kontextové inžinierstvo. Bez nich aj Opus 4.8 vytvára vierohodný odpad. Dávajú agentovi jasnejšie obmedzenia, no náročné zmeny pred zlúčením stále vyžadujú kontroly repozitára a review.
AI agent v nepripravenom projekte vidí **iba súbor, ktorý ste mu otvorili**. Nemá históriu vašich rozhodnutí, vaše konvencie ani mapu vašich modulov. Pri jednoduchých zmenách to neprekáža. Pri náročných zmenách je chýbajúci kontext projektu rizikom, ktoré treba riešiť. Údaj benchmarku 13.4% neurčuje kvalitu kontextu ako jeho príčinu.
Čo treba urobiť, aby sa tých 13 % zmenilo na niečo, čo môžete skutočne poslať do produkcie:
**1. Pravidlá projektu — aby AI napodobňovala vaše uvažovanie namiesto priemeru internetu.**
Ide o súbor vašich hotových riešení, návykov a osvojených pravidiel vo formáte, ktorý AI agent číta pri každej požiadavke. Keď je pravidiel 30+, AI prestane vymýšľať „priemer odvetvia“ a začne navrhovať riešenia vo vašom štýle. Prekračovanie rozsahu úlohy možno riešiť jedným riadkom v pravidlách: „nedotýkaj sa súborov mimo tých, ktoré sú výslovne uvedené v požiadavke.“
**2. Mapa projektu — priečinok, ktorý opisuje projekt.**
Sem uložíte produkty, publikum, ekonomiku, metriky a nastavenia. Pred každou požiadavkou si AI agent prečíta obsah a pochopí, **na ktorej časti podnikania pracuje**. Tým sa automaticky riešia dva z vyššie uvedených dôvodov odmietnutia: štýl a narušenie iného kódu.
**3. Context Engineering — riadenie toho, čo AI vidí pred zadaním požiadavky.**
Nejde o to, „ako formulovať prompt“, ale „čo vložiť do kontextového okna PRED promptom“. CLAUDE.md, predpoklady a cielené odkazy na súbory. Tým sa riešia zlyhania správnosti správania a kvality kódu.
Kombináciu používajte ako prípravu na kontroly, nie ako dôkaz úspechu v piatich oblastiach. Pred prijatím overte správanie, regresie, testy, rozsah a kvalitu kódu na skutočnom patchi.
Ďalšou vrstvou sú kontrolní agenti:
- **Cursor Bugbot** — kontroluje každé PR. Podľa Cursor nástroj spracuje približne 2 milióny PR mesačne.
- **Vnorení subagenti v Claude Code v2.1.172** — jeden agent píše kód, druhý ho kontroluje a tretí spúšťa testy. Je to rovnaká myšlienka ako vo FrontierCode: oddelenie rolí „autora“ a „technického vedúceho“.
Pozrite si aj: [Bezpečnosť pri vibe codingu](https://ailoot.ai/blog/sk/vibe-coding-security/), [Ako nakonfigurovať Claude Code, aby vám v noci nerozbil projekt](https://ailoot.ai/blog/sk/claude-code-safe-overnight-setup/) a Context Engineering ako koncept.
### Zdroje
- [Cognition - Predstavenie FrontierCode (8. júna 2026)](https://cognition.com/blog/frontier-code)
- [Cursor Bugbot - Agent na kontrolu kódu](https://cursor.com/bugbot)
Ďalšie materiály o práci s nástrojmi nájdete v [dokumentácii Ailoot](https://ailoot.ai/docs/).
[Sprievodcovia Ailoot](https://ailoot.ai/docs/)
[Prejsť na Ailoot](https://ailoot.ai/)
## Otázky o FrontierCode Diamond a zlúčiteľných patchoch AI
### Znamená 13.4%, že iba taký podiel všetkého kódu AI je pripravený na produkciu?
Nie. Je to uvádzaný výsledok zlúčiteľnosti Opus 4.8 na 50 vybraných náročných úlohách FrontierCode Diamond. Tá istá tabuľka uvádza 51.8% na sade Extended so 150 úlohami; ani jedna miera nemeria všetok kód vytvorený AI.
### Prečo úspešný test nestačí na zlúčenie patchu?
Benchmark kontroluje aj regresie, zostavenie a štýl, schopnosť testov odhaliť chybnú implementáciu, rozsah a kvalitu kódu. Prezrite skutočný diff a vykonajte prijímacie kontroly repozitára; samotný zelený test všetky tieto podmienky nedokazuje.
## Ailoot · Spoločnosť a jej portfólio projektov
Ailoot stavia na dlhodobých prevádzkových skúsenostiach, širokej klientskej základni, stabilných službách a priebežnom sledovaní KPI.
Spoločnosť a jej portfólio projektov: milióny zákazníkov; mesačné tržby v miliardách.
Ailoot využíva tieto prevádzkové skúsenosti na poskytovanie prístupu cez API k funkciám AI v produktoch zákazníkov, agentoch, aplikáciách a automatizáciách.