FrontierCode Diamond: 50 қиын тапсырмада біріктіруге жарамды патчтар — 13.4% (2026 жылғы маусым)

Құралдарды баптау туралы қосымша материалдар Ailoot құжаттамасында берілген.

FrontierCode деген не және ол неге маңызды?#

Cognition — Devin (алғашқы автономды AI инженер, 2024 жылғы наурыз) және Windsurf (2025 жылғы шілдеде сатып алынған) өнімдерінің артындағы компания. Олар сондай-ақ өздерінің SWE-1.x модельдер желісін әзірлеп жатыр. Бенчмарк ашық блогта, cognition.com/blog/frontier-code мекенжайындажарияланды.

Басты өзгеріс жаңа сандарда емес. Қазір қолданылатын өлшемде.

Бенчмарк үш қиындық деңгейінен тұрады: Extended (150 тапсырма, толық жинақ), Main (ең қиын 100 тапсырма, Diamond ішіне кіреді) және Diamond (аса қиын 50 тапсырма). Cognition Diamond жинағын әдейі «көбіне қанықпаған» күйде қалдырды: ең үздік модельдің өзі 15%-дан аз тапсырманы шешеді. Мұның мақсаты — бенчмаркке бір жылдық даму кеңістігін беру және HumanEval сияқты бір айда қанығып қалмауын қамтамасыз ету.

FrontierCode нені өлшейді: «Қолдаушы бұл PR-ды қосар ма еді?»#

Бағалаудың алты өлшемі (Cognition-ның ресми блогынан):

1. Мінез-құлық дұрыстығы — патч тапсырманы шеше ме?
2. Регрессиядан қорғаныс — қолданыстағы кодты бұзбай ма?
3. Техникалық тазалық — build, lint және стиль тексерулерінен өте ме?
4. Тест дұрыстығы — агент жазған тестілер жарамды ма (кез келген кодта өтетін тестілер есептелмейді)?
5. Ауқым — патч сұралмаған файлдарға тимей ме?
6. Код сапасы — код жоба ережелеріне сай ма және оқуға ыңғайлы ма?

Патч қосуға жарамды деп есептелуі үшін алты өлшемнің бәрінен өтуі керек. Біреуінен өтпесе, қосылмайды.

Көзқарастағы басты өзгеріс осы. Cognition айтқандай, «дұрыстық енді — ең төменгі талап». Бұрын бенчмарктер «код тестілерден өтті ме?» деп сұрайтын. Енді «нақты техникалық жетекші мұны жобаға қосар ма еді?» деп сұрайды.

Cognition бағалаудың үш жаңа тәсілін енгізді:

• Reverse-Classical: агент жазған тест кодтың бұзылған нұсқасында өтпеуі керек. Әйтпесе, тест жалған.
• Code Scope: автоматты тексеруші патчтың тапсырма үшін келісілген файлдар мен жолдар санымен шектелгенін тексереді.
• Adaptive Classical Grading: «mutagent» атты LLM құралы қатаң тестілерді жарамды шешім нұсқаларына бейімдейді.

Ескі бенчмарктер неге енді жұмыс істемейді?#

AI агенттері HumanEval-ден 2024 жылға қарай-ақ жоғары нәтиже көрсетті. SWE-bench Verified те осыған ұқсас: 2025 жылғы тамызда OpenAI деректердің ластануы мәселесін (модельдер оқыту кезінде жинақпен «танысқан») ашық мойындады. Бенчмарктер үздік модельдерді бір-бірінен ажырату қабілетін жоғалтты.

Ескі өлшемге күмән келтірген негізгі зерттеу 2026 жылғы наурызда жарияланды.

Зерттеушілердің хийсэн зүйл:

• 3 репозиторийден (scikit-learn, Sphinx, pytest) 4 идэвхтэй қолдаушы таңдап авсан.
• Оларға SWE-bench Verified жүйесінен алынған AI жасаған 296 PR-ды бағалатқан — осы PR-лардың барлығы автоматты тестілерден өткен.
• Қолдаушылардың шешімдерін автоматты бағалаушының нәтижелерімен салыстырған.

Басқаша айтқанда, бенчмарк «өтті» дейді, ал қолдаушы «қоспаймын» дейді — мұндай жағдай орта есеппен әр төрт жағдайдың бірінде кездеседі. Бас тартудың ең көп тараған 3 себебі, жеңілінен ауырына қарай:

1. Код сапасы — репозиторий стиліне сәйкес келмейді.
2. Басқа кодты бұзады — көршілес кодқа зиян келтіреді.
3. Негізгі функцияның істемеуі — тест жасыл болса да, тапсырманы толық шешпейді.

FrontierCode дәл осы мәселені жүйелейді. Cognition бұл идеяны алып, 4 емес, 20-дан астам қолдаушы қатысатын толық бенчмаркке кеңейтті.

Табытқа тағы бір шеге — AI жасаған патчтардың қауіпсіздігі туралы 2025 жылғы желтоқсандағы зерттеу.

Онда Claude 4 Sonnet қолданылған SWE-Agent шешімдерінің 61%-ы функционалдық тұрғыдан дұрыс болды, бірақ олардың тек 10.5%-ы қауіпсіз болды.

Код тестіден өтеді, бірақ патчтардың әр екіншісі қауіпсіздік осалдығын енгізеді. SWE-bench бенчмарктерінен мұны мүлде байқай алмайсыз — олар қауіпсіздікті өлшемейді. FrontierCode мұны «техникалық тазалық» және код сапасы өлшемдері арқылы анықтауға тырысады.

Модельдердің рейтингі: Opus 4.8 — 13.4%, GPT-5.5 — 6.3%#

Кестеден көзге түсетін жайттар:

• Бір айқын көшбасшы бар. Anthropic Opus 4.8 ең жақын бәсекелесінен шамамен екі есе алда. SWE-bench-те байқалуы қиын болған айырмашылық FrontierCode-та анық көрінеді.
• Ашық модельдер әлі қуып жете қойған жоқ. Ашық кодты модельдердің үздігі Kimi K2.6 Diamond жинағында 3.8% жинайды. Бұл Opus 4.8 көрсеткішінен 3–4 есе төмен. Cognition Kimi K2.6 үшін Main және Extended жинақтарының толық нәтижелерін жариялаған жоқ, сондықтан толық жинақ бойынша әзірге салыстыру жоқ.
• Cognition өз моделін кестенің төменгі бөлігіне адал орналастырды.

Diamond ішкі жинағы әдейі «қанықпаған» күйде қалдырылды. Cognition алдағы жылдарға арнап қауіпсіздік қорын жасады. Алдыңғы бенчмарктер 12–18 айда қанықса, FrontierCode жоғарырақ шекке жетуге арналған.

Claude Code қолданатын vibe coder үшін «13%-ы қосуға жарамды» деген нені білдіреді?#

Алдымен маңызды жайт: FrontierCode-тың Diamond жинағы әдейі аса қиын тапсырмалардан тұрады. Қырық тәуелді модулі жоқ, жаңадан басталған стартап жобасындағы күнделікті тапсырмаларда AI агенті әлдеқайда жақсы нәтиже көрсетеді. Сол Opus 4.8 Extended жинағында (150 тапсырма, толық жинақ) кодтың 51.8%-ын біріктіруге жарамды етеді. Бұл мүлде басқа көрініс.

51.8% нәтижесі бенчмарктің 150 тапсырмалық Extended жиынына қатысты. Ол Diamond-нан жоғары, бірақ екеуі де әр модельдің өз тапсырмаларыңыздағы патчтарының біріктіруге жарамдылығын бағаламайды. Басқа модельдердің Main не Extended ұпайы жоқ болуы оларды ойдан толтыруға негіз емес.

Өндіріске код жіберетін vibe coder үшін бұл нені білдіреді:

• Жасыл тест енді «қосуға дайын» дегенді білдірмейді. AI-дың өзі жазған тестілер түкке жарамауы мүмкін — олар кез келген кодтан өтеді. FrontierCode мұны Reverse-Classical арқылы тікелей өлшейді: тест кодтың бұзылған нұсқасынан өтпесе, ол есептелмейді.
• Репозиторий стилі мен ережелері маңызды. Жобаның қалыптасқан тәсіліне AI ермесе, нақты әріптес өзгерісті қабылдамайды. Ережелері жоқ жеке жобаларда бұл үлкен мәселе емес. Командада бұл — бірінші мәселе.
• Тестілер қауіпсіздік мәселесін шешпейді. Жоғарыдағы нәтижені еске түсіріңіз: кодтың 61%-ы дұрыс болғанымен, патчтардың тек 10.5%-ы қауіпсіз. Мұны токендерді, .env файлдарын және әдепкі құпиясөздерді табатын құралдармен бөлек тексеру керек.
• Тапсырмадан асып кету — AI-дың жиі жіберетін қатесі. Одан авторизация функциясын түзетуді сұрайсыз, ал ол ішкі қабатты және логтауды да қайта жазатын патч береді. Бұл — FrontierCode-тың 6 өлшемінің бірі.

Мұндай жағдайды өзім де талай рет көрдім. Бұрынғы топтардың біріндегі қатысушы AI-дан жылжымайтын мүлікті жалға беру жобасындағы «байланыс формасын түзетуді» сұрады. Ол дерекқор схемасын да өзгертетін, 800 жолдық патч алды. Тестілер жасыл болды — олар тек формаға қатысты еді. Жаңа дерекқор схемасы ескі әкімші панелімен түйіскенде, екі сағаттан кейін өндірістік сайт істен шықты. Осыдан кейін автор сипаттаған бастапқы практикалық курсқа сұрау шекаралары туралы жеке ереже қосылды.

AI-ды «нанымды қоқыс» режимінен «біріктіруге дайын» режиміне көшіретін баптауды жасағыңыз келе ме? FrontierCode мәселені көрсетеді, ал әдіснама шешімін ұсынады. Баптаудың үш тірегі бар: контекст инженериясы және нақты тапсырмаға сай жұмыс үдерісі. Бұл үйлесімсіз AI агенті әдемі жазғанымен, нысанадан жаңылады.

Қиын тапсырмаларда AI қандай 6 түрлі қате жібереді?#

Әр өлшемді қарапайым тілмен қарастырайық:

1. Мінез-құлық дұрыстығы — патч тапсырманы шеше ме?

Ең негізгі өлшем. AI жиі шешімге ұқсайтын, бірақ қате мәселені шешетін код жазады. Мен одан «хабарламаға оқылғаны туралы белгі қосуды» сұраймын, ал ол markAsRead функциясын жазады да, оны чат компонентінің өзіне қоспайды. Функцияның тесті өтеді. Бизнес тапсырма шешілмейді.

2. Регрессиядан қорғаныс — көршілес кодты бұзбай ма?

AI бір модульді өзгертеді де, енді басқасы істемей қалады. Ең жиі кездесетіні: AI агент функция сигнатурасын өзгертіп, оның басқа 17 жерден шақырылатынын ұмытады. Мұны SWE-bench-тен көре алмайсыз — онда тек бір файлдың тестілері орындалады. FrontierCode-та репозиторийдің толық тест жинағы іске қосылады.

3. Техникалық тазалық — build, lint және стиль тексерулерінен өте ме?

AI жергілікті ортада компиляцияланатын, бірақ CI-де өтпейтін код жасай алады: import жетіспейді, бос орындардың орнына tab қойылған, соңында артық екі бос орын бар немесе eslint.config.js ішінде қате кеткен. Жұмыс істеп тұрған жобада стиль талғам мәселесі емес — команда ережесі.

4. Тест дұрыстығы — AI жазған тестілер жарамды ма?

Ең күрделі өлшем. AI өтетін тест жазады. Бірақ ол бұзылған кодты қоса алғанда, кез келген кодта өтеді. Мұны талай көрдім: тест «скрипт істен шықты ма?» дегенді тексереді де, «дұрыс нәтиже қайтарды ма?» дегенді тексермейді. FrontierCode-тың Reverse-Classical тәсілі дәл осындай жағдайды анықтайды.

5. Ауқым — патч қатысы жоқ файлдарға тимей ме?

Мен одан бір функцияны түзетуді сұраймын, ал ол тапсырмаға қатысы жоқ файлдарды қоса алғанда, 12 файлға арналған патч береді. AI-дың осындай «бастамашылдығы» мен сұрамаған нәрселерді өзгертіп, өндірістік жобаны бұзады. FrontierCode-та бұл өлшем — қатаң тосқауыл.

6. Код сапасы — код репозиторий ережелеріне сай ма?

AI lib/ ішіндегі дайын көмекшілерді қолданбай, өз функциясын «нөлден» жазады. Немесе жоба стиліне сай келмейтін айнымалы атауларын береді. Әлде логиканы архитектураның қате қабатына орналастырады. Тест тұрғысынан бәрі жұмыс істейді. Техникалық жетекші тұрғысынан бұл біріктірілмейді.

Жіберер алдында AI кодын қалай тексеруге болады: 5 қадам#

1. Өзгеріске қатысты тестілерді ғана емес, толық тест жинағын іске қосыңыз

   AI жиі тапсырма шегінен тыс код өзгертеді. Мәселе көршілес тестілерден байқалады. Мен белгілі бір файлға қатысты тестілерді ғана емес, npm test жалғыз пәрменімен толық тест жинағын іске қосамын. Үлкен жобаларда мұны git worktree арқылы қатар орындау ыңғайлы (Claude Code-тағы Git worktree бөлімін қараңыз).

2. Lint, стиль және типтерді тексеріңіз

   Ретімен үш пәрмен: eslint ., prettier --check ., tsc --noEmit. AI агенті табуляцияны немесе артық соңғы бос орынды байқамай қалуы мүмкін. Жобада қатаң тексерулер болса, релизге дейін оларды жергілікті ортада іске қосыңыз.

3. Тесттің өзін тексеріңіз

   Бес тексерудің ішіндегі ең маңыздысы. Кодқа шағын «ақау» енгізіңіз (return true мәнін return false деп өзгертіңіз). Тест құлауы керек. Егер тест құламаса, AI оны тек көзбояушылық үшін жазған, демек пайдасыз. Тестті өшіріп, AI-дан бұзылған нұсқада міндетті түрде құлайтын шартпен қайта жазуды сұраңыз.

4. AI қай файлдарды өзгерткенін тексеріңіз

   git diff --stat пәрмені өзгерген файлдар мен жолдар санын көрсетеді. Егер AI «байланыс формасын түзету» сұрауына 12 файлды өзгерткен болса, тапсырма ауқымынан шығып кеткен. Артық өзгерістерді сол файлға арналған бір пәрменмен кері қайтарамын.

5. Дайын skill көмегімен қауіпсіздікті тексеріңіз

   Тестілер SQL-инъекцияларды немесе кодқа жазылған құпиясөздерді анықтамайды. Мен Claude Code үшін дайын қауіпсіздік skill қолданамын (Қауіпсіздікке арналған 754 дайын skill бөлімін қараңыз). Ең аз дегенде, кодтан «password», «secret» және «key» сөздерін қолмен іздеп, .env.example файлының толық екенін тексеріңіз.

Осы 5 қадам FrontierCode-тың 6 өлшемінің 5-еуін (1–5) қамтиды. Алтыншы өлшем — код сапасы — lint тексеруі мен адамның шолуы арқылы автоматты түрде бағаланады.

Қосуға жарамды код алу мүмкіндігін іс жүзінде не арттырады?#

Дайындалмаған жобадағы AI агенті тек өзіңіз ашқан файлды ғана көреді. Онда шешімдер тарихыңыз, ережелеріңіз жоқ және модульдеріңіздің картасы да жоқ. Қарапайым өзгерістер үшін бұл үлкен мәселе емес. Қиын өзгерістерде жоба контекстінің жетіспеуі — шешуге тұрарлық тәуекел. Бенчмарктің 13.4% көрсеткіші контекст сапасын оның себебі ретінде оқшауламайды.

Осы 13%-ды өндіріске шынымен жіберуге болатын нәтижеге айналдыру үшін не істеу керек:

1. Жоба ережелері — AI интернеттегі орташа үлгіні емес, сіздің ойлау тәсіліңізді қайталасын.

Бұл — AI агент әр сұраумен бірге оқитын форматта сақталған дайын шешімдеріңіздің, әдеттеріңіздің және үйренген ережелеріңіздің жиынтығы. Ережелер саны 30+ болғанда, AI «саланың орташа үлгісін» ойлап табуды тоқтатып, сіздің стиліңізде ұсыныс жасай бастайды. Тапсырма ауқымынан шығудың алдын алуға ережелерге бір жол жеткілікті: «сұрауда нақты аталғандардан тыс файлдарға тиме».

2. Жоба картасы — жобаны сипаттайтын қалта.

Осы жерге өнімдерді, аудиторияны, экономиканы, метрикаларды және баптауларды орналастырасыз. Әр сұраудың алдында AI агент мазмұн кестесін оқып, бизнесіңіздің қай бөлігімен жұмыс істеп жатқанын түсінеді. Бұл жоғарыда аталған бас тарту себептерінің екеуін (стиль мен басқа кодты бұзу) автоматты түрде шешуге көмектеседі.

3. Контекст инженериясы — сұраудың алдында AI нені көретінін басқару.

Бұл «сұрауды қалай құрастыру керек» деген емес, «сұрауға ДЕЙІН контекст терезесіне нені орналастыру керек» деген мәселе. CLAUDE.md, алғышарттар және файлдарға нысаналы сілтемелер. Бұл мінез-құлық дұрыстығы мен код сапасына қатысты қателерді шешуге көмектеседі.

Үйлесімді бес өлшемнің өтіп қойғанының дәлелі емес, тексеруге дайындық ретінде қолданыңыз. Қабылдамас бұрын нақты патчтың әрекетін, регрессияларын, сынақтарын, ауқымын және код сапасын тексеріңіз.

Қосымша қабат ретінде шолу агенттерін пайдалануға болады:

• Cursor Bugbot — әр PR-ды қарап шығады. Cursor мәліметінше, бұл құрал айына шамамен 2 миллион PR өңдейді.
• Claude Code v2.1.172 ішіндегі кірістірілген субагенттер — бір агент код жазады, екіншісі қарайды, үшіншісі тестілерді іске қосады. Бұл FrontierCode-тегі оймен бірдей: «жазушы» мен «техникалық жетекшінің» рөлдерін бөлу.

Сондай-ақ қараңыз: Vibe coding қауіпсіздігі, Жобаңызды түнде бұзбайтындай етіп Claude Code-ты қалай баптауға болады және ұғым ретіндегі контекст инженериясы.

Құралдармен жұмыс туралы қосымша материалдарды Ailoot құжаттамасынан қараңыз.