FrontierCode Diamond: 13.4% Tampalan Boleh Digabungkan pada 50 Tugasan Sukar (Jun 2026)

Bahan tambahan tentang mengkonfigurasi alat tersedia dalam dokumentasi Ailoot.

Apakah FrontierCode, dan mengapa ia penting?#

Cognition ialah syarikat di sebalik Devin (jurutera AI autonomi pertama, Mac 2024) dan Windsurf (diambil alih pada Julai 2025). Mereka juga sedang membangunkan rangkaian model SWE-1.x sendiri. Penanda aras ini diterbitkan di blog awam pada cognition.com/blog/frontier-code.

Perubahan utamanya bukan tentang angka baharu. Ia tentang skala yang digunakan untuk mengukur perkara sekarang.

Penanda aras ini mempunyai tiga tahap kesukaran: Extended (150 tugasan, set penuh), Main (100 tugasan paling sukar, termasuk Diamond), dan Diamond (50 tugasan yang sangat mencabar). Cognition sengaja membiarkan Diamond “sebahagian besarnya belum tepu”—malah model terbaik menyelesaikan kurang daripada 15%. Tujuannya adalah untuk memberikan penanda aras ini ruang selama setahun dan mengelakkannya daripada tepu dalam sebulan, seperti HumanEval.

Apakah yang diukur oleh FrontierCode: “Adakah maintainer akan menggabungkan PR ini?”#

Enam aspek penilaian (daripada blog rasmi Cognition):

1. Ketepatan tingkah laku — adakah tampalan menyelesaikan tugasan?
2. Keselamatan regresi — adakah ia mengelakkan kerosakan pada kod sedia ada?
3. Kebersihan mekanikal — adakah ia lulus binaan serta pemeriksaan lint dan gaya?
4. Ketepatan ujian — adakah ujian yang ditulis oleh ejen itu sah (ujian yang lulus dengan apa-apa kod tidak dikira)?
5. Skop — adakah tampalan mengelakkan pengubahan fail yang tidak diminta?
6. Kualiti kod — adakah kod mengikut konvensyen projek dan mudah dibaca?

Untuk dikira sedia digabungkan, tampalan mesti lulus kesemua enam aspek. Gagal walau satu pun, tampalan tidak akan digabungkan.

Itulah perubahan perspektif yang utama. “Ketepatan kini menjadi syarat asas,” menurut Cognition. Dahulu, penanda aras bertanya, “Adakah kod lulus ujian?” Kini, mereka bertanya, “Adakah ketua teknikal sebenar akan menerima kod ini ke dalam projek?”

Cognition memperkenalkan tiga teknik pemarkahan baharu:

• Reverse-Classical: ujian yang ditulis oleh ejen mesti gagal pada versi kod yang rosak. Jika tidak, ujian itu palsu.
• Code Scope: pemeriksa automatik mengesahkan bahawa tampalan kekal dalam lingkungan fail dan bilangan baris yang dipersetujui untuk tugasan itu.
• Adaptive Classical Grading: alat LLM “mutagent” menyesuaikan ujian ketat kepada variasi penyelesaian yang sah.

Mengapa penanda aras lama tidak lagi berfungsi?#

Ejen AI sudah cemerlang dalam HumanEval menjelang 2024. SWE-bench Verified lebih kurang sama: pada Ogos 2025, OpenAI mengakui secara terbuka masalah pencemaran (model telah “melihat” set data semasa latihan). Penanda aras kehilangan keupayaan untuk membezakan model teratas.

Kajian utama yang menggugat ukuran lama itu diterbitkan pada Mac 2026.

Perkara yang mereka lakukan:

• Memilih 4 maintainer aktif daripada 3 repositori (scikit-learn, Sphinx, pytest).
• Meminta mereka menilai 296 PR janaan AI daripada SWE-bench Verified—semua PR ini lulus ujian automatik.
• Membandingkan keputusan maintainer dengan keputusan penilai automatik.

Dengan kata lain, penanda aras mengatakan “lulus”, manakala maintainer mengatakan “tidak akan digabungkan”—dan secara purata, hal ini berlaku dalam satu perempat kes. 3 sebab utama penolakan, daripada paling ringan kepada paling serius:

1. Kualiti kod — tidak sepadan dengan gaya repositori.
2. Merosakkan kod lain — merosakkan kod bersebelahan.
3. Kegagalan fungsi teras — tidak menyelesaikan tugasan sepenuhnya, walaupun ujian menunjukkan status hijau.

FrontierCode memformalkan masalah ini dengan tepat. Cognition mengambil idea ini dan mengembangkannya menjadi penanda aras penuh dengan lebih daripada 20 maintainer, berbanding 4.

Satu lagi paku pada keranda ialah kajian Disember 2025 tentang keselamatan tampalan yang dijana AI.

Dalam kajian itu, 61% penyelesaian SWE-Agent dengan Claude 4 Sonnet betul dari segi fungsi, tetapi hanya 10.5% daripadanya selamat.

Kod itu lulus ujian, namun setiap tampalan kedua memperkenalkan kelemahan keselamatan. Anda langsung tidak dapat melihat hal ini pada penanda aras SWE-bench—ia tidak mengukur keselamatan. FrontierCode sekurang-kurangnya cuba mengesannya melalui aspek “kebersihan mekanikal” dan “kualiti kod”.

Kedudukan model: Opus 4.8 pada 13.4%, GPT-5.5 pada 6.3%#

Perkara yang menonjol dalam jadual:

• Seorang pendahulu yang jelas. Opus 4.8 daripada Anthropic berada kira-kira dua kali lebih jauh di hadapan berbanding pesaing terdekatnya. Jurang yang sukar dilihat pada SWE-bench jelas kelihatan pada FrontierCode.
• Model terbuka masih belum mengejar. Kimi K2.6—model open-code terbaik—mendapat 3.8% pada Diamond. Itu 3–4 kali lebih rendah daripada Opus 4.8. Cognition tidak menerbitkan grid lengkap Kimi K2.6 untuk Main dan Extended, jadi perbandingan bagi set penuh masih belum tersedia.
• Cognition meletakkan modelnya sendiri dengan jujur di bahagian bawah jadual.

Subset Diamond sengaja dibiarkan “belum tepu”. Cognition membina margin keselamatan untuk tahun-tahun mendatang. Jika penanda aras terdahulu tepu dalam 12–18 bulan, FrontierCode direka dengan had atas yang lebih tinggi.

Apakah maksud “13% boleh digabungkan” untuk vibe coder yang menggunakan Claude Code?#

Pertama, pembingkaian semula yang penting: set Diamond FrontierCode sengaja dibuat sangat sukar. Untuk tugasan biasa dalam projek syarikat pemula yang baharu tanpa empat puluh modul bergantung, prestasi ejen AI jauh lebih baik. Opus 4.8 yang sama mendapat 51.8% tampalan boleh digabungkan pada Extended (150 tugasan, set penuh). Gambaran itu sama sekali berbeza.

Hasil 51.8% terpakai pada set Extended 150 tugasan penanda aras. Ia lebih tinggi daripada hasil Diamond, tetapi kedua-dua angka tidak menganggarkan kebolehgabungan tampalan setiap model pada tugasan anda sendiri. Ketiadaan skor Main atau Extended bagi model lain tidak membenarkan kita mengisi prestasi mereka.

Maksudnya untuk vibe coder yang menghantar kod ke produksi:

• Ujian hijau tidak lagi bermaksud “sedia digabungkan”. Ujian yang ditulis oleh AI sendiri mungkin tidak berguna—ia lulus dengan apa-apa kod. FrontierCode mengukur perkara ini secara langsung melalui Reverse-Classical: jika ujian tidak gagal pada versi kod yang rosak, ujian itu tidak dikira.
• Gaya dan konvensyen repositori penting. Jika projek mempunyai corak yang telah ditetapkan dan AI tidak mengikutinya, rakan kerjasama sebenar tidak akan menerima perubahan itu. Dalam projek solo tanpa peraturan, ini bukan isu besar. Dalam pasukan, inilah masalah nombor satu.
• Ujian tidak menyelesaikan isu keselamatan. Ingat angka di atas: hanya 10.5% tampalan selamat walaupun 61% betul. Perkara ini perlu disemak secara berasingan menggunakan alat yang mengesan token, fail .env dan kata laluan lalai.
• Melampaui tugasan ialah kesilapan lazim AI. Anda meminta AI membaiki fungsi kebenaran dan menerima tampalan yang turut menulis semula lapisan dalaman serta pengelogan. Ini salah satu daripada 6 aspek FrontierCode.

Apakah 6 kategori ralat yang dilakukan AI dalam tugasan sukar?#

Mari kita teliti setiap aspek dalam bahasa mudah:

1. Ketepatan tingkah laku — adakah tampalan menyelesaikan tugasan?

Aspek yang paling asas. AI sering menulis kod yang kelihatan seperti penyelesaian tetapi sebenarnya menyelesaikan masalah yang salah. Saya meminta AI “menambah resit baca pada mesej” lalu mendapat fungsi markAsRead, tetapi fungsi itu tidak disambungkan kepada komponen sembang itu sendiri. Ujian fungsi lulus. Tugasan perniagaan masih belum diselesaikan.

2. Keselamatan regresi — adakah ia mengelakkan kerosakan pada kod bersebelahan?

AI mengubah satu modul, lalu modul lain tidak lagi berfungsi. Kes paling lazim: ejen AI mengubah tandatangan fungsi dan terlupa bahawa fungsi itu dipanggil dari 17 tempat lain. Anda tidak dapat melihat perkara ini pada SWE-bench—mereka hanya menjalankan ujian untuk satu fail. Pada FrontierCode, mereka menjalankan keseluruhan suite ujian repositori.

3. Kebersihan mekanikal — adakah ia lulus binaan serta pemeriksaan lint dan gaya?

AI boleh menghasilkan kod yang dikompil secara setempat tetapi gagal dalam CI: import yang hilang, tab dan bukannya ruang, dua ruang di hujung baris atau kesilapan dalam eslint.config.js. Dalam projek aktif, gaya bukan kehendak peribadi; ia peraturan pasukan.

4. Ketepatan ujian — adakah ujian yang ditulis oleh AI sah?

Aspek yang paling rumit. AI menulis ujian yang lulus. Tetapi ujian itu lulus dengan apa-apa kod, termasuk kod yang rosak. Saya sudah melihat perkara ini berkali-kali: ujian menyemak “adakah skrip ranap?” tetapi bukan “adakah skrip memulangkan hasil yang betul?” Reverse-Classical FrontierCode mengesan keadaan ini dengan tepat.

5. Skop — adakah tampalan mengelakkan perubahan pada fail yang tidak berkaitan?

Saya meminta AI membaiki satu fungsi tetapi mendapat tampalan untuk 12 fail, termasuk fail yang tiada kaitan dengan tugasan. Itulah “inisiatif” AI yang merosakkan projek produksi dengan mengubah perkara yang tidak saya minta. Aspek ini menjadi penghalang mutlak dalam FrontierCode.

6. Kualiti kod — adakah kod mengikut konvensyen repositori?

AI menulis fungsinya sendiri “dari awal” dan bukannya menggunakan pembantu sedia ada dalam lib/. Atau AI menamakan pemboleh ubah dengan cara yang tidak sepadan dengan gaya projek. Atau AI meletakkan logik dalam lapisan seni bina yang salah. Dari sudut ujian, semuanya berfungsi. Dari sudut ketua teknikal, tampalan itu tidak akan digabungkan.

Cara menyemak kod AI sebelum menolaknya: 5 langkah#

1. Jalankan seluruh suite ujian, bukan hanya ujian yang berkaitan dengan perubahan

   AI sering mengubah kod di luar skop tugasan. Masalah itu akan muncul dalam ujian bersebelahan. Saya menjalankan seluruh suite ujian (dengan satu arahan npm test, tanpa laluan), bukan hanya ujian untuk fail tertentu. Untuk projek besar, mudah untuk menjalankannya secara selari menggunakan git worktree (lihat Git worktree dalam Claude Code).

2. Jalankan pemeriksaan lint, gaya dan jenis

   Tiga arahan mengikut turutan: eslint ., prettier --check ., tsc --noEmit. Ejen AI mungkin terlepas tab dan ruang tambahan di hujung baris. Jika projek mempunyai pemeriksaan yang ketat, jalankannya secara setempat sebelum keluaran.

3. Uji ujian itu sendiri

   Yang paling penting daripada 5 pemeriksaan. Saya membuat “kerosakan” kecil pada kod (menukar return true kepada return false). Ujian sepatutnya gagal. Jika ujian itu tidak gagal, AI menulisnya sekadar untuk nampak bagus, dan ia tidak berguna. Saya memadamkan ujian itu dan meminta AI menulisnya semula dengan syarat wajib: ujian mesti gagal pada versi yang rosak.

4. Semak fail yang diubah oleh AI

   Arahan git diff --stat menunjukkan fail yang berubah dan jumlah barisnya. Jika AI mengubah 12 fail sebagai tindak balas kepada “baiki borang hubungan”, AI telah melampaui skop tugasan. Saya membatalkan perubahan tambahan dengan satu arahan untuk fail tersebut.

5. Jalankan pemeriksaan keselamatan menggunakan skill sedia guna

   Ujian tidak mengesan suntikan SQL atau kata laluan yang ditulis terus dalam kod. Saya menggunakan skill keselamatan sedia guna untuk Claude Code (lihat 754 skill keselamatan sedia guna). Sekurang-kurangnya, cari sendiri perkataan “password”, “secret” dan “key” dalam projek, kemudian semak kelengkapan .env.example.

Kesemua 5 langkah merangkumi 5 daripada 6 aspek FrontierCode (1–5). Aspek keenam—kualiti kod—disemak secara automatik melalui lint serta semakan manusia.

Apakah yang benar-benar meningkatkan peluang kod boleh digabungkan?#

Ejen AI dalam projek yang tidak disediakan hanya melihat fail yang anda buka untuknya. Ia tidak mengetahui sejarah keputusan anda, konvensyen anda atau peta modul anda. Hal ini bukan masalah besar untuk perubahan mudah. Untuk perubahan sukar, ketiadaan konteks projek ialah risiko yang wajar ditangani. Angka 13.4% penanda aras tidak mengasingkan kualiti konteks sebagai puncanya.

Persediaan yang boleh membantu ejen memahami projek sebelum anda memeriksa tampalan sebenar:

1. Peraturan projek — supaya AI meniru penaakulan anda dan bukannya purata internet.

Ini ialah set penyelesaian sedia guna, tabiat dan peraturan yang telah anda pelajari dalam format yang dibaca oleh ejen AI bagi setiap permintaan. Apabila terdapat lebih daripada 30 peraturan, AI berhenti mereka “purata industri” dan mula membuat cadangan mengikut gaya anda. Perkara yang melampaui skop tugasan boleh ditangani dengan satu baris dalam peraturan: “jangan sentuh fail di luar fail yang dinamakan secara jelas dalam permintaan.”

2. Peta projek — folder yang menerangkan projek.

Di sinilah anda meletakkan produk, khalayak, ekonomi, metrik dan persediaan. Sebelum setiap permintaan, ejen AI membaca isi kandungan dan memahami bahagian perniagaan yang sedang dikerjakannya. Ini memberi konteks untuk memeriksa dua sebab penolakan yang disebut di atas: gaya dan kerosakan pada kod lain. Kedua-duanya masih perlu disahkan pada tampalan sebenar.

3. Context Engineering — mengurus perkara yang dilihat AI sebelum permintaan.

Ini bukan tentang “cara merumuskan prompt”, tetapi “perkara yang perlu diletakkan dalam tetingkap konteks SEBELUM prompt”. CLAUDE.md, prasyarat dan pautan khusus kepada fail. Ini memberi ejen batasan lebih jelas, tetapi perubahan sukar masih memerlukan pemeriksaan repositori dan semakan sebelum digabungkan.

Gunakan gabungan ini sebagai persediaan untuk pemeriksaan, bukan bukti bahawa lima aspek sudah lulus. Sahkan tingkah laku, regresi, ujian, skop dan kualiti kod pada tampalan sebenar sebelum menerimanya.

Satu lapisan tambahan ialah ejen penyemak:

• Cursor Bugbot — menjalankan semakan pada setiap PR. Menurut Cursor, alat itu memproses kira-kira 2 juta PR sebulan.
• Subejen bersarang dalam Claude Code v2.1.172 — seorang ejen menulis kod, ejen kedua menyemaknya dan ejen ketiga menjalankan ujian. Idea ini sama seperti FrontierCode: mengasingkan peranan “penulis” dan “ketua teknikal”.

Lihat juga: Keselamatan Vibe Coding, Cara Mengkonfigurasi Claude Code supaya Tidak Merosakkan Projek Anda pada Waktu Malam, dan konsep Context Engineering.

Untuk bahan tambahan tentang penggunaan alat, lihat dokumentasi Ailoot.