Kedudukan ejen pengekodan AI pada 2026: siapa yang benar-benar menyelesaikan tugasan

Setiap minggu, seseorang menyiarkan carta: bar, peratusan dan tajuk tebal di bahagian atas yang menyatakan “AI terbaik untuk pengekodan 2026.” Dan tepat di bawahnya, bermulalah pertengkaran dengan seratus komen. Seseorang melaungkan bahawa alatnya menyelesaikan 80 peratus tugasan, seorang lagi menunjukkan tangkap layar yang memperlihatkan alat yang sama mendapat markah 74. Kedua-duanya betul. Mereka cuma melihat ukuran yang berbeza dan mengukur perkara yang berlainan.

Penulis asal pernah melalui perkara ini ketika memilih alat untuk projeknya. Anda mengejar tempat teratas dalam kedudukan, kemudian seminggu selepas itu sedar bahawa angka tersebut datang daripada ujian makmal, sedangkan tugasan sebenar anda berbeza. Jadi, perkara berikut bukan tentang siapa yang menduduki tempat pertama, tetapi tentang cara setiap kedudukan ejen pengekodan AI berfungsi: apa yang diukur, sebab rangkaian neural yang sama menghasilkan keputusan berbeza, kos sebenarnya, dan cara membaca mana-mana jadual dalam masa lima minit lalu memilih alat untuk tugasan anda.

Panduan lanjut tersedia dalam dokumentasi Ailoot.

Mengapa kedudukan ejen AI bukan tentang jenama?#

Perkara pertama yang perlu anda buang daripada fikiran ialah tabiat menyokong sesuatu jenama. “Anthropic lawan OpenAI,” “Claude lawan Gemini”—tajuk begitu memang mudah menarik perhatian, tetapi hampir tiada kaitan dengan pemilihan alat. Apa yang anda jalankan pada komputer ialah ejen. Ejen pula terdiri daripada sekurang-kurangnya dua lapisan, dan kedua-duanya mempengaruhi hasil.

Bayangkan seorang tukang masak dan sebuah dapur. Model ialah tukang masak: dia tahu memasak, serta memiliki bakat dan pengalaman. Ejen ialah dapur dan semua kelengkapannya: dapur memasak, pisau, aliran kerja dan pembantu yang menghulurkan bahan. Letakkan tukang masak yang hebat di dapur yang rosak, makan malamnya akan biasa-biasa sahaja. Letakkan tukang masak sederhana di dapur yang dilengkapi sempurna, dia akan memasak dengan konsisten dan pantas. Dalam kedudukan ejen AI, anda memilih keseluruhan dapur, termasuk tukang masaknya.

Daripada situ, terbit satu peraturan mudah yang akan memudahkan anda selepas ini. Apabila anda melihat “alat X menyelesaikan 80 peratus tugasan,” tanyakan dahulu: model apa yang digunakan, ejen mana yang mengawalnya, dan ujian apa yang mengukurnya? Jika satu sahaja daripada soalan ini tidak terjawab, anda sedang melihat carta yang dibuat untuk mencetuskan pertengkaran. Terlalu awal untuk menggelarnya kedudukan.

Kandungan setiap ejen AI: model, harness dan konfigurasi#

Mari kita teliti ketiga-tiga lapisan mengikut urutan; kita tidak boleh pergi lebih jauh tanpa memahaminya.

Lapisan pertama ialah model. Inilah rangkaian neural itu sendiri: Claude Opus dan Sonnet daripada Anthropic, GPT-5 daripada OpenAI, serta Gemini daripada Google. Model ialah “otak” yang mencari penyelesaian dan menulis kod. Namun, model sahaja tidak boleh menjalankan apa-apa atau melihat fail. Ia hanya boleh menghasilkan teks sebagai tindak balas kepada teks.

Lapisan kedua ialah harness, atau ejen. Ini ialah program yang dibina mengelilingi model. Ia memberikan rangkaian neural tangan: membuka fail projek, menjalankan arahan dalam terminal, menunjukkan perkara yang rosak dan memintanya membetulkan masalah itu. Claude Code, Codex CLI OpenAI, Cursor, Cline dan Aider semuanya ialah harness. Jurutera menggunakan istilah khusus “harness” untuk lapisan kedua ini. Maksudnya memang begitu: harness yang membolehkan model melakukan kerja sebenar.

Lapisan ketiga ialah konfigurasi. Ini ialah kawalan dalam harness: sejauh mana model dibenarkan “berfikir” sebelum menjawab, berapa banyak percubaan yang diberi untuk sesuatu tugasan dan alat apa yang disediakan. Gabungan yang sama memperoleh markah berbeza dengan konfigurasi berlainan.

Di sinilah punca segala kekeliruan tentang kedudukan. Orang ramai berdebat tentang lapisan pertama (“model mana lebih bijak”), sedangkan keputusan dalam jadual bergantung pada ketiga-tiganya serentak. Penjelasan terperinci tentang cara lapisan ini bergabung menjadi sistem yang berfungsi terdapat dalam apa itu ejen AI dalam istilah mudah.

Membaca kedudukan satu perkara; membina gabungan model, ejen dan konfigurasi anda sendiri yang berfungsi ialah perkara lain. Kejuruteraan konteks membantu anda melakukannya: mengurus perkara yang dilihat AI sebelum prompt diberikan.

Apakah yang sebenarnya diukur oleh SWE-bench, kedudukan utama untuk pengekodan?#

Untuk membaca mana-mana kedudukan pengekodan, anda perlu memahami ukuran utama yang sering dirujuk orang. Ukuran itu ialah SWE-bench. Ia dicipta oleh penyelidik akademik dan dibentangkan di persidangan akademik yang berprestij. Ini bukan carta buatan sendiri daripada blog.

Ujiannya mudah dan adil. Mereka mengambil projek sebenar yang mempunyai pepijat sebenar yang pernah dibaiki oleh pengatur cara manusia. Ejen menerima projek itu dan penerangan masalah dengan kata-katanya sendiri. Ejen perlu memahami kod orang lain, mencari bahagian yang betul dan menghantar tampalan. Kemudian, sistem menjalankan ujian sebenar projek tersebut. Jika ujian lulus, tugasan dikira selesai. Jika tidak, tugasan tidak dikira selesai. Tiada “saya rasa ia sudah selesai”: hanya tanda semak hijau daripada ujian automatik.

Daripada keseluruhan set 2,294 tugasan, keputusan yang paling kerap dipaparkan ialah keputusan subset yang disahkan dengan teliti, dikenali sebagai SWE-bench Verified. Set ini mengandungi 500 tugasan yang disemak secara manual bagi memastikan tugasan itu tidak cacat atau sememangnya mustahil diselesaikan. Versi ini disusun bersama OpenAI pada Ogos 2024 dan inilah versi yang peratusannya anda lihat dalam hampir setiap kedudukan. Apabila anda melihat “X peratus pada SWE-bench Verified,” maksudnya ialah bahagian daripada 500 tugasan tersebut.

Mengapa AI yang sama memperoleh keputusan berbeza dalam ejen berlainan?#

Berikut fakta yang serta-merta menyelesaikan separuh daripada pertengkaran dalam komen. Model yang sama menghasilkan peratusan berbeza dalam harness yang berlainan, dan jurangnya ketara.

Anda boleh melihat perkara ini dalam data awam. Satu penanda aras yang mengukur kerja ejen dalam terminal mempunyai jadual yang adil: terdapat dua lajur berasingan untuk model dan ejen. Jadual itu turut menunjukkan kos dan penggunaan. Pengarangnya memang menyusunnya begitu untuk menunjukkan bahawa hasilnya sentiasa berupa pasangan: “model bersama ejen.” Rangkaian neural sahaja tidak cukup untuk menghasilkan skor.

Sebab perbezaan itu jelas jika kita kembali kepada tiga lapisan tadi. Satu ejen memberikan model sepuluh percubaan bagi setiap tugasan, satu lagi memberikannya tiga. Satu ejen menunjukkan keseluruhan teks ralat, satu lagi memendekkannya. Satu membenarkan model menjalankan ujian dan terus membuat pembetulan sehingga berjaya, satu lagi berhenti selepas tampalan pertama. Rangkaian neuralnya sama, tetapi keadaan kerjanya berbeza, maka peratusannya juga berbeza.

Kesimpulan praktikalnya mudah. Jika anda melihat “Claude menyelesaikan 77 peratus,” itu bermaksud Claude dalam harness tertentu dengan konfigurasi tertentu. Letakkan model yang sama dalam ejen lain dan anda akan mendapat nombor berbeza. Jadi, “model itu bijak” dan “gabungan itu menyelesaikan tugasan” ialah kenyataan tentang dua perkara yang berlainan.

Berapakah kos untuk menyelesaikan satu tugasan?#

Sekarang tentang wang, kerana di sinilah kebanyakan pertengkaran bermula. Orang ramai membandingkan harga langganan: ejen ini berharga 20 dolar sebulan, yang itu 200. Kemudian mereka membuat kesimpulan, “Yang pertama lebih murah.” Kesimpulan itu salah kerana harga langganan tidak mencerminkan hasil.

Harga langganan tidak banyak membantu dalam hal ini. Anda perlu mengira kos satu tugasan yang berjaya diselesaikan oleh ejen. Anda membayar token—cebisan teks yang ditukar antara anda dengan model. Semakin banyak model membaca dan menulis, semakin banyak token yang digunakan dan semakin tinggi bilnya. Syarikat menerbitkan harga token secara terbuka. Contohnya, inilah yang dinyatakan oleh Anthropic tentang model Sonnet mereka:

Kemudian datang pengiraan yang menunjukkan mengapa tanda harga murah boleh mengelirukan. Ambil dua model. Model pertama lebih mahal bagi setiap token, tetapi menyelesaikan tugasan pada percubaan pertama. Model kedua lebih murah tetapi mencuba sepuluh kali, dan setiap kali membaca semula keseluruhan projek. Akhirnya, model yang tanda harganya lebih murah menggunakan lebih banyak token dan menghasilkan bil yang lebih besar daripada model mahal itu. Saya menerangkan secara terperinci perkara yang membentuk kos bekerja dengan AI dalam kos ejen AI untuk perniagaan dan, secara berasingan, cara mengira harga alat vibe coding.

Kedudukan yang baik memahami perkara ini dan menunjukkan kos bersama peratusan: jumlah wang yang dibelanjakan untuk semua tugasan. Beri perhatian kepada perkara itu. Ejen yang menyelesaikan 75 peratus tugasan pada kos satu dolar setiap tugasan biasanya memberikan nilai yang lebih baik kepada anda berbanding ejen yang mencapai 78 peratus pada kos tiga dolar setiap tugasan.

Mengapa kelajuan juga menjadi sebahagian daripada kedudukan?#

Perkara ketiga yang biasanya tenggelam di sebalik peratusan ialah masa. Masa sama penting dengan kos jika anda bekerja dengan ejen setiap hari.

Inilah muslihatnya. Ketepatan dan kelajuan saling bertentangan. Untuk menyelesaikan lebih banyak tugasan, anda memberikan ejen lebih banyak masa untuk “berfikir” dan lebih banyak percubaan: ejen mencuba pilihan yang berlainan, menjalankan ujian dan menyemak semula kerjanya. Peratusan meningkat, begitu juga masa tindak balas. Untuk pembaikan sekali sahaja, perbezaan antara satu minit dengan sepuluh minit hampir tidak terasa. Tetapi jika anda meluangkan sepanjang petang bersama ejen, memberikan satu tugasan demi satu tugasan, minit-minit itu terkumpul menjadi berjam-jam menunggu di hadapan skrin.

Sebab itulah kelajuan mempunyai dua sisi dalam sesuatu kedudukan. Tempat teratas dari segi ketepatan sering menjadi yang paling perlahan dan paling mahal pada masa yang sama—tetapan ejen itu dimaksimumkan demi mendapatkan angka yang cantik. Namun, untuk kerja harian, anda mungkin memerlukan gabungan yang sedikit lebih rendah dalam jadual, tetapi tiga kali lebih pantas dan murah. Perkara yang lebih penting bergantung pada tugasan anda, dan kedudukan itu tidak boleh membuat pilihan tersebut bagi pihak anda.

Mengapa perbezaan beberapa mata peratusan sering sekadar hingar?#

Satu lagi perangkap dalam kedudukan ialah mempercayai tempat pertama benar-benar lebih baik daripada tempat ketiga. Selalunya perbezaannya dua atau tiga mata peratusan—10 hingga 15 tugasan daripada 500—dan tafsirannya bergantung pada sampel serta variasi antara pelaksanaan. Jika ujian yang sama dijalankan semula, peneraju mungkin bertukar tempat kerana model tidak memberikan jawapan yang serupa setiap kali.

Ukuran jujur menunjukkan ketidakpastian selain skor titik. “Misai” mungkin mewakili selang keyakinan 95 peratus; semak takrif penanda aras. Pertindihan tidak membuktikan dua ejen setara, dan tidak menentukan dengan sendirinya sama ada perbezaan signifikan secara statistik. Itu memerlukan perbandingan perbezaan yang sesuai, saiz sampel dan variasi, sebaik-baiknya mengekalkan pasangan apabila kedua-dua ejen mencuba tugasan sama.

Jangan gunakan ambang tiga mata peratusan sejagat untuk mengisytiharkan seri. Jurang kecil boleh bermakna atau tidak muktamad bergantung pada sampel, pelaksanaan berulang dan kaedah perbandingan. Lihat ketidakpastian bersama kos, kelajuan dan ketersediaan, kemudian uji gabungan teratas pada tugasan sendiri.

Siapa yang mendahului dalam penanda aras berbeza pada masa penulisan?#

Sekarang kita lihat angka itu sendiri—dengan satu peringatan penting. Mana-mana peratusan khusus tidak kekal lama. Versi baharu model dikeluarkan atau ejen dikemas kini, lalu seminggu kemudian jadualnya berubah. Jadi, jangan hafal angka; ingat anggaran umumnya dan pelajari cara menyemaknya sendiri.

Menurut kenyataan rasmi syarikat sendiri, beginilah gambaran bagi 500 tugasan SWE-bench yang disahkan. OpenAI menulis perkara berikut tentang model GPT-5 mereka:

Anthropic melaporkan angka yang serupa untuk modelnya. Bagi Claude Opus 4.1, syarikat itu melaporkan 74.5 peratus pada SWE-bench Verified yang sama. Bagi Claude Sonnet 4.5 yang lebih baharu, syarikat itu melaporkan purata 77.2 peratus daripada sepuluh larian, dan sehingga 82 peratus jika model diberi beberapa percubaan lalu percubaan terbaik dipilih.

Nampak apa yang berlaku? Gabungan teratas daripada syarikat yang berlainan berada dalam julat yang sempit: kira-kira 74–77 peratus. Jurang antara mereka ialah beberapa mata peratusan yang sama dan selalunya masih dalam margin ralat. Jadi, “siapa yang menduduki tempat pertama” bergantung pada minggu penanda aras itu dijalankan dan konfigurasinya. Perkara yang lebih penting ialah seluruh kumpulan teratas boleh melakukan lebih kurang perkara yang sama; pilih daripada kumpulan itu berdasarkan kos, kelajuan dan sama ada alat tersebut tersedia untuk anda.

Ada satu lagi butiran yang disebut syarikat dalam tulisan kecil, tetapi penting. Keputusan GPT-5 tidak dikira berdasarkan kesemua 500 tugasan:

Ini bermakna 74.9 peratus ialah bahagian daripada 477 tugasan, bukannya kesemua 500. Butiran kecil? Tidak. Inilah sebabnya dua kedudukan yang jujur boleh memberikan angka yang berlainan untuk model yang sama. Bahagian seterusnya menerangkan perkara yang perlu dicari dalam nota kaki ini.

Cara membaca mana-mana kedudukan dalam masa lima minit: senarai semak#

Berikut urutan langkah yang ringkas. Buka mana-mana kedudukan ejen AI dan teliti enam soalan ini dari atas ke bawah.

1. Penanda aras apa yang digunakan? SWE-bench Verified atau yang lain. Jika nama penanda aras tidak disebut langsung, tutup halaman itu; ia hanyalah carta yang dibuat untuk mencetuskan pertengkaran.
2. Gabungan yang mana? “Claude” sahaja tidak memadai; anda perlukan “versi Claude ini dalam harness ini.” Tanpa kedua-dua bahagian itu, peratusan tersebut tidak mempunyai konteks.
3. Berapa banyak tugasan yang dikira? Kesemua 500 atau hanya subset, seperti contoh GPT-5 dengan 477 tugasan? Set yang lebih kecil menaikkan angka.
4. Berapa banyak percubaan dibenarkan? Satu percubaan lebih adil daripada “sepuluh percubaan, kemudian kami ambil yang terbaik.” Cara kedua kelihatan lebih baik, tetapi tiada siapa bekerja begitu dalam kehidupan sebenar.
5. Berapa kosnya? Adakah terdapat lajur kos di sebelah peratusan? Jika tiada, separuh daripada gambaran itu tersembunyi.
6. Adakah julat keputusan ditunjukkan? Apakah maksud “misai” ketidakpastian, berapa banyak tugasan dan pelaksanaan menghasilkannya, serta adakah perbandingan perbezaan sesuai dilaporkan? Pertindihan mahupun jurang tetap tiga mata tidak membuktikan seri.

Ikuti enam perkara ini dan setiap tajuk yang lantang sama ada akan bertahan atau runtuh dalam masa lima minit. Anda juga perlu ingat bahawa lulus ujian tidak menjamin hasil yang sama dalam projek anda: saya menerangkan sebabnya dalam mengapa ejen AI berkata “selesai” sedangkan kerja belum selesai.

Dari manakah datangnya maklumat salah tentang kedudukan: tugasan lama dalam latihan model?#

Ada satu lagi sebab untuk tidak mengagungkan peratusan, dan pencipta penanda aras sendiri bercakap secara terbuka tentangnya. Tugasan SWE-bench datang daripada projek terbuka yang sudah bertahun-tahun berada dalam talian. Rangkaian neural pula dilatih menggunakan Internet. Ini bermakna model mungkin pernah menemui projek yang sama dan pembaikan siapnya ketika menjalani latihan.

Apakah maksudnya dalam amalan? Model itu tidak menyelesaikan sendiri beberapa tugasan yang “diselesaikannya”; model itu mengingati jawapan yang sudah tersedia. Ia pernah melihat jawapan itu semasa latihan lalu sekadar menghasilkannya semula. Peratusan itu menunjukkan ingatan. Ia tidak mengatakan apa-apa tentang keupayaan memahami kod baharu. OpenAI mengakui secara terbuka risiko ini untuk SWE-bench.

Kesimpulannya untuk pembaca: semakin baharu tugasan dan semakin banyak tugasan tertutup yang pasti belum pernah dilihat model, semakin adil ukurannya. Itulah sebabnya penanda aras baharu dengan ujian tersembunyi lebih wajar dipercayai daripada set terbuka lama yang sudah digunakan oleh semua orang. Apabila memilih antara dua kedudukan, utamakan yang menggunakan tugasan baharu dan mempunyai beberapa tugasan yang disembunyikan daripada model.

Ejen AI yang manakah patut anda pilih untuk tugasan anda?#

Mari kita himpunkan semuanya menjadi pilihan praktikal. Tiada pemenang sejagat, jadi lihat tugasan anda sendiri.

Jika projek itu kompleks, mempunyai pangkalan kod yang besar dan mengambil masa yang lama, pilih model berkuasa dalam harness matang. Antara gabungan yang hampir dengan bahagian teratas kedudukan ialah Claude Code daripada Anthropic dengan model Opus dan Sonnet, serta Codex daripada OpenAI dengan model keluarga GPT-5. Ini ejen sedia guna yang semuanya telah dikonfigurasi dan mampu menangani tugasan sukar secara konsisten. Kos tokennya lebih tinggi, tetapi usaha untuk menyediakan alat itu lebih rendah.

Jika tugasan mudah—membetulkan teks, membina halaman kecil atau menulis skrip—anda tidak perlu membayar lebih untuk model teratas. Model yang lebih ringkas dan murah boleh mengendalikannya tanpa perbezaan pada hasil, dan bilnya berkali-kali lebih rendah.

Jika anda memerlukan sesuatu yang percuma dan berjalan secara setempat, lihat ejen terbuka seperti Cline, Aider dan OpenHands. Ejen ini tidak mempunyai model sendiri; anda menyambungkan model menggunakan kunci anda sendiri. Ejen ini fleksibel, tetapi anda perlu mengkonfigurasikannya sendiri. Cursor ialah editor berasingan dengan ejen terbina dalam; ia boleh menggunakan model daripada syarikat yang berlainan dan anda memilih model untuk tugasan tersebut. Saya membincangkan tugasan yang benar-benar patut diserahkan oleh perniagaan kepada ejen dalam tugasan perniagaan yang benar-benar boleh diserahkan kepada ejen AI.

Soalan lazim#

Apabila anda bersedia, kenali Ailoot.