Cara Membaca Benchmark Coding AI dan Menghindari Memilih Pemenang di Atas Kertas

Singkatnya: angka “menyelesaikan 76 persen tugas” hampir tidak berarti apa-apa jika berdiri sendiri. Yang penting adalah kumpulan tugas mana yang menghasilkan angka itu, model dan pembungkus agen mana yang dihitung bersama, apakah tugasnya baru atau lama, dan berapa biayanya. Tanpa kondisi-kondisi ini, persentase itu cocok untuk spanduk iklan, tetapi tidak untuk memilih alat.

Berikutnya, saya akan menjelaskan dengan bahasa sederhana apa yang diukur oleh dua benchmark coding utama, di mana letak jebakan dalam tabel, dan cara memeriksa peringkat apa pun dalam satu menit sebelum mengandalkannya. Definisi benchmark historis dibahas di bawah. Tidak ada snapshot langsung papan peringkat berpasangan yang disajikan di sini; perbandingan skor atau biaya saat ini memerlukan tabel tertaut, tanggal, dan konfigurasinya sendiri.

Baca lebih lanjut tentang cara bekerja dengan model di dokumentasi Ailoot.

Apa sebenarnya yang ditunjukkan persentase benchmark?#

Cara kerja benchmark sederhana. Ada daftar tugas pemrograman yang sudah disiapkan. Alat diberi setiap tugas, mengirimkan kode, lalu sistem menjalankan tes otomatis untuk melihat apakah solusinya berfungsi. Bagian tugas yang lulus menjadi persentase yang ditampilkan di tabel.

Keunggulannya adalah evaluasinya objektif. Tes itu lulus atau gagal; tidak ada yang memberi nilai berdasarkan “perkiraan.” Dalam hal ini, benchmark lebih jujur daripada ulasan atau testimoni mana pun.

Kelemahannya persis sama. Kumpulan tugas terbatas dan sudah diketahui semua orang, termasuk mereka yang melatih model. Setiap pengukuran memiliki kondisinya sendiri. Dan tugas dalam kumpulan itu hampir pasti tidak sama dengan pekerjaan Anda. Hal ini memunculkan semua jebakan yang saya bahas di bawah. Persentase itu menggambarkan perilaku alat pada daftar tugas tertutup milik orang lain, dan tidak langsung berlaku untuk proyek Anda.

Apa yang diukur HumanEval, dan mengapa Anda tidak bisa lagi memilih alat berdasarkan itu?#

HumanEval dibuat di OpenAI dan dirilis pada 2021 bersama model Codex. Isinya 164 tugas kecil Python: model diberi deskripsi fungsi dalam kata-kata, menulis isi fungsinya, lalu serangkaian tes otomatis memeriksa apakah fungsi itu bekerja dengan benar.

Pada saat itu, benchmark ini menjadi pembeda yang baik. Dalam makalah mereka sendiri, para penulis menyebutkan angka ini: Codex pertama menyelesaikan 28,8 persen tugas dalam satu kali percobaan, sementara GPT-3 biasa tidak menyelesaikan satu pun.

Sejak itu, model berkembang, dan kini model-model yang kuat menyelesaikan hampir seluruh HumanEval. Ketika semua model mendapat skor mendekati 100 persen, tabel itu tak lagi membedakan apa pun: perbedaan antaralat jadi tidak terlihat. Ini disebut saturasi benchmark, dan HumanEval sudah lama berada dalam kondisi tersebut.

Kelemahan kedua lebih serius. Tugasnya sangat kecil: menulis satu fungsi berdasarkan deskripsi. Pekerjaan nyata Anda berbeda—melibatkan proyek besar dengan riwayat, di mana Anda perlu memahami kode orang lain, menemukan cacat, dan menghindari kerusakan pada kode di sekitarnya. Ada jurang antara “menulis fungsi dari awal” dan “memperbaiki bug di proyek aktif.” Jadi, skor HumanEval yang tinggi saat ini bukan lagi alasan untuk memilih alat; skor itu lebih mirip tanda bahwa “dasar-dasarnya sudah dikuasai.”

Apa yang diukur SWE-bench, dan mengapa benchmark ini lebih dekat dengan pekerjaan nyata?#

SWE-bench pada dasarnya berbeda, dan karena itu lebih menarik. Benchmark ini dibuat dari masalah dan pull request nyata di proyek GitHub populer. Menurut para penulisnya, benchmark ini memuat 2.294 tugas dari 12 repositori Python besar dan dirilis pada Oktober 2023.

Logika evaluasinya jujur. Mereka mengambil titik dalam proyek yang memiliki cacat nyata dan serangkaian tes yang saat itu gagal. Alat diberi deskripsi masalah dan mengedit kode. Lalu tes yang sama dijalankan: jika tes itu berubah menjadi lulus, berarti tugasnya benar-benar diselesaikan; tidak ada yang di sini mempercayai janji lisan.

Angka-angka awal menunjukkan betapa lebih sulitnya benchmark ini dibandingkan tugas mainan. Pendekatan baseline pertama hanya mendapat skor 1,96 persen pada SWE-bench, dan agen pertama mendapat skor 12,47 persen. Dengan kata lain, bahkan untuk mendekati pekerjaan coding nyata saja sudah sulit; persentasenya kemudian meningkat, tetapi awalnya nyaris nol.

Jadi, saat ini angka besar dalam peringkat agen coding AI paling sering berasal dari SWE-bench atau subset-nya yang diverifikasi manusia dan berisi 500 tugas, bernama SWE-bench Verified. Ini benchmark yang masuk akal. Namun, benchmark ini juga memiliki kondisi yang jika diabaikan membuat persentasenya menyesatkan, dan itulah yang akan saya bahas selanjutnya.

Bahkan benchmark paling jujur di dalam tabel belum menunjukkan hasil pada proyek Anda. Hasilnya bergantung pada cara Anda bekerja dengan alat tersebut, dan baris teratas dalam peringkat hanya menentukan sedikit. Untuk pekerjaan yang andal, yang penting adalah kombinasinya: klon AI, Second Brain, dan rekayasa konteks. Konteks yang bersih meningkatkan tingkat keberhasilan pribadi Anda jauh lebih nyata daripada memilih model dari sebuah tabel.

Mengapa model yang sama menunjukkan persentase berbeda?#

Di sinilah kesalahan paling umum saat membaca benchmark tersembunyi. Orang membaca tabel sebagai peringkat model: model ini dua persen lebih pintar daripada model itu. Namun, persentase dipengaruhi tiga hal, dan model hanya salah satunya.

Pertama, model itu sendiri. Kedua, pembungkus agen di sekelilingnya: program yang memungkinkan model menelusuri berkas, menjalankan perintah, membaca kesalahan, dan menulis ulang kode. Model yang sama dalam pembungkus cerdas dan pembungkus sederhana akan menunjukkan hasil berbeda karena pembungkus menentukan cara model bekerja dengan proyek. Ketiga, tingkat penalaran—yaitu seberapa dalam model memikirkan setiap langkah. Semakin lama model berpikir, biasanya semakin tinggi persentasenya dan semakin besar biayanya.

Perbandingan yang dapat direproduksi harus mempertahankan seluruh pengaturan. Gunakan ini sebagai templat pelaporan, bukan papan peringkat terukur:

Ini membantu melihat apa yang berubah dan apakah perbandingan benar-benar mengisolasi pengaturan penalaran. Contoh numerik sebelumnya yang tanpa tautan tidak diperlakukan sebagai hasil terukur.

Aturannya begini: peringkat yang baik selalu menyebutkan model, pembungkus, dan tingkat penalaran yang digunakan. Jika tabel hanya mencantumkan nama model dan persentase tanpa menyebutkan pembungkusnya, sulit untuk memercayainya: Anda tidak tahu apa yang sebenarnya diukur. Penjelasan lebih lanjut tentang komponen kombinasi “model plus pembungkus” ada dalam artikel tentang peringkat agen coding AI.

Hal ini juga menjelaskan mengapa alat dengan skor tertinggi kadang kesulitan saat Anda menggunakannya. Benchmark mengukur model di dalam pembungkus yang disempurnakan oleh orang lain, pada tugas milik orang lain. Pembungkus, proyek, dan konteks yang Anda berikan kepada model berbeda. Pada proyek Anda, hasilnya bergantung pada konteks; baris tabel berada di urutan kedua.

Mengapa tugas bisa “kedaluwarsa,” dan apa itu kebocoran data pelatihan?#

Inilah jebakan yang tidak terlihat pada angkanya sendiri, tetapi paling merusak maknanya. Model dilatih dengan teks dan kode dalam jumlah besar yang dikumpulkan dari internet. Dan hampir semua benchmark coding tersedia untuk umum: tugas, tes, dan solusi acuannya.

Mekanismenya sederhana. Jika suatu tugas dan solusi yang benar masuk ke data pelatihan, model mungkin telah menghafalnya. Saat dievaluasi, model sebenarnya bukan menyelesaikan tugas, melainkan mengambil jawaban yang sudah dikenalnya dari ingatan. Hasilnya tampak seperti solusi, tetapi sebenarnya hanya hafalan. Ini disebut kebocoran pelatihan atau kontaminasi data.

Semakin lama dan semakin populer kumpulan tugas, semakin tinggi risikonya. HumanEval sudah tersedia daring sejak 2021; benchmark ini sudah ditulis ulang, dianalisis, dan berkali-kali dimasukkan ke dalam banyak kumpulan data. Aneh jika mengharapkan model modern belum pernah “melihatnya.” Karena itu, kebaruan tugas menjadi indikator kualitas benchmark tersendiri. Kumpulan yang baik diperbarui secara berkala atau menyimpan sebagian tugas secara tertutup agar tidak bisa dipelajari sebelumnya.

Apa yang harus Anda lakukan saat membaca peringkat? Periksa tanggal tugas dan apakah kumpulannya diperbarui. Jika benchmark dibuat dari cacat baru dalam beberapa bulan terakhir, hasilnya lebih layak dipercaya. Jika kumpulannya berasal dari lima tahun lalu, persentase tinggi di dalamnya lebih banyak menunjukkan ingatan model yang baik daripada kemampuannya menyelesaikan tugas baru Anda. Efek persis ini ditunjukkan dengan contoh konkret dalam artikel tentang benchmark FrontierCode yang baru, yang tugas-tugasnya sengaja dibuat baru.

Mengapa selisih beberapa poin persentase sering kali tidak berarti apa-apa?#

Hal lain yang membuat posisi teratas dalam tabel menyesatkan adalah model tidak memberikan respons yang sama setiap kali. Untuk prompt yang sama, model bisa mengambil alur penalaran yang sedikit berbeda. Jadi, jika Anda menjalankan satu alat beberapa kali pada satu kumpulan tugas, persentasenya sedikit berubah dari satu percobaan ke percobaan lain, dan perubahan ini disebut variasi.

Kesimpulan praktisnya sederhana. Ketika dua baris dalam peringkat hanya berbeda satu atau dua persen, perbedaan itu bisa saja sekadar derau. Mengejar alat yang “dua persen lebih tinggi” tidak masuk akal: posisi mereka bisa saja bertukar pada percobaan berikutnya. Perbedaan layak dianggap signifikan jika terlihat jelas dan bertahan pada kumpulan tugas yang besar; selisih beberapa poin tidak memenuhi kriteria itu.

Hal terakhir, yang hampir selalu lebih penting daripada persentasenya sendiri, adalah harga. Hasil yang mirip bisa berbiaya sangat berbeda. Perbandingan biaya memerlukan kedua konfigurasi model beserta harness dan seluruh pengeluaran pada kumpulan tugas evaluasi, termasuk upaya gagal. Bagi dengan tugas yang dicoba untuk biaya per upaya, atau dengan tugas terselesaikan untuk biaya per tugas terselesaikan, dan beri label ukuran yang digunakan. Artikel ini tidak menyediakan pengukuran biaya berpasangan yang bersumber. Jadi, selalu baca satu baris peringkat bersama harganya, karena persentase saja tidak banyak artinya. Artikel tentang biaya satu tugas yang berhasil diselesaikan menjelaskan cara membandingkan alat secara adil berdasarkan biaya.

Bagaimana membaca tabel benchmark apa pun dalam satu menit?#

Mari saya rangkum semuanya menjadi daftar periksa singkat. Buka tabel peringkat apa pun dan ikuti tujuh poin ini secara berurutan.

1. Kumpulan tugas apa? HumanEval kini lemah; SWE-bench lebih dekat dengan pekerjaan nyata. Jika nama kumpulannya tidak disebutkan sama sekali, tak perlu lanjut membaca.
2. Apakah tugasnya baru atau lama? Kumpulan yang baru atau sebagian tertutup lebih andal daripada kumpulan lama yang tersedia untuk umum dan mungkin sudah dipelajari model.
3. Model mana yang diukur? Nama dan versi yang tepat, bukan “AI” yang samar atau nama keluarga model.
4. Pembungkus agen yang mana? Persentase itu berlaku untuk kombinasi “model plus pembungkus.” Jika pembungkusnya tidak disebutkan, Anda tidak tahu apa yang diukur.
5. Tingkat penalaran yang mana? Satu model pada tingkat berbeda menghasilkan persentase dan biaya berbeda.
6. Berapa biaya per tugas? Hasil yang mirip bisa berbeda berkali-kali lipat harganya. Baca persentase bersama biayanya.
7. Seberapa besar variasinya? Selisih satu atau dua poin antarbari sering kali hanya derau.

Ada pertanyaan kedelapan, dan ini tentang Anda: Apakah tugas dalam kumpulan tersebut menyerupai pekerjaan Anda? Benchmark tugas Python hanya sedikit berarti bagi seseorang yang membuat situs web atau bot dengan rangkaian alat berbeda. Bahkan angka yang jujur untuk tugas milik orang lain tidak menjamin hasil pada proyek Anda. Hanya ada satu cara yang andal untuk memeriksanya: jalankan beberapa tugas yang biasa Anda kerjakan dengan alat tersebut, lalu lihat sendiri hasilnya. Artikel tentang cara memeriksa kode yang dihasilkan AI menjelaskan cara mengetahui apakah kode berfungsi jika Anda sendiri tidak memprogram.

Jadi, apa yang sebaiknya Anda lihat pada akhirnya?#

Pokok utama seluruh artikel ini singkat: posisi dalam peringkat adalah alasan untuk melihat alat lebih dekat, tetapi Anda tetap harus menggali lebih lanjut sendiri. Angka besar hanya mengatakan bahwa alat bekerja cukup baik pada daftar tugas tertutup tertentu dalam kondisi tertentu. Persentase itu tidak menunjukkan apakah kondisi tersebut sesuai dengan kondisi Anda.

Jadi, baca keterangan di bawah baris peringkat: tugas apa yang digunakan, seberapa baru tugas itu, kombinasi model dan pembungkus yang mana, tingkat penalaran yang mana, berapa biayanya, dan apakah perbedaannya hanya derau. Tabel yang tidak menjawab pertanyaan-pertanyaan itu cocoknya dipasang di spanduk iklan. Ulasan alat apa yang digunakan untuk coding pada 2026 menjelaskan alat mana yang sebaiknya dipilih untuk tugas Anda.

Dan inilah yang lebih penting daripada benchmark mana pun. Bahkan alat terbaik dalam peringkat pun kesulitan jika konteksnya berantakan dan bekerja dengan baik jika konteksnya bersih. Tingkat keberhasilan pribadi Anda berasal dari apa yang Anda berikan kepada model dan cara Anda merumuskan tugas; baris tabel berada di urutan kedua. Peringkat membantu menyingkirkan pilihan yang jelas lemah, tetapi Andalah yang menghasilkan hasilnya.

Posisi dalam peringkat menyingkirkan pilihan yang lemah, tetapi hasil pada proyek Anda bergantung pada metodenya: klon AI plus Second Brain plus rekayasa konteks.

Untuk langkah selanjutnya—Ailoot.