jev-latest

Jev adalah model unggulan TypeSafe dan model pertama dalam kelas baru System One. Model tidak menulis teks, tetapi mengambil keputusan dengan cepat yang dapat langsung digunakan program: Anda memberikan keadaan (state) — teks atau JSON — dan kumpulan pertanyaan, lalu menerima nilai bertipe dengan probabilitas yang terkalibrasi.

Model bahasa menulis kata untuk manusia, sedangkan menurut TypeSafe, Jev lebih dekat dengan kode: jawaban langsung dalam bentuk yang diperlukan kode, kecepatan tinggi, dan tidak ada nilai di luar opsi yang ditentukan. Model dirancang untuk memberikan jawaban konsisten pada permintaan berulang.

Perbedaan System One dengan model bahasa

• Tidak menghasilkan konten. Jev tidak menulis jawaban kepada pengguna, kode, atau penjelasan alur penalaran. Jawaban yang mungkin ditentukan oleh Anda melalui salah satu dari tiga tipe pertanyaan.
• Dilatih untuk keputusan terkalibrasi. TypeSafe melatih model melalui RLCD (Reinforcement Learning for Calibrated Decisions): probabilitas disesuaikan dengan hasil nyata dan mencerminkan ketidakpastian. Di antara banyak jawaban dengan probabilitas 0,8, sekitar 80% seharusnya benar. Kalibrasi merupakan sifat sampel besar, bukan jaminan kebenaran satu jawaban.
• Tujuan pelatihan berbeda. Model percakapan dilatih untuk disukai manusia (RLHF), dan menurut pengamatan TypeSafe, ini mendorong sikap menyenangkan pengguna serta kesalahan yang terdengar meyakinkan. Salah satu penulis RLHF, Diogo Almeida, adalah salah satu pendiri TypeSafe.

Namanya merujuk pada «Sistem 1» dalam buku Daniel Kahneman «Berpikir Lambat… Memutuskan Cepat»: penilaian intuitif cepat dibandingkan pemikiran lambat dan terencana «Sistem 2». Jev dibuat untuk penilaian sempit yang cepat.

Tiga tipe pertanyaan

Pertanyaan adalah satu penilaian tentang keadaan, sedangkan jawaban adalah nilai yang dibandingkan kode dengan ambang, diurutkan, atau diteruskan.

1. Choice — pemilihan opsi. Departemen untuk permintaan, kategori produk, atau bahasa potongan kode. Opsi berupa kamus «opsi → deskripsi», hingga 255 entri. Jawaban memuat choice yang dipilih, probabilities untuk semua opsi (berjumlah 1), dan keyakinan confidence. Jika daftar mungkin tidak mencakup semua kasus, tambahkan «lainnya» atau «tidak ada yang disebutkan».
2. Score — penilaian skala. Posisi pada skala berurutan yang Anda jelaskan: tingkat keparahan kesalahan, kekesalan pelanggan, atau tingkat keterampilan. Terdapat 2 hingga 10 tingkat, dari terendah hingga tertinggi; model menilai setiap tingkat secara terpisah tanpa melihat nomor atau tingkat di sebelahnya. Jawaban memuat score (jumlah nomor tingkat dikalikan probabilitasnya, sehingga nilai dapat berada di antara tingkat), legend dengan deskripsi tingkat, probabilities, dan confidence.
3. Noul — ya atau tidak. Apakah suatu pernyataan benar. Jawaban noul adalah probabilitas «ya» dari 0 hingga 1: mendekati 1 berarti «ya» yang meyakinkan, mendekati 0 berarti «tidak» yang meyakinkan, dan mendekati 0,5 berarti model ragu. Tidak ada confidence terpisah: satu angka menjelaskan jawaban sepenuhnya. criteria opsional memperjelas apa yang dianggap «ya» dan «tidak».

Cara memilih: opsi yang diketahui tanpa urutan menggunakan choice; tingkatan spektrum menggunakan score; «ya/tidak» murni yang probabilitasnya sendiri penting menggunakan noul. Noul 0,5 berarti peluang «ya» dan «tidak» sama, bukan «tingkat menengah»: derajat diukur melalui score. Dari dua tipe yang sesuai, pilih yang langsung digunakan kode untuk bertindak: choice untuk cabang, score untuk ambang, dan noul untuk if.

Tipe dapat digabungkan dalam satu permintaan. Jawaban selalu dibatasi oleh opsi Anda dan tidak bergantung pada pertanyaan lain: pertanyaan dapat ditambahkan atau dihapus tanpa mengubah jawaban lainnya.

Keadaan

Keadaan adalah hal yang dinilai model: pesan pelanggan, bagian dokumen, entri basis data, atau keadaan aplikasi Anda.

• String — ketika terdapat satu teks: pesan, artikel, atau cuplikan.
• Objek — bidang bernama, entri terkait, atau keadaan aplikasi. TypeSafe menyarankan objek untuk sebagian besar permintaan: setiap bagian memiliki nama yang jelas.
• Array — urutan pesan atau entri.

Siapkan seperti materi untuk para ahli: sertakan percakapan, pesanan, dan aturan pengembalian bersama jika keputusan memerlukan perbandingannya. Tempatkan isi dalam keadaan, sedangkan penilaian dalam pertanyaan. Jika pertanyaan berkaitan dengan satu bagian keadaan, sebutkan jalurnya menggunakan tanda kutip balik, misalnya ticket.messages[0].text.

Cara mengajukan pertanyaan

• Satu penilaian cepat per pertanyaan. Pertanyaan yang baik dapat dijawab dalam satu detik oleh orang yang memahami konteksnya: «Apakah pesan ini menunjukkan urgensi?». «Analisis pesan dan putuskan tindakan» sudah merupakan penalaran lambat dan perlu dibagi menjadi pertanyaan sederhana.
• Seluruh pertanyaan berada dalam instructions. Kunci pertanyaan, misalnya refund_requested, hanya diperlukan kode Anda dan tidak dikirim kepada model.
• Semua pertanyaan tentang satu keadaan dalam satu permintaan. Model menilainya secara paralel: menurut TypeSafe, pertanyaan tambahan hampir tidak meningkatkan waktu jawaban dan hanya dikenai biaya tokennya sendiri. Pertanyaan «untuk berjaga-jaga» hampir tidak menambah biaya — kode menentukan sendiri jawaban yang diperlukan.
• Penilaian kompleks dibagi menjadi beberapa bagian. Alih-alih «nilai proposal startup», tanyakan ukuran pasar, kelayakan teknis, dan perbedaan dari pesaing secara terpisah, lalu hitung hasil akhir dengan bobot dalam kode. Jika prioritas berubah, ubah bobot, bukan tulis ulang pertanyaan.
• Pertanyaan dependen melalui permintaan kedua. Jawaban dalam satu permintaan tidak menjadi konteks satu sama lain. Permintaan kedua hanya diperlukan jika tidak dapat disusun tanpa jawaban pertama: data perlu dimuat atau opsi pertanyaan berikutnya dipilih.
• Pertanyaan panjang sebagai objek. instructions dan criteria biasanya berupa string, tetapi dapat berupa objek atau array: pertanyaan dalam satu bidang dan data dalam bidang lainnya. Ini memudahkan pencocokan CV dengan entri basis data melalui satu pertanyaan.

Keyakinan

Pada choice dan score, confidence dari 0 hingga 1 menunjukkan seberapa besar probabilitas terkonsentrasi pada satu jawaban: 1 berarti seluruhnya pada satu opsi, sedangkan 0 berarti terbagi rata pada semua opsi. Pada score, tingkat yang berdekatan mengurangi keyakinan lebih sedikit daripada tingkat yang jauh. Pada noul, keyakinan adalah nilainya sendiri: semakin jauh dari 0,5, semakin tegas jawabannya.

TypeSafe menyarankan tiga rentang:

1. Keyakinan tinggi — bertindak otomatis.
2. Menengah — bertindak hati-hati, misalnya meminta konfirmasi pengguna.
3. Rendah — serahkan kasus kepada manusia, perjelas permintaan, atau gunakan jalur cadangan, misalnya model penalaran yang lebih kuat.

Semakin mahal kesalahan, semakin ketat ambangnya: tindakan yang tidak dapat dibatalkan memerlukan ambang lebih tinggi daripada pembacaan. Jawaban menunjukkan apa yang dipilih, sedangkan keyakinan menunjukkan apakah sebaiknya bertindak. Sesuaikan ambang menggunakan data sendiri dengan membandingkan keyakinan dan akurasi.

Membangun sistem di sekitar Jev

Jev ditujukan bukan untuk agen yang memilih sendiri langkah berikutnya dan dapat menyimpang pada setiap siklus, melainkan program yang prosesnya dikendalikan kode, sementara model menjawab pertanyaan makna yang sempit. Delapan langkah perancangan menurut TypeSafe:

1. Lakukan semua hal yang dapat dilakukan melalui kode dengan kode — andal dan murah.
2. Sertakan dalam keadaan hanya hal yang diperlukan pertanyaan saat ini; fakta baru berasal dari basis pengetahuan sendiri, bukan memori model.
3. Struktur dalam keadaan: JSON bertingkat, sedangkan pertanyaan memuat jalur bidang yang diperlukan dalam tanda kutip balik jika ini mengurangi ambiguitas.
4. Pertanyaan paling sempit dan spesifik — menurut TypeSafe, mungkin aturan terpenting: pertanyaan luas menyembunyikan beberapa penilaian di balik satu jawaban.
5. Struktur dalam pertanyaan: pertanyaan itu sendiri singkat; penjelasan, contoh, dan nilai dari basis data Anda berada dalam bidang objek instructions atau criteria yang berdekatan, bukan satu string panjang.
6. Banyak pertanyaan independen tentang satu keadaan dalam satu permintaan — lebih banyak manfaat per dolar.
7. Kode menggabungkan jawaban: melalui aturan, jumlah berbobot, atau sebagai fitur untuk model pembelajaran mesin klasik.
8. Percabangan berdasarkan keyakinan: kasus yang meragukan diserahkan kepada manusia atau model penalaran.

Jev bukan percakapan atau model pelengkapan kode, dan tidak dapat menggantikan model bahasa dalam agen pemrograman. Namun, agen dapat menulis kode untuk Anda yang memanggil Jev ketika jawaban cepat dan terkalibrasi diperlukan.

Penggunaan

• Otomatisasi latar belakang — keputusan yang dijalankan satu juta kali tanpa manusia di sampingnya.
• Real time — menurut TypeSafe, sebagian besar permintaan selesai sekitar 100 ms: cukup untuk pemrosesan langsung dan antarmuka.
• Data besar — pencarian korpus sangat besar, anotasi log kerja agen, dan fitur untuk perkiraan.
• Pemeriksaan model lain — permintaan, ekstraksi, penalaran, dan pemanggilan alat: pengelakan batasan, kesalahan kutipan, serta informasi rekaan.
• Pencarian dan pemeringkatan — relevansi pasangan «kueri — kandidat», pemeringkatan ulang, dan pemilihan konteks.
• Percabangan berdasarkan niat — keinginan pengguna dan penangan yang diperlukan: logika sederhana, model khusus, atau manusia; topik, kerumitan, dan risiko menentukan model bahasa penerima permintaan.
• Pemeriksaan perlindungan — masukan, keluaran, dan pemanggilan alat model bahasa: instruksi yang disisipkan, pelanggaran aturan, serta kebocoran data pribadi.
• Dukungan — topik dan niat permintaan, urgensi, kekesalan, risiko pelanggan pergi, permintaan pengembalian dana, dan antrean.
• Moderasi — sesuai aturan platform Anda: toksisitas, perundungan, spam, penipuan, saran berbahaya, dan data pribadi; berdasarkan keparahan serta keyakinan, izinkan, peringatkan, periksa, atau blokir.
• Bidang — klaim asuransi, penyelidikan keuangan dan KYC, kontrak dan iklan, kartu produk, perekrutan, prospek, gim, risiko, perkiraan permintaan, grafik pengetahuan, tinjauan ilmiah, dan pemeriksaan makna kode dalam CI.

Karakteristik

• jev-latest — alias versi stabil terbaru, saat ini Jev 1.13; versi yang menjawab berada dalam bidang model, misalnya jev-1.13.0. Dengan versi baru, alias beralih kepadanya dan jawaban dapat berubah tanpa perubahan dari pihak Anda — pantau bidang ini jika ambang disesuaikan dengan versi.
• Konteks — 64K token per permintaan: keadaan dan semua pertanyaan bersama; keadaan beserta pertanyaan terpanjang hingga 32K. Model membaca keadaan sekali dan memeriksa semua pertanyaan terhadapnya secara paralel.
• Masukan — hanya teks: string, objek JSON, atau array teks. Gambar, audio, dan video belum didukung — ubah menjadi teks terlebih dahulu.
• Bahasa — bahasa pelatihan utama adalah Inggris, dengan akurasi tertinggi saat ini. Model menerima bahasa lain, termasuk Tionghoa, Jepang, dan Korea, tetapi akurasinya lebih rendah — periksa pada data sendiri.
• Harga dan penagihan di Ailoot API — ketentuan bergantung pada metode yang dipilih dan tercantum pada kartu metode tersebut.
• Pengaturan — Jev tidak disetel lebih lanjut pada data pelanggan: materi Anda berada dalam state, sedangkan aturan bidang berada dalam instructions dan criteria.
• Data — TypeSafe menyatakan Jev tidak dilatih menggunakan permintaan dan jawaban pelanggan.

Kelemahan Jev 1.13 yang diketahui

TypeSafe secara terbuka menyebut kelemahan versi saat ini dan menjanjikan banyak perbaikan pada versi berikutnya. Model cepat, terkalibrasi, dan baik dalam penilaian berdasarkan akal sehat, tetapi:

1. Membaca secara harfiah. Model menjawab pertanyaan yang ditulis, bukan yang tersirat: kualifikasi, negasi, dan kondisi implisit dipahami secara harfiah. Tuliskan kondisi tepat dan kasus batas dalam criteria; penafsiran yang tidak terhindarkan dibagi menjadi dua pertanyaan harfiah.
2. Bukan kalkulator. Penghitungan karakter, pengulangan, dan unsur daftar tidak andal, dengan kesalahan meningkat sesuai ukuran — hitung dalam kode, dengan satu pertanyaan per kandidat. Model memahami warna dalam hex atau RGB lebih buruk daripada nama warna. score sesuai untuk ambang, tetapi bukan angka tepat di antara tingkat.
3. Tanggal dan waktu. Tanggal mana yang lebih awal, jarak di antaranya, atau apakah tanggal masuk dalam periode tidak andal, terutama dengan format campuran dan tanggal relatif. Ekstrak bagian tanggal melalui choice (dengan opsi «tidak disebutkan»), lalu bandingkan dalam kode.
4. Ketidaklangsungan. Negasi ganda dan pertanyaan tentang sifat dari suatu sifat mengurangi akurasi. Tuliskan secara langsung dan sebutkan bagian keadaan berdasarkan nama.
5. Hal berlebih dalam keadaan. Teks yang tidak berkaitan mengurangi akurasi. Saring dalam kode; jika tidak memungkinkan, singkirkan hal yang tidak relevan melalui pertanyaan noul.
6. Teks berbahaya. Secara default, model tidak mengantisipasi jebakan dalam keadaan: instruksi yang disisipkan atau teks yang memperdebatkan klasifikasinya sendiri dapat menggeser jawaban. Tuliskan kriteria tepat dan periksa kasus batas sebelum peluncuran.
7. Pertentangan. Jika instructions dan criteria meminta hal berbeda — misalnya «ya» pada noul dijelaskan sebagai «tidak» — akurasi menurun. Kriteria merupakan kelanjutan pertanyaan.
8. Urutan opsi. Model terkadang cenderung memilih opsi choice pertama. Ubah urutan opsi dan periksa bahwa jawaban tidak berubah.
9. Generasi. Jev tidak dilatih menulis teks. Untuk ekstraksi data, temukan kandidat melalui ekspresi reguler atau model generatif, lalu biarkan Jev memilih yang benar melalui choice.