jev-latest

Jev ialah model utama TypeSafe dan model pertama dalam kelas baharu System One. Ia tidak menulis teks, sebaliknya membuat keputusan pantas yang boleh terus digunakan oleh program: anda menghantar keadaan (state) — teks atau JSON — dan satu set soalan, lalu menerima nilai berjenis berserta kebarangkalian yang ditentukur.

Model bahasa menulis perkataan untuk manusia, manakala menurut TypeSafe, Jev lebih hampir kepada kod: jawapan terus dalam bentuk yang diperlukan oleh kod, kelajuan tinggi dan tiada nilai di luar pilihan yang ditetapkan. Model direka untuk memberikan jawapan yang stabil apabila permintaan diulang.

Perbezaan System One dengan model bahasa

• Tidak menjana. Jev tidak menulis jawapan kepada pengguna, tidak menulis kod dan tidak menerangkan proses penaakulan. Anda menetapkan jawapan yang mungkin melalui satu daripada tiga jenis soalan.
• Dilatih untuk keputusan yang ditentukur. TypeSafe melatih model menggunakan RLCD (Reinforcement Learning for Calibrated Decisions): kebarangkalian diselaraskan dengan hasil sebenar dan mencerminkan ketidakpastian. Daripada banyak jawapan dengan kebarangkalian 0,8, kira-kira 80% sepatutnya betul. Penentukuran ialah sifat sampel yang besar, bukan jaminan bahawa setiap jawapan itu betul.
• Matlamat latihan yang berbeza. Model sembang dilatih untuk disukai manusia (RLHF), dan menurut pemerhatian TypeSafe, ini menggalakkan sikap mengampu serta kesilapan yang kedengaran yakin. Seorang pengarang bersama RLHF, Diogo Almeida, ialah pengasas bersama TypeSafe.

Nama ini merujuk kepada “Sistem 1” dalam buku Daniel Kahneman “Thinking, Fast and Slow”: pertimbangan intuitif yang pantas berbanding pemikiran perlahan dan teliti “Sistem 2”. Jev direka untuk pertimbangan khusus yang pantas.

Tiga jenis soalan

Satu soalan ialah satu pertimbangan tentang keadaan; jawapannya ialah nilai yang dibandingkan oleh kod dengan ambang, diisih atau dihantar seterusnya.

1. Choice — pemilihan pilihan. Jabatan untuk pertanyaan, kategori produk, bahasa sesuatu petikan kod. Pilihan berupa kamus “pilihan → penerangan”, sehingga 255 pilihan. Jawapan mengandungi choice yang dipilih, probabilities bagi semua pilihan (jumlahnya 1) dan keyakinan confidence. Jika senarai mungkin tidak merangkumi semua kes, tambahkan “lain-lain” atau “tiada yang disenaraikan”.
2. Score — penilaian pada skala. Kedudukan pada skala tersusun yang anda terangkan: keterukan ralat, kejengkelan pelanggan, tahap kemahiran. Daripada 2 hingga 10 tahap, daripada terendah kepada tertinggi; model menilai setiap tahap secara berasingan tanpa melihat nombornya atau tahap bersebelahan. Jawapan mengandungi score (jumlah nombor tahap yang didarab dengan kebarangkalian masing-masing, maka nilainya boleh berada antara tahap), legend dengan penerangan tahap, probabilities dan confidence.
3. Noul — ya atau tidak. Sama ada sesuatu pernyataan benar. Jawapan noul ialah kebarangkalian “ya” daripada 0 hingga 1: hampir 1 bermakna “ya” dengan yakin, hampir 0 bermakna “tidak” dengan yakin, hampir 0,5 bermakna model tidak pasti. Tiada confidence berasingan: satu nombor menerangkan jawapan sepenuhnya. criteria pilihan memperincikan perkara yang dikira sebagai “ya” dan “tidak”.

Cara memilih: pilihan yang diketahui tanpa susunan — choice; tahap dalam spektrum — score; “ya/tidak” tulen dengan kebarangkalian itu sendiri penting — noul. Noul 0,5 bermaksud peluang “ya” dan “tidak” yang sama, bukannya “tahap sederhana”: darjah diukur oleh score. Jika dua jenis sesuai, pilih jenis yang membolehkan kod bertindak terus: choice untuk cabang, score untuk ambang, noul untuk if.

Jenis boleh dicampurkan dalam satu permintaan. Jawapan sentiasa terhad kepada pilihan anda dan tidak bergantung pada soalan lain: soalan boleh ditambah atau dibuang tanpa mengubah jawapan yang lain.

Keadaan

Keadaan ialah perkara yang dinilai oleh model: mesej pelanggan, petikan dokumen, rekod pangkalan data atau keadaan aplikasi anda.

• Rentetan — untuk satu teks: mesej, artikel, petikan.
• Objek — medan bernama, rekod berkaitan, keadaan aplikasi. TypeSafe menyarankan objek untuk kebanyakan permintaan: setiap bahagian mempunyai nama yang jelas.
• Tatasusunan — urutan mesej atau rekod.

Sediakannya seperti bahan untuk pakar: letakkan perbualan, pesanan dan peraturan pemulangan bersama-sama jika keputusan memerlukan perbandingannya. Letakkan kandungan dalam keadaan dan pertimbangan dalam soalan. Jika soalan menyentuh satu bahagian keadaan, nyatakan laluannya dalam soalan dengan tanda backtick, contohnya ticket.messages[0].text.

Cara mengemukakan soalan

• Satu pertimbangan pantas bagi setiap soalan. Soalan yang baik boleh dijawab dalam satu saat oleh orang yang berpengetahuan dengan konteks yang diperlukan: “Adakah mesej ini menunjukkan kesegeraan?”. “Analisis mesej dan tentukan tindakan” memerlukan penaakulan perlahan dan perlu dipecahkan kepada soalan mudah.
• Soalan penuh dalam instructions. Kunci soalan, contohnya refund_requested, hanya diperlukan oleh kod anda dan tidak dihantar kepada model.
• Semua soalan tentang keadaan yang sama dalam satu permintaan. Model menilainya secara selari: menurut TypeSafe, soalan tambahan hampir tidak memanjangkan masa jawapan dan hanya mengenakan kos tokennya sendiri. Soalan “untuk berjaga-jaga” hampir percuma — kod sendiri menentukan jawapan yang diperlukan.
• Pertimbangan rumit dipecahkan kepada bahagian. Daripada “nilai permohonan syarikat pemula”, tanya secara berasingan tentang saiz pasaran, kebolehlaksanaan teknikal dan perbezaan daripada pesaing, kemudian hitung keputusan dalam kod dengan pemberat. Jika keutamaan berubah, ubah pemberat tanpa menulis semula soalan.
• Soalan bergantung dalam permintaan kedua. Jawapan dalam satu permintaan tidak menjadi konteks sesama sendiri. Permintaan kedua hanya diperlukan jika ia tidak dapat dibentuk tanpa jawapan pertama: data perlu dimuatkan atau pilihan soalan seterusnya perlu ditentukan.
• Soalan panjang sebagai objek. instructions dan criteria biasanya rentetan, tetapi boleh berupa objek atau tatasusunan: soalan dalam satu medan, data dalam medan lain. Ini memudahkan semakan resume dengan rekod pangkalan data menggunakan satu soalan.

Keyakinan

Bagi choice dan score, confidence daripada 0 hingga 1 menunjukkan sejauh mana kebarangkalian tertumpu pada satu jawapan: 1 bermakna semuanya pada satu pilihan, 0 bermakna dibahagi sama rata antara semua pilihan. Bagi score, tahap bersebelahan mengurangkan keyakinan kurang daripada tahap yang jauh. Bagi noul, keyakinan ditunjukkan oleh nilainya sendiri: semakin jauh daripada 0,5, semakin tegas jawapannya.

TypeSafe menyarankan tiga julat:

1. Keyakinan tinggi — bertindak secara automatik.
2. Sederhana — bertindak dengan berhati-hati, contohnya meminta pengesahan pengguna.
3. Rendah — serahkan kes kepada manusia, perjelas permintaan atau gunakan laluan sandaran, contohnya model penaakulan yang lebih berkuasa.

Semakin tinggi kos kesilapan, semakin ketat ambangnya: tindakan yang tidak boleh dipulihkan memerlukan ambang lebih tinggi daripada pembacaan. Jawapan memberitahu pilihan, manakala keyakinan memberitahu sama ada wajar bertindak. Tentukan ambang menggunakan data anda sendiri dengan membandingkan keyakinan dan ketepatan.

Membina sistem berasaskan Jev

Jev direka untuk program yang prosesnya dikawal oleh kod dan modelnya menjawab soalan makna yang khusus, bukannya ejen yang memilih sendiri langkah seterusnya dan boleh tersasar pada setiap kitaran. Lapan langkah reka bentuk menurut TypeSafe:

1. Lakukan segala yang boleh dilakukan oleh kod dengan kod — boleh diharap dan murah.
2. Masukkan hanya perkara yang diperlukan oleh soalan semasa ke dalam keadaan; fakta terkini perlu datang daripada pangkalan pengetahuan sendiri, bukan ingatan model.
3. Struktur dalam keadaan: JSON bersarang, dengan laluan ke medan yang diperlukan dalam tanda backtick dalam soalan jika ini mengurangkan kekaburan.
4. Soalan yang paling khusus dan jelas — menurut TypeSafe, ini mungkin peraturan terpenting: soalan luas menyembunyikan beberapa pertimbangan di sebalik satu jawapan.
5. Struktur dalam soalan: soalan itu sendiri ringkas; penjelasan, contoh dan nilai daripada pangkalan data anda berada dalam medan bersebelahan pada objek instructions atau criteria, bukannya satu rentetan panjang.
6. Banyak soalan bebas tentang keadaan yang sama dalam satu permintaan — lebih banyak manfaat bagi setiap dolar.
7. Kod menggabungkan jawapan: melalui peraturan, jumlah berpemberat atau sebagai ciri untuk model pembelajaran mesin klasik.
8. Percabangan berdasarkan keyakinan: kes yang tidak pasti diserahkan kepada manusia atau model penaakulan.

Jev bukan sembang atau model pelengkapan kod, dan tidak boleh menggantikan model bahasa dalam ejen pengaturcaraan. Namun, ejen boleh menulis kod untuk anda yang memanggil Jev apabila jawapan yang pantas dan ditentukur diperlukan.

Kegunaan

• Automasi latar belakang — keputusan yang dijalankan sejuta kali tanpa manusia di sisi.
• Masa nyata — menurut TypeSafe, kebanyakan permintaan dilaksanakan dalam kira-kira 100 ms: mencukupi untuk pemprosesan serta-merta dan antara muka.
• Data besar — carian dalam korpus besar, pelabelan log operasi ejen, ciri untuk ramalan.
• Semakan model lain — permintaan, pengekstrakan, penaakulan, panggilan alat: pemintasan had, kesilapan petikan, rekaan fakta.
• Carian dan pemeringkatan — kerelevanan pasangan “pertanyaan — calon”, pemeringkatan semula, pemilihan konteks.
• Percabangan mengikut niat — kehendak pengguna dan pengendali yang diperlukan: logik mudah, model khusus atau manusia; topik, kerumitan dan risiko menentukan model bahasa yang menerima permintaan.
• Semakan perlindungan — input, output dan panggilan alat model bahasa: suntikan arahan, pelanggaran peraturan, kebocoran data peribadi.
• Sokongan — topik dan niat pertanyaan, kesegeraan, kejengkelan, risiko pelanggan berhenti, permintaan bayaran balik, barisan giliran.
• Moderasi — mengikut peraturan platform anda: ketoksikan, buli, spam, penipuan, nasihat berbahaya, data peribadi; mengikut keterukan dan keyakinan — benarkan, beri amaran, semak atau sekat.
• Industri — tuntutan insurans, penyiasatan kewangan dan KYC, kontrak dan pengiklanan, kad produk, pengambilan pekerja, prospek, permainan, risiko, ramalan permintaan, graf pengetahuan, tinjauan saintifik, semakan makna kod dalam CI.

Ciri-ciri

• jev-latest — alias versi stabil terkini, kini Jev 1.13; versi yang menjawab berada dalam medan model, contohnya jev-1.13.0. Apabila versi baharu muncul, alias beralih kepadanya dan jawapan boleh berubah tanpa perubahan daripada pihak anda — pantau medan ini jika ambang disesuaikan dengan versi tertentu.
• Konteks — 64K token bagi setiap permintaan: keadaan dan semua soalan bersama-sama; keadaan dengan soalan terpanjang sehingga 32K. Model membaca keadaan sekali dan menilai semua soalan terhadapnya secara selari.
• Input — teks sahaja: rentetan, objek JSON atau tatasusunan teks. Imej, audio dan video belum disokong — tukarkannya kepada teks terlebih dahulu.
• Bahasa — bahasa latihan utama ialah bahasa Inggeris dan ketepatannya kini paling tinggi dalam bahasa tersebut. Model menerima bahasa lain, termasuk bahasa Cina, Jepun dan Korea, tetapi ketepatannya lebih rendah — uji menggunakan data anda sendiri.
• Harga dan pengebilan dalam Ailoot API — syarat bergantung pada kaedah yang dipilih dan dinyatakan pada kad kaedah tersebut.
• Penyesuaian — Jev tidak dilatih lanjut menggunakan data pelanggan: bahan anda diletakkan dalam state, peraturan bidang dalam instructions dan criteria.
• Data — TypeSafe menyatakan bahawa Jev tidak dilatih menggunakan permintaan dan jawapan pelanggan.

Kelemahan diketahui Jev 1.13

TypeSafe menyenaraikan kelemahan versi semasa secara terbuka dan berjanji untuk membaiki banyak daripadanya dalam versi akan datang. Model ini pantas, ditentukur dan membuat pertimbangan akal sihat dengan baik, tetapi:

1. Membaca secara literal. Menjawab soalan yang ditulis, bukan yang tersirat: syarat tambahan, penafian dan syarat tidak nyata difahami secara harfiah. Tulis syarat tepat dan kes sempadan dalam criteria; pecahkan tafsiran yang tidak dapat dielakkan kepada dua soalan literal.
2. Bukan kalkulator. Pengiraan aksara, pengulangan dan unsur senarai tidak boleh diharap, dan ralat bertambah mengikut saiz — kira dalam kod, dengan satu soalan bagi setiap calon. Model memahami warna dalam hex atau RGB dengan kurang baik berbanding nama warna. score sesuai untuk ambang, tetapi bukan untuk nombor tepat antara tahap.
3. Tarikh dan masa. Menentukan tarikh yang lebih awal, tempoh antara tarikh atau sama ada tarikh berada dalam suatu tempoh tidak boleh diharap, khususnya apabila format bercampur dan tarikh relatif digunakan. Ekstrak bahagian tarikh melalui choice (dengan pilihan “tidak dinyatakan”), kemudian bandingkan dalam kod.
4. Soalan tidak langsung. Penafian berganda dan soalan tentang sifat sesuatu sifat mengurangkan ketepatan. Tulis secara langsung dan namakan bahagian keadaan.
5. Kandungan berlebihan dalam keadaan. Teks yang tidak berkaitan mengurangkan ketepatan. Tapis dalam kod; jika tidak boleh, singkirkan yang tidak relevan dengan soalan noul.
6. Teks berniat jahat. Secara lalai, model tidak menjangka muslihat dalam keadaan: suntikan arahan atau teks yang mempertikaikan pengelasannya sendiri boleh mengubah jawapan. Tulis kriteria tepat dan uji kes sempadan sebelum pelancaran.
7. Percanggahan. Jika instructions dan criteria meminta perkara berbeza — contohnya bagi noul, “ya” diterangkan sebagai “tidak” — ketepatan menurun. Kriteria ialah sambungan kepada soalan.
8. Susunan pilihan. Kadangkala model cenderung kepada pilihan pertama dalam choice. Susun semula pilihan dan pastikan jawapan tidak berubah.
9. Penjanaan. Jev tidak dilatih untuk menulis teks. Untuk pengekstrakan data, cari calon menggunakan ungkapan nalar atau model generatif, kemudian biarkan Jev memilih yang betul melalui choice.