Respan: Span-01

Span-01 adalah model penilaian perilaku Respan untuk percakapan dan jejak agen. Model membaca interaksi teks bersama definisi perilaku yang ditulis dalam bahasa biasa dan mengembalikan probabilitas untuk setiap definisi. Keluaran membedakan perilaku yang ada, tidak ada, atau tidak dapat diamati dalam jejak yang diberikan. Ini memberi alur evaluasi sinyal numerik dengan cara eksplisit untuk mewakili bukti yang tidak tersedia, bukan penjelasan yang dihasilkan dan harus diurai.

Definisikan perilaku yang ingin diamati

Perilaku diberikan oleh pemanggil. Injeksi prompt, klaim tanpa dukungan, pengungkapan rahasia, perulangan terus-menerus, penyalahgunaan alat, dan frustrasi pengguna adalah kemungkinan definisi, bukan taksonomi tetap yang tertanam dalam model. Nyatakan apa yang termasuk perilaku tersebut dan apa yang tidak. Definisi yang sempit dapat membedakan pengguna yang meminta pengalihan ke manusia dari pengguna yang sekadar menyatakan kekecewaan. Definisi lain dapat membedakan asisten yang mengakui masalah dari asisten yang menjanjikan tindakan yang tidak dapat dilakukannya.

Gunakan pengenal stabil bersama definisi agar hasil tetap terhubung dengan perilaku yang dievaluasi. Fokuskan kriteria pada sesuatu yang dapat ditunjukkan jejak. Jika perilaku memerlukan dokumen sumber, hasil alat, atau respons pelanggan di kemudian waktu, sertakan bukti itu pada tempat yang sesuai dalam interaksi teks. Definisi saja tidak dapat membuktikan fakta yang tidak ada dalam jejak.

Siapkan konteks sebelumnya dan giliran tujuan

Masukan yang didokumentasikan memisahkan pesan sebelumnya di span.input dari giliran tujuan di span.output. Isi setiap pesan adalah string. Berikan konteks percakapan yang sebenarnya dan giliran yang ingin dinilai, sambil mempertahankan peran pembicara serta urutan yang diperlukan untuk menafsirkannya. Ini adalah profil penilaian teks; teks dokumen yang disiapkan atau transkrip dapat menjadi bukti, sedangkan media asal teks tersebut bukan masukan yang didokumentasikan.

Untuk interaksi dukungan, simpan permintaan pelanggan bersama usulan balasan asisten. Untuk agen yang menggunakan alat, pertahankan pengamatan alat yang relevan dan jawaban yang mengandalkannya. Contoh definisi tentang dukungan bukti dapat menanyakan apakah asisten menyatakan kesimpulan yang tidak didukung pengamatan yang diberikan. Hasil yang berguna menyangkut perilaku yang didefinisikan dalam cuplikan tersebut, bukan diagnosis lengkap seluruh aplikasi.

Baca tiga probabilitas untuk setiap definisi

Setiap hasil mencakup pengenal perilaku serta p_present, p_absent, dan p_not_observable. Ketiga probabilitas berjumlah sekitar 1. Ada memperkirakan bahwa perilaku terjadi; tidak ada memperkirakan bahwa perilaku tidak terjadi; tidak dapat diamati memperkirakan bahwa cuplikan yang diberikan tidak memiliki bukti yang diperlukan untuk memutuskan. Makna-makna ini berbeda dan harus tetap dipisahkan saat hasil ditafsirkan.

Misalnya, cuplikan yang berakhir dengan asisten mengatakan akan menyelesaikan masalah dapat menunjukkan sebuah janji. Cuplikan itu belum dapat menunjukkan bahwa pelanggan menerima solusi akhirnya jika balasan pelanggan tidak ada. Perlakukan hasil kekurangan bukti tersebut sebagai tidak diketahui, bukan mengubahnya menjadi tidak ada. Probabilitas keberadaan yang rendah tidak otomatis menjadi bukti kuat ketiadaan ketika bagian signifikan distribusi adalah tidak dapat diamati.

Penilaian sekali lintasan atas berbagai definisi perilaku

Respan menjelaskan Span-01 sebagai pengklasifikasi penalaran yang awalnya dilatih untuk klasifikasi umum dengan RLAIF, kemudian dikhususkan untuk deteksi perilaku. Setiap definisi berjalan sebagai cabang paralel pada jejak yang sama, dan model mengembalikan probabilitas perilaku dalam satu lintasan maju. Atensi hibrida mendukung penanganan jejak yang panjang dan kompleks. Model tidak menghasilkan token, menulis penilaian naratif, atau menghasilkan penjelasan bebas tentang klasifikasinya.

Panduan konsep dan referensi penilaian tidak mendokumentasikan batas jumlah perilaku per permintaan. Setiap definisi tetap merupakan bagian dari evaluasi yang diberikan, jadi buat masing-masing jelas dan relevan alih-alih menganggap ketiadaan batas jumlah sebagai bukti kapasitas masukan tanpa batas. Hasil memuat satu entri per perilaku sesuai urutan permintaan, yang diidentifikasi melalui id. Beberapa definisi menggambarkan beberapa pengamatan independen; semuanya bukan pilihan kategori yang saling eksklusif dan harus berjumlah satu lintas perilaku.

Menyiapkan artefak evaluasi yang berguna

Gabungkan probabilitas yang dikembalikan dengan ambang khusus tugas dan aturan peninjauan di luar model. Produsen menyarankan penggunaan percakapan berlabel untuk memilih ambang tersebut dan pemeriksaan hasil keberadaan di dekat ambang atau hasil tidak dapat diamati yang tinggi. Alur dukungan dapat mencatat frustrasi, usulan eskalasi, dan janji tanpa dukungan secara terpisah. Alur kualitas agen dapat melacak tindakan berulang atau apakah respons menggunakan bukti yang disediakan untuknya.

Simpan cuplikan teks, definisi perilaku, pengenal hasil, dan distribusi tiga arah lengkap bersama-sama. Ketika definisi berubah, pahami bahwa hal yang diukur probabilitas ikut berubah. Tinjau kesalahan yang tampak berdasarkan percakapan sebenarnya alih-alih menganggap hasil numerik sebagai bukti kejadian yang tidak diamati. Artefak yang berguna adalah catatan perilaku yang terikat pada jejak dan kriteria, dengan ketidakpastian dipertahankan untuk pemeriksaan berikutnya atau keputusan aplikasi selanjutnya.