Respan: Span-01

Span-01 ialah model penskoran tingkah laku Respan untuk perbualan dan jejak ejen. Ia membaca interaksi teks bersama takrif tingkah laku yang ditulis dalam bahasa biasa dan mengembalikan kebarangkalian bagi setiap takrif. Output membezakan tingkah laku yang hadir, tiada atau tidak dapat diperhatikan dalam jejak yang diberikan. Ini memberikan isyarat berangka kepada aliran kerja penilaian, dengan cara jelas untuk mewakili bukti yang tiada, bukannya penjelasan terjana yang perlu dihuraikan.

Takrifkan tingkah laku yang mahu diperhatikan

Tingkah laku dibekalkan oleh pemanggil. Suntikan prompt, dakwaan tanpa sokongan, pendedahan rahsia, gelung berulang, penyalahgunaan alat dan kekecewaan pengguna ialah takrif yang mungkin digunakan, bukan taksonomi tetap yang terbina dalam model. Nyatakan apa yang dikira sebagai tingkah laku itu dan apa yang tidak. Takrif khusus boleh membezakan pengguna yang meminta penyerahan kepada manusia daripada sekadar meluahkan kekecewaan. Takrif lain boleh membezakan pembantu yang mengakui masalah daripada yang menjanjikan tindakan yang tidak dapat dilakukannya.

Gunakan pengecam stabil bersama takrif supaya hasil kekal dikaitkan dengan tingkah laku yang dinilai. Fokuskan kriteria pada sesuatu yang boleh ditunjukkan oleh jejak. Jika tingkah laku memerlukan dokumen sumber, hasil alat atau respons pelanggan kemudian, sertakan bukti itu di tempat yang sesuai dalam interaksi teks. Takrif sahaja tidak dapat membuktikan fakta yang tiada dalam jejak.

Sediakan konteks terdahulu dan giliran sasaran

Input yang didokumenkan memisahkan mesej terdahulu dalam span.input daripada giliran sasaran dalam span.output. Kandungan setiap mesej ialah rentetan. Berikan konteks perbualan sebenar dan giliran yang mahu diskor, sambil mengekalkan peranan penutur dan urutan yang diperlukan untuk mentafsirkannya. Ini ialah profil penskoran teks; teks dokumen yang disediakan atau transkrip boleh menjadi bukti, manakala media asal yang digunakan untuk memperoleh teks itu bukan input yang didokumenkan.

Bagi interaksi sokongan, simpan permintaan pelanggan bersama cadangan balasan pembantu. Bagi ejen yang menggunakan alat, kekalkan pemerhatian alat yang berkaitan dan jawapan yang bergantung padanya. Contoh takrif keberasasan boleh menanyakan sama ada pembantu menyatakan kesimpulan yang tidak disokong oleh pemerhatian yang diberikan. Hasil berguna berkaitan dengan tingkah laku yang ditakrifkan dalam petikan itu, bukan diagnosis lengkap seluruh aplikasi.

Baca tiga kebarangkalian bagi setiap takrif

Setiap hasil merangkumi pengecam tingkah laku serta p_present, p_absent dan p_not_observable. Jumlah ketiga-tiga kebarangkalian ialah kira-kira 1. Hadir menganggarkan tingkah laku berlaku; tiada menganggarkan ia tidak berlaku; tidak dapat diperhatikan menganggarkan petikan yang diberikan kekurangan bukti untuk membuat keputusan. Maknanya berasingan dan perlu kekal berasingan ketika hasil ditafsirkan.

Contohnya, petikan yang berakhir dengan pembantu mengatakan ia akan menyelesaikan masalah mungkin menunjukkan satu janji. Petikan itu belum dapat menunjukkan bahawa pelanggan menerima penyelesaian akhirnya jika tiada balasan pelanggan. Anggap hasil dengan bukti yang tiada itu sebagai tidak diketahui, bukannya menukarnya kepada tiada. Kebarangkalian kehadiran rendah tidak secara automatik menjadi bukti kukuh ketiadaan apabila sebahagian besar taburan ialah tidak dapat diperhatikan.

Penskoran sekali lalu merentas takrif tingkah laku

Respan menerangkan Span-01 sebagai pengelas penaakulan yang mula-mula dilatih untuk pengelasan umum dengan RLAIF, kemudian dikhususkan untuk pengesanan tingkah laku. Setiap takrif berjalan sebagai cabang selari pada jejak yang sama dan model mengembalikan kebarangkalian tingkah laku dalam satu laluan hadapan. Perhatian hibrid menyokong pemprosesan jejak panjang dan kompleks. Ia tidak menjana token, menulis pertimbangan berbentuk naratif atau menghasilkan penjelasan bentuk bebas tentang pengelasannya.

Panduan konsep dan rujukan penskoran tidak mendokumenkan had bilangan tingkah laku bagi setiap permintaan. Namun, setiap takrif tetap menjadi sebahagian daripada penilaian yang diberikan, maka pastikan setiap satunya jelas dan berkaitan, bukannya menganggap ketiadaan had bilangan sebagai bukti kapasiti input tanpa had. Hasil mengandungi satu entri bagi setiap tingkah laku mengikut urutan permintaan, dikenal pasti melalui id. Beberapa takrif menerangkan beberapa pemerhatian bebas; ia bukan pilihan kategori yang saling eksklusif dengan jumlah merentas tingkah laku yang mesti menjadi satu.

Menyediakan artifak penilaian yang berguna

Gabungkan kebarangkalian yang dikembalikan dengan ambang khusus tugas dan peraturan semakan di luar model. Pengeluar mengesyorkan penggunaan perbualan berlabel untuk memilih ambang tersebut serta pemeriksaan hasil kehadiran berhampiran ambang atau nilai tidak dapat diperhatikan yang tinggi. Aliran kerja sokongan boleh merekodkan kekecewaan, cadangan eskalasi dan janji tanpa sokongan secara berasingan. Aliran kerja kualiti ejen boleh menjejak tindakan berulang atau sama ada respons menggunakan bukti yang disediakan kepadanya.

Simpan petikan teks, takrif tingkah laku, pengecam hasil dan taburan tiga hala penuh bersama-sama. Apabila takrif berubah, sedari bahawa perkara yang diukur oleh kebarangkalian turut berubah. Semak kesilapan yang kelihatan berdasarkan perbualan sebenar dan jangan menganggap hasil berangka sebagai bukti peristiwa yang tidak diperhatikan. Artifak berguna ialah rekod tingkah laku yang terikat pada jejak dan kriteria, dengan ketidakpastian dikekalkan untuk pemeriksaan kemudian atau keputusan aplikasi seterusnya.