Respan: Span-01

Span-01 — suhbatlar va agent izlari uchun Respan’ning xatti-harakatlarni baholash modeli. U matnli muloqotni oddiy tilda yozilgan xatti-harakat ta’riflari bilan birga o‘qiydi va har bir ta’rif uchun ehtimollarni qaytaradi. Chiqish berilgan izda xatti-harakat mavjudligini, mavjud emasligini yoki kuzatib bo‘lmasligini ajratadi. Bu baholash jarayoniga tahlil qilinadigan yaratilgan izoh o‘rniga, yetishmayotgan dalilni ochiq ifodalash usuliga ega raqamli signal beradi.

Kuzatmoqchi bo‘lgan xatti-harakatni ta’riflang

Xatti-harakatlarni chaqiruvchi beradi. Prompt injection, dalilsiz da’volar, sirlarning oshkor etilishi, takroriy aylanishlar, vositadan noto‘g‘ri foydalanish va foydalanuvchi noroziligi — modelga o‘rnatilgan qat’iy taksonomiya emas, mumkin bo‘lgan ta’riflardir. Nima bu xatti-harakat hisoblanishini va nima hisoblanmasligini ayting. Tor ta’rif inson xodimga o‘tkazishni so‘rayotgan foydalanuvchini faqat ko‘ngli qolganini bildirayotgan foydalanuvchidan ajratishi mumkin. Boshqa ta’rif yordamchining muammoni tan olishini u bajara olmaydigan amalni va’da qilishidan ajratishi mumkin.

Natijalar baholanayotgan xatti-harakat bilan bog‘liq qolishi uchun ta’riflar bilan birga barqaror identifikatorlardan foydalaning. Mezonni iz ko‘rsata oladigan narsaga qarating. Xatti-harakat manba hujjat, vosita natijasi yoki mijozning keyingi javobini talab qilsa, shu dalilni matnli muloqotning tegishli joyiga kiriting. Ta’rifning o‘zi izda yo‘q faktni tasdiqlay olmaydi.

Oldingi kontekst va baholanadigan xabarni tayyorlang

Hujjatlashtirilgan kirish oldingi xabarlarni span.input maydonida, baholanadigan xabarni esa span.output maydonida ajratadi. Har bir xabar mazmuni satrdir. Suhbatdosh rollari va talqin uchun kerakli tartibni saqlagan holda, haqiqiy suhbat kontekstini va baholatmoqchi bo‘lgan xabarni bering. Bu matnni baholash profilidir; tayyorlangan hujjat matni yoki transkript dalil bo‘lishi mumkin, ammo shu matn olingan medianing o‘zi hujjatlashtirilgan kirish emas.

Qo‘llab-quvvatlash muloqotida mijoz so‘rovini yordamchining taklif etilgan javobi bilan birga saqlang. Vositalardan foydalanadigan agent uchun tegishli vosita kuzatuvini va unga tayangan javobni saqlang. Dalilga tayanganlik ta’rifining misoli yordamchi berilgan kuzatuv qo‘llab-quvvatlamaydigan xulosani aytyaptimi, deb so‘rashi mumkin. Foydali natija butun ilovaning to‘liq tashxisi emas, shu parchada belgilangan xatti-harakatga tegishlidir.

Har bir ta’rif uchun uch ehtimolni o‘qing

Har bir natija xatti-harakat identifikatori hamda p_present, p_absent va p_not_observable qiymatlarini o‘z ichiga oladi. Uch ehtimolning yig‘indisi taxminan 1 ga teng. Mavjud xatti-harakat yuz berganini; mavjud emas yuz bermaganini; kuzatib bo‘lmaydi esa berilgan parchada qaror uchun kerakli dalil yo‘qligini baholaydi. Bular alohida ma’nolar bo‘lib, natijani talqin qilishda ham ajratilishi kerak.

Masalan, yordamchi muammoni hal qilishini aytgan joyda tugaydigan parcha va’dani ko‘rsatishi mumkin. Mijoz javobi bo‘lmasa, mijoz yakuniy yechimni qabul qilganini hali ko‘rsata olmaydi. Dalil yetishmayotgan shu natijani mavjud emasga aylantirish o‘rniga noma’lum deb ko‘ring. Taqsimotning sezilarli qismi kuzatib bo‘lmaydi bo‘lsa, mavjudlik ehtimolining pastligi avtomatik ravishda mavjud emaslikning kuchli dalili bo‘lmaydi.

Xatti-harakat ta’riflarini bitta o‘tishda baholash

Respan Span-01’ni avval RLAIF bilan umumiy tasniflashga o‘qitilgan, keyin xatti-harakatni aniqlashga ixtisoslashtirilgan mulohaza yurituvchi tasniflagich deb tavsiflaydi. Har bir ta’rif ayni iz ustida parallel tarmoq sifatida ishlaydi va model xatti-harakat ehtimollarini bitta oldinga hisoblash o‘tishida qaytaradi. Gibrid diqqat mexanizmi uzun, murakkab izlarni qayta ishlashni qo‘llab-quvvatlaydi. U token yaratmaydi, hikoyaviy hukm yozmaydi va tasnifiga erkin shakldagi izoh bermaydi.

Konseptual qo‘llanma va baholash ma’lumotnomasida bir so‘rovdagi xatti-harakatlar soni chegarasi hujjatlashtirilmagan. Har bir ta’rif baribir berilgan baholashning bir qismi, shuning uchun son chegarasi yo‘qligini cheksiz kirish sig‘imi isboti deb bilish o‘rniga, ularni aniq va tegishli qiling. Natija har bir xatti-harakat uchun so‘rov tartibida id orqali aniqlanadigan bitta yozuvni saqlaydi. Bir nechta ta’rif bir nechta mustaqil kuzatuvni ifodalaydi; ular xatti-harakatlar bo‘yicha yig‘indisi bir bo‘lishi kerak bo‘lgan o‘zaro istisno qiluvchi toifa tanlovlari emas.

Foydali baholash artefaktini tayyorlash

Qaytgan ehtimollarni model tashqarisidagi vazifaga xos chegaralar va ko‘rib chiqish qoidalari bilan birlashtiring. Ishlab chiqaruvchi shu chegaralarni tanlash uchun yorliqli suhbatlardan foydalanishni, mavjudlik qiymati chegaraga yaqin yoki kuzatib bo‘lmaydi qiymati yuqori natijalarni tekshirishni tavsiya qiladi. Qo‘llab-quvvatlash jarayoni norozilik, yuqori bosqichga o‘tkazish taklifi va dalilsiz va’dani alohida qayd etishi mumkin. Agent sifati jarayoni takroriy amallarni yoki javob o‘ziga berilgan dalildan foydalanganini kuzatishi mumkin.

Matn parchasi, xatti-harakat ta’rifi, natija identifikatori va to‘liq uch yo‘nalishli taqsimotni birga saqlang. Ta’rif o‘zgarsa, ehtimol nimani o‘lchashi ham o‘zgarishini tan oling. Raqamli natijani kuzatilmagan hodisa isboti deb bilish o‘rniga, ko‘rinadigan xatolarni haqiqiy suhbat bo‘yicha tekshiring. Foydali artefakt — keyingi tekshiruv yoki ilovaning keyingi qarori uchun noaniqlik saqlangan, iz va mezonga bog‘langan xatti-harakat yozuvidir.