Respan: Span-01

Span-01 — модель Respan для оценки поведения в разговорах и трассах агентов. Она читает текстовое взаимодействие вместе с определениями поведения на обычном языке и возвращает вероятности для каждого определения. Вывод различает поведение, которое присутствует, отсутствует или не может быть установлено по наблюдению в переданной трассе. Это даёт процессу оценки числовой сигнал с явным способом представления недостающих свидетельств, а не сгенерированное объяснение, которое нужно разбирать.

Определите поведение, которое хотите наблюдать

Виды поведения передаёт вызывающая сторона. Инъекция промпта, неподтверждённые утверждения, раскрытие секретов, повторяющиеся циклы, неправильное использование инструментов и раздражение пользователя — возможные определения, а не фиксированная встроенная в модель таксономия. Укажите, что считается данным поведением и что им не считается. Узкое определение может отличать просьбу пользователя передать разговор человеку от простого выражения разочарования. Другое — отличать признание проблемы ассистентом от обещания действия, которое он не может выполнить.

Используйте стабильные идентификаторы с определениями, чтобы результаты сохраняли связь с оцениваемым поведением. Критерий должен быть сосредоточен на том, что может показать трасса. Если поведение требует исходного документа, результата инструмента или последующего ответа клиента, включите эти свидетельства в текстовое взаимодействие в соответствующем месте. Одно определение не может установить факт, отсутствующий в трассе.

Подготовьте предшествующий контекст и целевую реплику

Документированный вход отделяет предшествующие сообщения в span.input от целевой реплики в span.output. Содержимое каждого сообщения является строкой. Передайте реальный контекст разговора и реплику, которую хотите оценить, сохраняя роли говорящих и порядок, необходимый для интерпретации. Это профиль оценки текста: подготовленный текст документа или расшифровка могут быть свидетельствами, тогда как медиа, из которых получен этот текст, сами по себе не являются документированным входом.

Для взаимодействия с поддержкой сохраняйте запрос клиента вместе с предлагаемым ответом ассистента. Для агента с инструментами сохраняйте относящееся к делу наблюдение инструмента и ответ, который на него опирался. Иллюстративное определение обоснованности может спрашивать, утверждает ли ассистент вывод, который не подтверждается переданным наблюдением. Полезный результат относится к определённому поведению в этом фрагменте, а не к полной диагностике всего приложения.

Читайте три вероятности для каждого определения

Каждый результат включает идентификатор поведения и p_present, p_absent, p_not_observable. Сумма трёх вероятностей приблизительно равна 1. Присутствие оценивает, что поведение произошло; отсутствие — что не произошло; невозможность установить по наблюдению — что в переданном фрагменте нет необходимых для решения свидетельств. Это отдельные значения, и при интерпретации результатов их следует сохранять раздельными.

Например, фрагмент, заканчивающийся словами ассистента о том, что он решит проблему, может показывать обещание. Он ещё не может показать, что клиент принял итоговое решение проблемы, если ответа клиента нет. Рассматривайте такой результат с недостающими свидетельствами как неизвестный, вместо преобразования его в отсутствие. Низкая вероятность присутствия не является автоматически сильным свидетельством отсутствия, когда значительная доля распределения приходится на невозможность установить по наблюдению.

Оценка определений поведения за один проход

Respan описывает Span-01 как классификатор с рассуждением, сначала обученный общей классификации с RLAIF, а затем специализированный для обнаружения поведения. Каждое определение выполняется как параллельная ветвь над одной и той же трассой, и модель возвращает вероятности поведения за один прямой проход. Гибридное внимание поддерживает работу с длинными сложными трассами. Модель не генерирует токены, не пишет связное суждение и не создаёт объяснение классификации в свободной форме.

Руководство по концепции и справочник оценки не документируют ограничения количества видов поведения на запрос. Каждое определение всё равно является частью переданной оценки, поэтому делайте его ясным и релевантным, вместо трактовки отсутствия количественного ограничения как свидетельства неограниченной входной ёмкости. Результат содержит одну запись на вид поведения в порядке запроса с его id. Несколько определений описывают несколько независимых наблюдений; это не взаимоисключающие варианты категорий, сумма которых по всем видам поведения должна равняться единице.

Подготовка полезного артефакта оценки

Объединяйте возвращённые вероятности с порогами конкретной задачи и правилами проверки вне модели. Производитель рекомендует выбирать эти пороги по размеченным разговорам и разбирать пограничные результаты присутствия или высокую вероятность невозможности установить по наблюдению. Рабочий процесс поддержки может отдельно фиксировать раздражение, предложенную эскалацию и неподтверждённое обещание. Процесс оценки качества агента может отслеживать повторные действия или использование ответом предоставленных ему свидетельств.

Храните текстовый фрагмент, определение поведения, идентификатор результата и полное трёхчастное распределение вместе. Когда определение меняется, учитывайте, что меняется и то, что измеряет вероятность. Проверяйте кажущиеся ошибки по реальному разговору, вместо трактовки числового результата как доказательства ненаблюдавшегося события. Полезный артефакт — запись о поведении, связанная с трассой и критерием, с сохранением неопределённости для последующего разбора или следующего решения приложения.