Respan: Span-01

Span-01 は、会話とエージェントトレースを対象とする Respan の行動スコアリングモデルです。テキストのやり取りと、平易な言葉で書かれた行動定義を読み取り、定義ごとに確率を返します。出力では、与えたトレースにおいて行動が存在するのか、存在しないのか、観測できないのかが区別されます。これにより評価ワークフローは、解析が必要な生成された説明ではなく、根拠の欠如を明示的に表現できる数値シグナルを得られます。

観測したい行動を定義する

行動は呼び出し側が与えます。プロンプトインジェクション、根拠のない主張、機密情報の露出、反復ループ、ツールの誤用、ユーザーの苛立ちは定義の例であり、モデルに組み込まれた固定の分類体系ではありません。何がその行動に当たり、何が当たらないかを明記します。範囲を絞った定義なら、有人対応への引き継ぎを求めるユーザーと、単に失望を表明しているユーザーを区別できます。別の定義では、問題を認めるアシスタントと、実行できない行動を約束するアシスタントを区別できます。

定義には安定した識別子を付け、結果が評価対象の行動と結び付いた状態を保ちます。基準は、トレースで示せる事柄に絞ります。行動の判断に元の文書、ツールの結果、後の顧客の応答が必要な場合は、その根拠をテキストのやり取りの該当箇所に含めます。定義だけでは、トレースにない事実を立証できません。

先行コンテキストと対象ターンを準備する

ドキュメントに記載された入力では、span.input の先行メッセージと span.output の対象ターンが分けられています。各メッセージの内容は文字列です。実際の会話のコンテキストとスコアリングしたいターンを、解釈に必要な話者のロールと順序を保ったまま与えます。これはテキストをスコアリングするプロファイルです。整形済みの文書テキストや書き起こしは根拠になりますが、そのテキストの元になったメディア自体はドキュメント上の入力ではありません。

サポートのやり取りでは、顧客のリクエストとアシスタントの返信案をセットにします。ツールを使うエージェントでは、関連するツールの観測結果と、それに基づいた回答を残します。根拠性の定義の一例として、与えた観測結果が裏付けていない結論をアシスタントが断言しているかを問うものが考えられます。有用な結果は、そのスパンにおける定義済みの行動に関するものであり、アプリケーション全体の完全な診断ではありません。

定義ごとに 3 つの確率を読み取る

各結果には、行動の識別子と p_present、p_absent、p_not_observable が含まれます。3 つの確率の合計はおよそ 1 です。存在は行動が起きたという推定、不在は起きなかったという推定、観測不能は与えたスパンに判断に必要な根拠が欠けているという推定です。これらは別々の意味を持つため、結果を解釈する際も区別したまま扱います。

たとえば、アシスタントが問題を解決すると述べたところで終わるスパンは、約束があったことを示し得ます。しかし顧客の返信がなければ、顧客が最終的な解決策を受け入れたことはまだ示せません。このような根拠不足の結果は、不在に変換せず不明として扱います。分布のかなりの部分が観測不能である場合、存在の確率が低いことは、それだけで不在の強い根拠にはなりません。

行動定義全体を 1 回のパスでスコアリング

Respan は Span-01 を、まず RLAIF で汎用的な分類向けに学習し、その後行動検出に特化させた推論型分類器と説明しています。各定義は同じトレース上の並列ブランチとして実行され、モデルは 1 回のフォワードパスで行動の確率を返します。ハイブリッドアテンションにより、長く複雑なトレースを扱えます。トークンを生成したり、文章による判断を書いたり、分類について自由形式の説明を作成したりはしません。

コンセプトガイドとスコアリングのリファレンスには、リクエストあたりの行動数の上限は記載されていません。とはいえ、すべての定義は与えた評価の一部であるため、上限がないことを入力容量が無制限である根拠とみなさず、各定義を明確かつ関連性のあるものに保ちます。結果には、リクエストの順序どおりに行動ごとのエントリが 1 つずつ含まれ、id で識別されます。複数の定義は複数の独立した観測を表すものであり、行動全体で合計が 1 になる相互排他的なカテゴリ選択ではありません。

有用な評価成果物を準備する

返された確率は、モデルの外側でタスク固有のしきい値やレビュールールと組み合わせます。提供元は、ラベル付きの会話を使ってしきい値を決め、存在が境界線上の結果や観測不能の値が高い結果を確認することを推奨しています。サポートのワークフローでは、苛立ち、エスカレーションの提案、根拠のない約束を別々に記録できます。エージェントの品質管理ワークフローでは、繰り返される行動や、応答が利用可能な根拠を使ったかどうかを追跡できます。

テキストスパン、行動定義、結果の識別子、3 値分布の全体をまとめて保持します。定義を変更すると、確率が測る対象も変わることを踏まえておきます。数値結果を観測されていない出来事の証明として扱うのではなく、誤りと思われるものは実際の会話に照らしてレビューします。有用な成果物とは、トレースと基準に結び付いた行動の記録であり、後の確認やアプリケーションの次の判断に備えて不確実性が保持されたものです。