# 本番環境向けLLMルーターの評価方法

> ルーティングの判断、タスクの変化、プロンプトキャッシュの影響、可観測性、認証情報、本番環境への展開を評価するための、情報源に基づくガイドです。

Source: https://ailoot.ai/blog/ja/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/ja/evaluate-llm-router-production/
Language: ja
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-e303dce0a5d666f0cd65dc5cb5335456dff4bb015500c9e665472517c498f146


## 自分のワークロードに合うものをどう選ぶ？

**1. すべてを左右する項目を記録する：** 呼び出しごとに、モデル、入力トークン数、キャッシュ済み入力トークン数、キャッシュ書き込みトークン数、出力トークン数、レイテンシ、タスク種別、結果が受け入れられたか再試行されたかを記録します。キャッシュ済み入力の項目は、チームが記録を省きがちであり、ルーティングがそもそも役立つかどうかを決める項目です。この計測を1週間続けても、計測の仕組みづくりにかかるのは午後ひとつ分です。

**2. サービスを探す前に上限を計算する：** 最大節約額は S = f x (1 - r) です。f はフロンティアモデルから切り替えられる呼び出しの割合、r は安価なモデルのコストをフロンティアモデルのコストに対する割合で表した値です。どちらも手順1のデータから求められます。代わりに、プロンプトキャッシュ、バッチエンドポイント、推論の労力に時間をかけましょう。

**3. タスククラスごとに、自分のトラフィックからゴールデンセットを作る：** 実際のリクエスト50～200件を、手作業で書くのではなくログから抽出し、正解とみなせる結果が分かっているものを選びます。この成果物があれば、ベンダーとの後続のやり取りを具体的にできます。これがなければ、マーケティング資料を比較するだけです。

**4. 本番環境での挙動を予測する2つの条件を試す：** まず、実トラフィック上でルーターをシャドー実行し、ルーティング後の支出を、キャッシュを温めた状態で価格を算出したフロンティアモデルのみの基準値と比べます。公平な比較はこれだけです。次に、誰もやらないこの手順として、ルーターが一度も見たことのないタスククラスを保留し、そのクラスで測定します。理由はセクション2で説明します。キャリブレーションセットでは問題なく見えても、新しい機能領域で崩れるルーターは、そのことを知らせてくれません。

**5. 評価結果をロールアウトの条件にし、継続して実行する：** 各タスククラスをルーティング対象にする前に、そのクラスで安価なモデルが明示した基準をクリアするよう求めます。その後も評価ジョブを動かし続けてください。モデルのバージョンは変化するため、3月に調整したルーターが表しているモデルのラインアップは、やがて実在しなくなります。

## 本番用LLMルーターとデモを分けるものは？

### 1. うたい文句の節約額ではなく、最適性

品質の数値を伴わない節約額は、文の半分にすぎません。

最適性は、誰も売り文句にしない指標ですが、請求額を左右します。これは、ルーターが正しく回答できる最安のモデルをどれほどの頻度で選んだかを測ります。ルーターは精度の数値が良好でも、コストを浪費していることがあります。

どのベンダーにも、最適選択率を尋ねてください。提示できないのであれば、購入対象を測定していないということです。

### 2. タスク種別が変わっても性能を維持できるか

自分のものに似たトラフィックを見てきたルーターを選び、調整に使っていない分布での結果を必ず見せてもらいましょう。

### 3. キャッシュが温まっているときの挙動

ルーターの性能は、その下にある仕組みの性能を超えません。

[Anthropicは倍率を公開しています](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)。キャッシュの読み取りは基本の入力コストの0.1x、5分間のキャッシュ書き込みは1.25x、1時間の書き込みは2xです。そのため、モデルを切り替えるターンでは、同じプレフィックスで現在のモデルを使い続けた場合のおよそ12倍のコストがかかり、新しいモデルがセッションを維持する場合にのみ元が取れます。

この2つの説明は両立します。プロバイダーは、離れたプレフィックスを温かい状態に保つため、戻るときのコストは低くなります。コストが高いのは、切り替え先のモデルでの書き込みです。このトレードオフが得になるかどうかは、プレフィックスの長さと、どれほど頻繁に戻るかによって決まります。誰にも代わりに答えられません。それが要点です。

### 4. ルーティングの境界がどこにあるか

毎ターン判断をやり直すルーターは、判断に必要な情報を持たないまま決定を下し、判断を変えるたびにキャッシュ書き込みのコストを払っています。

適切なルーティング境界とは、セッションが行き来しない区切りです。サブタスク全体、明確に分かれたフェーズ、バックグラウンドジョブなどです。

### 5. 判断を確認し、上書きできるか

出力品質が下がったとき、エンジニアはすぐに次の質問に答える必要があります。モデルが変わったのか、それとも自分が変えたのか。選択したモデル、その理由、コストを記録するルーターなら、問題を調査できます。記録しないルーターは、原因不明のデグレードを招きます。

リクエストごとのモデル項目、リクエストごとのコスト項目、そして上書き手段を必ず求めてください。

### 6. 影響範囲。ルーターが鍵を保持するため

ルーターは設計上、認証情報を扱う経路上にあります。プロバイダーのキーを持ち、セルフホスト型のデプロイではクラウド認証情報も持つ場合があります。そのため、価値の高い依存先となります。ルーターを評価するときは、配布方法、リリースへの署名の有無、デプロイ経路で依存関係が固定されるか、ホスト上で何を読み取れるかを尋ねてください。セルフホスト型がマネージド型より自動的に安全というわけではありません。さらされるリスクの種類が異なります。

### 7. 18か月後に誰が所有しているか

だからこそ、評価の打ち合わせで、現在の所有者のもとでロードマップがどうなっているか、サービスが止まった場合の移行経路はどうなるかを尋ねるべきです。

## LLMルーターを使うべきでないのはどんなとき？

**トラフィックの難易度が一様に高いとき：** ルーティングによる節約額を左右するのはトラフィックのばらつきであり、ルーターの賢さではありません。

## 次に何をすればよい？

これで、実際に機能するルーターと、デモで見栄えのするルーターを分ける2つの質問が分かりました。最適選択率はいくつか、そしてタスク種別が変わるとどうなるか、です。

手順1から始めましょう。リクエストログにキャッシュ済み入力トークン数とタスク種別を加え、1週間記録を続けます。この項目ひとつが、f の実値と推測の違いを生みます。

## よくある質問

### LLMルーターとは何ですか？

LLMルーターは、アプリケーションとモデル群の間にある判断レイヤーです。各リクエストを、許容できる品質で最も低コストに完了できそうなモデルへ送ります。生成前ルーターはプロンプトだけから判断します。カスケード型ルーターでは、まず安価なモデルが回答し、スコアラーが回答を不合格にした場合に上位モデルへエスカレーションします。現在、ほとんどの本番システムはこの両方を組み合わせています。

### LLMルーターは本当にコストを節約しますか？

はい。ただし、うたい文句の数値が示すよりもずっと少なく、節約額はルーターではなくトラフィックによって決まります。ベンダーの数値を信じる前に、自分のログから S = f x (1 - r) を計算してください。

### LLMルーターとAIゲートウェイの違いは何ですか？

ゲートウェイは、多数のプロバイダーにまたがる単一エンドポイント、フェイルオーバー、キー管理、予算管理、可観測性を提供します。ルーターは、特定のリクエストをどのモデルが処理するかを決めます。現在、ほとんどのゲートウェイにはルーターが搭載されていますが、この2つの機能は独立しています。

### LLMルーターを購入せず、自分で作ることはできますか？

できます。どちらの場合も測定作業は同じなので、まず上記の手順1から3までを行ってください。自作するなら、タスク種別ごとのルックアップテーブルから始めましょう。その基準が明らかに不十分だと実証されてから、学習済み分類器を追加してください。

### モデルを切り替えるとプロンプトキャッシュは壊れますか？

切り替えると、新しいモデルでのキャッシュ書き込みが発生します。これは5分のTTLで基本の入力コストの1.25xとして課金され、使わなくなったキャッシュ読み取りの0.1xと対照的です。このトレードオフはプレフィックスの長さと戻る頻度によって変わるため、自分のトラフィックで測定してください。

## このガイドをAilootで活用する

Ailootの単一APIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続しましょう。タスクに合うモデルを選び、[Ailootのドキュメント](https://ailoot.ai/docs/)に従って利用を開始してください。


## Ailoot · 企業とそのプロジェクト群

Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。

企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。

Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。
