ブログ

モデルルーティングとは?

Markdown

モデルルーティングを定義し、ルーティングルール、エイリアス、プロバイダーの配分、再試行とフォールバックの動作、負荷分散、コストとレイテンシのトレードオフを評価する基準を概説します。

モデルルーティングとは、ポリシーに従って、受信したLLMリクエストをリクエスト時に特定のプロバイダー、モデル識別子、APIキーに割り当てるプロセスです。アプリケーションコードではなくポリシーに基づいて割り当てます。モデルルーターは、リクエストのコンテキスト(ヘッダー、テナント、予算の状態、プロンプトの複雑さ)とプロバイダーの状態(エラー率、レイテンシ、レート制限までの余裕)を評価し、プロバイダーへの呼び出し前に宛先を書き換えます。LLMのトークンコストを削減するモデルルーティングレイヤーは、通常、チームが最初に効果を実感する場所です。

この用語には、しばしば混同される次の3つの仕組みが含まれます。

  • 静的ルーティングは、固定された重みを使ってモデル名をプロバイダーに割り当てます。
  • 条件付きルーティングは、リクエストごとに式(ティアヘッダー、チーム、消費済み予算、複雑さのティア)を評価し、一致した場合に宛先を上書きします。
  • 適応型ルーティングは、観測されたエラー率とレイテンシに基づいて、プロバイダーとキーの重みを継続的に調整します。

本番環境向けのLLMルーターには3つすべてが必要です。1つだけを提供するツールでは、残り2つをアプリケーションコード側で実装することになります。リクエストごとに最適なモデルを選ぶスマートLLMルーティングガイドでは、2つ目の仕組みを詳しく説明しています。

LLMルーターの評価方法

基準確認事項
ルーティングルールの言語ルールは、優先順位が定義された状態で、ヘッダー、テナント、予算の使用量、リクエストの種類を参照できますか?
モデルエイリアスbest-modelを、コードを変更せずにキー、チーム、環境ごとに異なる識別子へ解決できますか?
重み付けされた配分重みはプロバイダーとAPIキーのレベルで適用され、モデルごとに正規化されていますか?
フォールバックと再試行のセマンティクス各フォールバックに独自の再試行予算がありますか?429は401と異なる方法で処理されますか?
適応型ロードバランシング重みは実際のエラー率とレイテンシから再計算されますか?復旧したルートはどれくらいの速さで復帰しますか?
コストへの配慮価格データは同期され、上書き可能ですか?ルールは消費済み予算に応じて動作できますか?
オーバーヘッドとデプロイ持続的なスループットで測定したレイテンシはどの程度ですか?セルフホスト型、ホスト型、それともライブラリのみですか?

再試行とフォールバックの違いは、ベンダー比較で最も見落とされがちな基準です。再試行は同じプロバイダーに再度要求し、フォールバックは別のプロバイダーに切り替えます。この2つを統合するルーターでは、個別に予算を設定できません。

モデルルーティングツールでよくある課題

本番環境でのモデルルーティングの失敗は、ほとんどの場合、設定レベルで対処できる、繰り返し発生するいくつかの問題に行き着きます。

  • ルーティング状態がアプリケーションコードに存在する。サービスに埋め込まれたモデル名、プロバイダーの優先設定、フォールバックリストは、デプロイなしでは変更できません。仮想キーの設定とルーティングルールを使えば、監査可能になります。
  • エラーの種類を無視した再試行。401をバックオフしながら再試行しても数秒を無駄にするだけで、成功することはありません。ルーターはその認証情報を無効として扱い、ただちに切り替えるべきです。。
  • ルーティングの判断記録がない。OpenAIの段階別RPMおよびTPM制限など、プロバイダーのレート制限の挙動は、どのエンジンがルートを選び、どのキーが制限に達したかをゲートウェイが記録していると、はるかに把握しやすくなります。

よくある質問

LLMルーターとは何ですか?

LLMルーターとは、設定されたルール、静的な重み、またはリアルタイムのパフォーマンス指標に基づいて、リクエストごとにプロバイダー、モデル、認証情報を選択するコンポーネントです。アプリケーションとプロバイダーの間に位置し、呼び出し前にリクエストの宛先を書き換え、ルートに失敗した場合は再試行とフォールバックを処理します。

モデルルーターとAIゲートウェイの違いは何ですか?

モデルルーターはリクエストの送信先を決定します。AIゲートウェイはリクエストを実行し、認証情報、予算、レート制限、ガードレール、ログも管理します。

モデルルーティングはどのようにLLMのコストを削減しますか?

モデルルーティングは、品質要件を満たすモデルのうち最も低コストのモデルに各リクエストを送信し、予算またはレート制限に近づいたプロバイダーからトラフィックを移すことでコストを削減します。

再試行とフォールバックの違いは何ですか?

再試行は、5xxや429などの一時的な失敗の後、必要に応じて別のAPIキーを使い、同じプロバイダーに再度要求します。フォールバックは、プライマリの再試行回数を使い切った後、別のプロバイダーとモデルに切り替えます。

LLMルーターにおける適応型ロードバランシングとは何ですか?

適応型ロードバランシングは、静的な設定ではなく、観測されたメトリクスに基づいてルートの重みを再計算します。

Ailootでこのガイドを活用する

1つのAiloot APIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、Ailootのドキュメントに従って始めましょう。