ブログ

LLMルーティングとは?

Markdown

LLMルーティングが、リクエスト要件、コスト、品質、レイテンシ、コンテキスト、ポリシーに基づいてモデルを選択する仕組み。

LLMルーティングとは、すべての呼び出しを単一のモデルに固定するのではなく、各AIリクエストを最適なモデルとプロバイダーに送ることです。ルーターは、リクエストを目標、コスト、品質、レイテンシ、コンテキスト長、ポリシーに照らして評価し、最も適した選択肢に振り分けます。

多くのチームは、通常はOpenAIなど、単一のプロバイダーにアプリを直接接続するところから始めます。それで問題ないのは、安価なモデルでもトラフィックの60%を同等の品質で処理できるとわかったり、プロバイダーが停止したり、リクエストにより長いコンテキストウィンドウが必要になったり、規制対象のワークロードを特定の法域外に出せなかったりするまでです。ルーターを使えば、これらすべてに単一のエンドポイントで対応できます。

LLMルーティングの仕組み

既存のOpenAI互換SDKをプロバイダーではなくルーターに接続します。リクエストごとに、ルーターは次の処理を行います。

  1. 候補モデルの集合を作成し、リクエストに対応できるモデル(必要な機能、コンテキストウィンドウ、利用可能性を備えたもの)を選びます。
  2. 候補モデルを評価し、「品質の最低基準を満たす中で最も安価な選択肢」や「実測レイテンシが最も低い選択肢」など、目標に照らして採点します。
  3. 制約を適用します。予算、許可されたプロバイダー、データの所在、キーごとに許可されたモデルのリストなどが含まれます。
  4. リクエストを送信し、必要に応じてフォールバックします。最初の選択肢でエラーが発生したり、タイムアウトしたりすると、次に適した候補へ自動的に再試行します。

チームがモデルを固定せずにルーティングする理由

  • コスト。 簡単なリクエストは低コストのモデルに振り分け、プレミアムモデルは必要なリクエストのために確保します。
  • 信頼性。 プロバイダー間の自動フェイルオーバーにより、あるベンダーの障害で製品全体が停止するのを防げます。
  • 柔軟性。 ルーティングはアプリではなくポリシーで決まるため、コードをリリースせずにモデルを切り替えたり追加したりできます。
  • ガバナンス。 予算、データの所在、品質の最低基準を、サービスごとではなく一元的に適用できます。

ルーティングと単純なフォールバックの違い

フォールバック(「OpenAIが失敗したらAnthropicを試す」)はルーティングの最も基本的な形ですが、実際のルーティングは障害時だけでなくすべてのリクエストを最適化します。問題が起きてから選ぶのではなく、コストと品質に基づいて最適な選択肢を事前に選びます。

Ailootでこのガイドを活用する

Ailootの単一のAPIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、Ailootのドキュメントに従って利用を開始してください。