# LLMルーティングとは？

> LLMルーティングが、リクエスト要件、コスト、品質、レイテンシ、コンテキスト、ポリシーに基づいてモデルを選択する仕組み。

Source: https://ailoot.ai/blog/ja/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/ja/what-is-llm-routing/
Language: ja
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-879b7113d54a5d1470dac79d686d59a036f9c8da5a9a4d108716b450493b2476


**LLMルーティング**とは、すべての呼び出しを単一のモデルに固定するのではなく、各AIリクエストを最適なモデルとプロバイダーに送ることです。ルーターは、リクエストを目標、コスト、品質、レイテンシ、コンテキスト長、ポリシーに照らして評価し、最も適した選択肢に振り分けます。

多くのチームは、通常はOpenAIなど、単一のプロバイダーにアプリを直接接続するところから始めます。それで問題ないのは、安価なモデルでもトラフィックの60%を同等の品質で処理できるとわかったり、プロバイダーが停止したり、リクエストにより長いコンテキストウィンドウが必要になったり、規制対象のワークロードを特定の法域外に出せなかったりするまでです。ルーターを使えば、これらすべてに単一のエンドポイントで対応できます。

## LLMルーティングの仕組み

既存のOpenAI互換SDKをプロバイダーではなくルーターに接続します。リクエストごとに、ルーターは次の処理を行います。

1. **候補モデルの集合を作成**し、リクエストに対応できるモデル（必要な機能、コンテキストウィンドウ、利用可能性を備えたもの）を選びます。
2. **候補モデルを評価**し、「品質の最低基準を満たす中で最も安価な選択肢」や「実測レイテンシが最も低い選択肢」など、目標に照らして採点します。
3. **制約を適用**します。予算、許可されたプロバイダー、データの所在、キーごとに許可されたモデルのリストなどが含まれます。
4. **リクエストを送信し、必要に応じてフォールバック**します。最初の選択肢でエラーが発生したり、タイムアウトしたりすると、次に適した候補へ自動的に再試行します。

## チームがモデルを固定せずにルーティングする理由

- **コスト。** 簡単なリクエストは低コストのモデルに振り分け、プレミアムモデルは必要なリクエストのために確保します。
- **信頼性。** プロバイダー間の自動フェイルオーバーにより、あるベンダーの障害で製品全体が停止するのを防げます。
- **柔軟性。** ルーティングはアプリではなくポリシーで決まるため、コードをリリースせずにモデルを切り替えたり追加したりできます。
- **ガバナンス。** 予算、データの所在、品質の最低基準を、サービスごとではなく一元的に適用できます。

## ルーティングと単純なフォールバックの違い

フォールバック（「OpenAIが失敗したらAnthropicを試す」）はルーティングの最も基本的な形ですが、実際のルーティングは障害時だけでなく**すべての**リクエストを最適化します。問題が起きてから選ぶのではなく、コストと品質に基づいて最適な選択肢を事前に選びます。

## Ailootでこのガイドを活用する

Ailootの単一のAPIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、[Ailootのドキュメント](https://ailoot.ai/docs/)に従って利用を開始してください。


## Ailoot · 企業とそのプロジェクト群

Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。

企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。

Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。
