# 什麼是 LLM 路由？

> LLM 路由如何根據請求需求、成本、品質、延遲、上下文與政策選擇模型。

Source: https://ailoot.ai/blog/zh-hant-tw/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/zh-hant-tw/what-is-llm-routing/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-0d9c10b87c7b6ab40fd9d15722a631dfaeefbf152fd31e9264bcc2aa596dce5a


**LLM 路由**是將每個 AI 請求傳送給最適合的模型與供應商，而不是把每次呼叫都寫死為使用單一模型。路由器會根據你的目標、成本、品質、延遲、上下文長度與政策評估請求，並將請求派送至最合適的選項。

多數團隊一開始會將應用程式直接連接到單一供應商，通常是 OpenAI。這種方式會一直可行，直到發現更便宜的模型也能以相同品質處理 60% 的流量、供應商發生服務中斷、請求需要更長的上下文視窗，或受監管的工作負載不能離開特定司法管轄區。路由器可透過單一端點解決這些問題。

## LLM 路由如何運作

將現有的 OpenAI 相容 SDK 指向路由器，而不是供應商。對於每個請求，路由器會：

1. **建立候選模型集合**，納入能處理該請求的模型（具備適當能力、上下文視窗且可供使用）。
2. **依據你的目標為候選模型評分**，例如「高於品質門檻的最低成本選項」或「實測延遲最低的選項」。
3. **套用限制條件**，例如預算、允許使用的供應商、資料駐留要求，以及各金鑰允許使用的模型清單。
4. **派送請求並執行備援**：如果第一個選項發生錯誤或逾時，路由器會自動改用下一個最合適的候選模型重試。

## 團隊為何使用路由，而不把模型寫死

- **成本。** 將簡單的請求導向低成本模型，並將高階模型保留給真正需要它們的請求。
- **可靠性。** 在供應商之間自動切換，可避免單一廠商服務中斷導致產品停擺。
- **彈性。** 無須發布新程式碼即可替換或新增模型，因為路由設定在政策中，而不是應用程式裡。
- **治理。** 集中控管預算、資料駐留與品質門檻，而不必在每項服務中分別設定。

## 路由與簡單備援的差異

備援（「如果 OpenAI 失敗，就試試 Anthropic」）是最基本的路由形式；但真正的路由會針對**每個**請求進行最佳化，而不只是在失敗時才處理。它會預先根據成本與品質選擇最佳選項，而不是等到發生問題才選擇。

## 使用 Ailoot 將本指南付諸實踐

透過單一 Ailoot API，將 AI 模型連接到你的應用程式、代理程式與自動化流程。選擇適合任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
