# 什麼是模型路由？

> 定義模型路由，並概述評估路由規則、別名、供應商分配、重試與回退行為、負載平衡，以及成本／延遲取捨的標準。

Source: https://ailoot.ai/blog/zh-hant-tw/what-is-model-routing/
Canonical: https://ailoot.ai/blog/zh-hant-tw/what-is-model-routing/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-bfb0ccb372575bfdc7eb746b860ff3050acba1c88ff5ebec433f2a14c315fb53


模型路由是指在收到 LLM 請求時，依據政策而非應用程式碼，將請求對應至特定供應商、模型識別碼和 API 金鑰的流程。模型路由器會評估請求脈絡（標頭、租戶、預算狀態、提示詞複雜度）和供應商狀態（錯誤率、延遲、距離速率限制的餘裕），然後在呼叫供應商前改寫目標。能降低 LLM token 成本的模型路由層，通常是團隊最先看見效益的地方。

這個詞涵蓋三種常被混為一談的機制：

- **靜態路由**會以固定權重將模型名稱對應至供應商。
- **條件式路由**會針對每個請求評估運算式（層級標頭、團隊、已使用的預算、複雜度層級），並在符合條件時覆寫目標。
- **自適應路由**會根據觀察到的錯誤率和延遲，持續重新調整供應商和金鑰的權重。

正式環境的 LLM 路由器需要具備這三種機制；只提供其中一種的工具，會讓另外兩種仍得在應用程式碼中處理。關於如何為每個請求挑選最佳模型的智慧型 LLM 路由指南，會深入探討第二種機制。

## 如何評估 LLM 路由器

| 標準 | 檢查事項 |
|----|----|
| 路由規則語言 | 規則能否讀取標頭、租戶、預算用量和請求類型，並明確定義優先順序？ |
| 模型別名 | `best-model`能否依金鑰、團隊或環境解析為不同識別碼，且不必修改程式碼？ |
| 加權分配 | 權重是否套用於供應商和 API 金鑰層級，並依模型正規化？ |
| 回退與重試語意 | 每個回退是否都有自己的重試預算？`429`的處理方式是否不同於`401`？ |
| 自適應負載平衡 | 權重是否根據即時錯誤率和延遲重新計算？路由恢復後多久會重新啟用？ |
| 成本考量 | 定價資料是否同步且可覆寫？規則能否根據已使用的預算採取動作？ |
| 額外負擔與部署 | 在持續吞吐量下測得的延遲為何？是自行託管、託管服務，還是僅提供程式庫？ |

重試與回退的差異，是供應商比較中最常缺少的評估標準：重試是再次嘗試同一個供應商，回退則是改用另一個供應商；若路由器將兩者合併，就無法分別設定預算。

## 模型路由工具的常見挑戰

正式環境中大多數模型路由故障，都可追溯到幾個反覆出現的缺口，而且每個缺口都有設定層級的解決方式。

- <strong>路由狀態存在於應用程式碼中。</strong>嵌入服務中的模型名稱、供應商偏好設定和回退清單，若不部署就無法變更；虛擬金鑰設定和路由規則則能讓這些設定可供稽核。
- <strong>重試時忽略錯誤類別。</strong>對`401`進行指數退避重試只會浪費幾秒，而且永遠不會成功；路由器應將該憑證標記為失效，並立即輪替。。
- <strong>沒有路由決策紀錄。</strong>若閘道記錄了哪個引擎選擇路由、哪個金鑰觸及限制，就能更容易判斷供應商的速率限制行為，例如 OpenAI 分級設定的 RPM 和 TPM 限制。

## 常見問題

### 什麼是 LLM 路由器？

LLM 路由器是一種元件，會根據設定的規則、靜態權重或即時效能指標，為每個請求選擇供應商、模型和憑證。它位於應用程式與供應商之間，會在呼叫前改寫請求目標，並在路由失敗時處理重試和回退。

### 模型路由器和 AI 閘道有什麼不同？

模型路由器會決定請求的目的地。AI 閘道則會執行請求，並管理憑證、預算、速率限制、防護措施和記錄。

### 模型路由如何降低 LLM 成本？

模型路由會將每個請求傳送至符合品質要求且成本最低的模型，並將流量從接近預算或速率限制的供應商轉移出去，藉此降低成本。

### 重試和回退有什麼不同？

發生`5xx`或`429`等暫時性故障後，重試會再次嘗試同一個供應商，也可以改用不同的 API 金鑰。當主要供應商的重試次數用盡後，回退會改用不同的供應商和模型。

### LLM 路由器中的自適應負載平衡是什麼？

自適應負載平衡會根據觀察到的指標重新計算路由權重，而不是沿用靜態設定。

## 使用 Ailoot 實踐本指南

透過單一 Ailoot API，將 AI 模型連接至你的應用程式、代理程式和自動化流程。選擇符合任務需求的模型，並按照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
