部落格

什麼是模型路由?

Markdown

定義模型路由,並概述評估路由規則、別名、供應商分配、重試與回退行為、負載平衡,以及成本/延遲取捨的標準。

模型路由是指在收到 LLM 請求時,依據政策而非應用程式碼,將請求對應至特定供應商、模型識別碼和 API 金鑰的流程。模型路由器會評估請求脈絡(標頭、租戶、預算狀態、提示詞複雜度)和供應商狀態(錯誤率、延遲、距離速率限制的餘裕),然後在呼叫供應商前改寫目標。能降低 LLM token 成本的模型路由層,通常是團隊最先看見效益的地方。

這個詞涵蓋三種常被混為一談的機制:

  • 靜態路由會以固定權重將模型名稱對應至供應商。
  • 條件式路由會針對每個請求評估運算式(層級標頭、團隊、已使用的預算、複雜度層級),並在符合條件時覆寫目標。
  • 自適應路由會根據觀察到的錯誤率和延遲,持續重新調整供應商和金鑰的權重。

正式環境的 LLM 路由器需要具備這三種機制;只提供其中一種的工具,會讓另外兩種仍得在應用程式碼中處理。關於如何為每個請求挑選最佳模型的智慧型 LLM 路由指南,會深入探討第二種機制。

如何評估 LLM 路由器

標準檢查事項
路由規則語言規則能否讀取標頭、租戶、預算用量和請求類型,並明確定義優先順序?
模型別名best-model能否依金鑰、團隊或環境解析為不同識別碼,且不必修改程式碼?
加權分配權重是否套用於供應商和 API 金鑰層級,並依模型正規化?
回退與重試語意每個回退是否都有自己的重試預算?429的處理方式是否不同於401?
自適應負載平衡權重是否根據即時錯誤率和延遲重新計算?路由恢復後多久會重新啟用?
成本考量定價資料是否同步且可覆寫?規則能否根據已使用的預算採取動作?
額外負擔與部署在持續吞吐量下測得的延遲為何?是自行託管、託管服務,還是僅提供程式庫?

重試與回退的差異,是供應商比較中最常缺少的評估標準:重試是再次嘗試同一個供應商,回退則是改用另一個供應商;若路由器將兩者合併,就無法分別設定預算。

模型路由工具的常見挑戰

正式環境中大多數模型路由故障,都可追溯到幾個反覆出現的缺口,而且每個缺口都有設定層級的解決方式。

  • 路由狀態存在於應用程式碼中。嵌入服務中的模型名稱、供應商偏好設定和回退清單,若不部署就無法變更;虛擬金鑰設定和路由規則則能讓這些設定可供稽核。
  • 重試時忽略錯誤類別。對401進行指數退避重試只會浪費幾秒,而且永遠不會成功;路由器應將該憑證標記為失效,並立即輪替。。
  • 沒有路由決策紀錄。若閘道記錄了哪個引擎選擇路由、哪個金鑰觸及限制,就能更容易判斷供應商的速率限制行為,例如 OpenAI 分級設定的 RPM 和 TPM 限制。

常見問題

什麼是 LLM 路由器?

LLM 路由器是一種元件,會根據設定的規則、靜態權重或即時效能指標,為每個請求選擇供應商、模型和憑證。它位於應用程式與供應商之間,會在呼叫前改寫請求目標,並在路由失敗時處理重試和回退。

模型路由器和 AI 閘道有什麼不同?

模型路由器會決定請求的目的地。AI 閘道則會執行請求,並管理憑證、預算、速率限制、防護措施和記錄。

模型路由如何降低 LLM 成本?

模型路由會將每個請求傳送至符合品質要求且成本最低的模型,並將流量從接近預算或速率限制的供應商轉移出去,藉此降低成本。

重試和回退有什麼不同?

發生5xx或429等暫時性故障後,重試會再次嘗試同一個供應商,也可以改用不同的 API 金鑰。當主要供應商的重試次數用盡後,回退會改用不同的供應商和模型。

LLM 路由器中的自適應負載平衡是什麼?

自適應負載平衡會根據觀察到的指標重新計算路由權重,而不是沿用靜態設定。

使用 Ailoot 實踐本指南

透過單一 Ailoot API,將 AI 模型連接至你的應用程式、代理程式和自動化流程。選擇符合任務需求的模型,並按照 Ailoot 文件開始使用。