部落格

如何評估適用於正式環境的 LLM 路由器

Markdown

一份以資料來源為依據的指南,說明如何評估路由決策、任務變化、提示快取的影響、可觀測性、憑證及正式環境部署。

如何挑選適合自己工作負載的路由器?

1. 記錄左右一切的欄位: 每次呼叫都記錄模型、輸入 token 數、快取輸入 token 數、快取寫入 token 數、輸出 token 數、延遲、任務類型,以及結果是否獲得接受或重新嘗試。快取輸入欄位是團隊常會漏掉的欄位,也是決定路由對你是否有幫助的關鍵。記錄一週的資料,花一個下午就能完成儀表化。

2. 貨比三家之前先算出上限: 最大節省額為 S = f x (1 - r),其中 f 是可從頂尖模型轉出的呼叫比例,r 是便宜模型成本占頂尖模型成本的比例。兩者都能從步驟一的資料算出。把時間用在提示快取、批次端點及推理力度上,會更有價值。

3. 依任務類別,從自己的流量建立黃金測試集: 從記錄中取樣,而不是手動撰寫,準備五十到兩百筆有已知良好結果的真實請求。這份資料能讓你之後與供應商的每次討論都更具體。沒有它,你比較的就只是行銷資料。

4. 測試兩個能預測正式環境行為的條件: 首先,在即時流量上以影子模式執行路由器,並將路由後的支出與「全部使用頂尖模型」的基準比較;基準須以暖快取計價,這才是唯一公平的比較方式。其次,也是沒有人會採取的步驟,保留一個路由器從未見過的任務類別,並測量它在該類別的表現。第 2 節會說明原因。路由器可能在你的校準集上表現良好,卻在新的功能領域中崩潰,而且不會發出任何警訊。

5. 以評估結果作為推出條件,並持續執行評估: 每個任務類別成為可路由對象之前,先要求便宜模型在該類別達到明訂的門檻。接著持續執行評估工作,因為模型版本會不斷變動;三月校準的路由器所描述的模型陣容,之後可能就不復存在。

正式環境用 LLM 路由器與展示用版本有何不同?

1. 最佳性,而非醒目的節省數字

只談節省金額、旁邊卻沒有品質數據,就像只說了半句話。

最佳性是沒人拿來行銷的指標,卻能決定你的帳單。它衡量路由器選擇「仍能正確作答的最低成本模型」的頻率。路由器即使有不錯的準確率,也可能仍在浪費資金。

向每家供應商詢問最佳選擇率。如果他們無法提供,就表示他們沒有測量你要買的那項能力。

2. 任務類型改變時能否維持表現

選擇看過與你類似流量的路由器,並堅持要求對方展示它在未經調校的資料分布上的結果。

3. 快取暖機後的表現

路由器的好壞取決於底層機制的好壞。

Anthropic 公布了各項倍率:讀取快取的成本是基本輸入成本的 0.1x,五分鐘的快取寫入成本是 1.25x,一小時的寫入成本是 2x。因此,切換模型的一輪所花成本,大約是使用相同前綴留在原模型的十二倍;只有新模型能延續該工作階段時,這筆成本才划算。

這些說法並不矛盾。供應商會讓你離開的前綴維持暖機狀態,所以回頭使用時成本很低;昂貴的部分,是在你切換到的新模型上寫入快取。這種取捨是否划算,取決於前綴長度,以及你回頭使用的頻率。沒有人能替你回答,這正是重點。

4. 路由邊界在哪裡

每一輪都重新做決定的路由器,做了缺乏足夠資訊的判斷,而且每次改變主意都要付出快取寫入成本。

好的路由邊界,是工作階段不會來回跨越的界線:完整的子任務、明確區隔的階段,或背景工作。

5. 能否查看並覆寫決策

輸出品質下降時,工程師需要迅速回答一個問題:是模型變了,還是我改了模型?會記錄選了哪個模型、原因及成本的路由器,才方便除錯。沒有這些記錄的路由器,只會造成原因不明的回歸問題。

堅持要求每個請求都記錄模型欄位與成本欄位,並提供覆寫選項。

6. 影響範圍,因為路由器掌握你的金鑰

路由器從設計上就位於憑證路徑上。它持有供應商金鑰;若採用自架部署,也可能持有雲端憑證。因此,它是高價值的相依元件。評估路由器時,請詢問它如何散布、發布版本是否經過簽署、部署路徑是否固定相依項目,以及它在主機上能讀取哪些資料。自架不代表一定比代管更安全;兩者面臨的風險不同。

7. 十八個月後由誰負責

因此,在評估會議中,應該詢問目前的所有權架構下,產品發展藍圖如何規劃;如果服務停止,遷移路徑又是什麼。

什麼時候不該使用 LLM 路由器?

當你的流量難度都差不多高時: 路由能節省多少,取決於流量有多不平均,而不是路由器有多聰明。

接下來該怎麼做?

你現在知道了區分「實際可用的路由器」與「展示效果不錯的路由器」的兩個問題:它的最佳選擇率是多少?任務類型改變時會發生什麼事?

從步驟一開始。在請求記錄中加入快取輸入 token 數與任務類型,並持續記錄一週。這個欄位決定你得到的是 f 的真實數值,還是猜測。

常見問題

什麼是 LLM 路由器?

LLM 路由器是位於應用程式與模型群組之間的決策層,會將每個請求送往最可能以最低成本完成可接受結果的模型。生成前路由器只根據提示詞做決定;級聯式路由器則先讓便宜模型作答,再由評分器判定答案不合格時升級處理。目前大多數正式環境系統會結合這兩種方式。

LLM 路由器真的能省錢嗎?

可以,但省下的金額遠低於醒目的宣傳數字,而且實際金額取決於你的流量,而不是路由器。在相信任何供應商的數據之前,先用自己的記錄計算 S = f x (1 - r)。

LLM 路由器與 AI 閘道有何不同?

閘道提供一個端點、故障切換、金鑰管理、預算控制,以及跨多家供應商的可觀測性。路由器則決定特定請求交由哪個模型處理。如今大多數閘道都附有路由器,但這兩種能力彼此獨立。

我可以自行建置 LLM 路由器,而不購買現成產品嗎?

可以,而且無論自行建置或購買,測量工作都相同,因此先完成上述步驟一到三。如果要自行建置,先從依任務類型查找的對照表開始。只有在明確證明這個基準方案不足時,才加入已訓練的分類器。

切換模型會破壞提示快取嗎?

切換模型會在新模型上產生快取寫入成本;五分鐘的 TTL 會按基本輸入成本的 1.25x 計費,而你放棄的快取讀取成本是 0.1x。這種取捨取決於前綴長度及你回頭使用的頻率,因此請以自己的流量進行測量。

使用 Ailoot 實踐本指南

透過單一 Ailoot API,將 AI 模型連接至你的應用程式、代理程式及自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。