# 如何評估適用於正式環境的 LLM 路由器

> 一份以資料來源為依據的指南，說明如何評估路由決策、任務變化、提示快取的影響、可觀測性、憑證及正式環境部署。

Source: https://ailoot.ai/blog/zh-hant-tw/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/zh-hant-tw/evaluate-llm-router-production/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-d17a0626886f2ed888f3a0f7b38d5709bd60d19ce61ccc0fd540ca9a6aae36e1


## 如何挑選適合自己工作負載的路由器？

**1. 記錄左右一切的欄位：** 每次呼叫都記錄模型、輸入 token 數、快取輸入 token 數、快取寫入 token 數、輸出 token 數、延遲、任務類型，以及結果是否獲得接受或重新嘗試。快取輸入欄位是團隊常會漏掉的欄位，也是決定路由對你是否有幫助的關鍵。記錄一週的資料，花一個下午就能完成儀表化。

**2. 貨比三家之前先算出上限：** 最大節省額為 S = f x (1 - r)，其中 f 是可從頂尖模型轉出的呼叫比例，r 是便宜模型成本占頂尖模型成本的比例。兩者都能從步驟一的資料算出。把時間用在提示快取、批次端點及推理力度上，會更有價值。

**3. 依任務類別，從自己的流量建立黃金測試集：** 從記錄中取樣，而不是手動撰寫，準備五十到兩百筆有已知良好結果的真實請求。這份資料能讓你之後與供應商的每次討論都更具體。沒有它，你比較的就只是行銷資料。

**4. 測試兩個能預測正式環境行為的條件：** 首先，在即時流量上以影子模式執行路由器，並將路由後的支出與「全部使用頂尖模型」的基準比較；基準須以暖快取計價，這才是唯一公平的比較方式。其次，也是沒有人會採取的步驟，保留一個路由器從未見過的任務類別，並測量它在該類別的表現。第 2 節會說明原因。路由器可能在你的校準集上表現良好，卻在新的功能領域中崩潰，而且不會發出任何警訊。

**5. 以評估結果作為推出條件，並持續執行評估：** 每個任務類別成為可路由對象之前，先要求便宜模型在該類別達到明訂的門檻。接著持續執行評估工作，因為模型版本會不斷變動；三月校準的路由器所描述的模型陣容，之後可能就不復存在。

## 正式環境用 LLM 路由器與展示用版本有何不同？

### 1. 最佳性，而非醒目的節省數字

只談節省金額、旁邊卻沒有品質數據，就像只說了半句話。

最佳性是沒人拿來行銷的指標，卻能決定你的帳單。它衡量路由器選擇「仍能正確作答的最低成本模型」的頻率。路由器即使有不錯的準確率，也可能仍在浪費資金。

向每家供應商詢問最佳選擇率。如果他們無法提供，就表示他們沒有測量你要買的那項能力。

### 2. 任務類型改變時能否維持表現

選擇看過與你類似流量的路由器，並堅持要求對方展示它在未經調校的資料分布上的結果。

### 3. 快取暖機後的表現

路由器的好壞取決於底層機制的好壞。

[Anthropic 公布了各項倍率](https://platform.claude.com/docs/en/build-with-claude/prompt-caching)：讀取快取的成本是基本輸入成本的 0.1x，五分鐘的快取寫入成本是 1.25x，一小時的寫入成本是 2x。因此，切換模型的一輪所花成本，大約是使用相同前綴留在原模型的十二倍；只有新模型能延續該工作階段時，這筆成本才划算。

這些說法並不矛盾。供應商會讓你離開的前綴維持暖機狀態，所以回頭使用時成本很低；昂貴的部分，是在你切換到的新模型上寫入快取。這種取捨是否划算，取決於前綴長度，以及你回頭使用的頻率。沒有人能替你回答，這正是重點。

### 4. 路由邊界在哪裡

每一輪都重新做決定的路由器，做了缺乏足夠資訊的判斷，而且每次改變主意都要付出快取寫入成本。

好的路由邊界，是工作階段不會來回跨越的界線：完整的子任務、明確區隔的階段，或背景工作。

### 5. 能否查看並覆寫決策

輸出品質下降時，工程師需要迅速回答一個問題：是模型變了，還是我改了模型？會記錄選了哪個模型、原因及成本的路由器，才方便除錯。沒有這些記錄的路由器，只會造成原因不明的回歸問題。

堅持要求每個請求都記錄模型欄位與成本欄位，並提供覆寫選項。

### 6. 影響範圍，因為路由器掌握你的金鑰

路由器從設計上就位於憑證路徑上。它持有供應商金鑰；若採用自架部署，也可能持有雲端憑證。因此，它是高價值的相依元件。評估路由器時，請詢問它如何散布、發布版本是否經過簽署、部署路徑是否固定相依項目，以及它在主機上能讀取哪些資料。自架不代表一定比代管更安全；兩者面臨的風險不同。

### 7. 十八個月後由誰負責

因此，在評估會議中，應該詢問目前的所有權架構下，產品發展藍圖如何規劃；如果服務停止，遷移路徑又是什麼。

## 什麼時候不該使用 LLM 路由器？

**當你的流量難度都差不多高時：** 路由能節省多少，取決於流量有多不平均，而不是路由器有多聰明。

## 接下來該怎麼做？

你現在知道了區分「實際可用的路由器」與「展示效果不錯的路由器」的兩個問題：它的最佳選擇率是多少？任務類型改變時會發生什麼事？

從步驟一開始。在請求記錄中加入快取輸入 token 數與任務類型，並持續記錄一週。這個欄位決定你得到的是 f 的真實數值，還是猜測。

## 常見問題

### 什麼是 LLM 路由器？

LLM 路由器是位於應用程式與模型群組之間的決策層，會將每個請求送往最可能以最低成本完成可接受結果的模型。生成前路由器只根據提示詞做決定；級聯式路由器則先讓便宜模型作答，再由評分器判定答案不合格時升級處理。目前大多數正式環境系統會結合這兩種方式。

### LLM 路由器真的能省錢嗎？

可以，但省下的金額遠低於醒目的宣傳數字，而且實際金額取決於你的流量，而不是路由器。在相信任何供應商的數據之前，先用自己的記錄計算 S = f x (1 - r)。

### LLM 路由器與 AI 閘道有何不同？

閘道提供一個端點、故障切換、金鑰管理、預算控制，以及跨多家供應商的可觀測性。路由器則決定特定請求交由哪個模型處理。如今大多數閘道都附有路由器，但這兩種能力彼此獨立。

### 我可以自行建置 LLM 路由器，而不購買現成產品嗎？

可以，而且無論自行建置或購買，測量工作都相同，因此先完成上述步驟一到三。如果要自行建置，先從依任務類型查找的對照表開始。只有在明確證明這個基準方案不足時，才加入已訓練的分類器。

### 切換模型會破壞提示快取嗎？

切換模型會在新模型上產生快取寫入成本；五分鐘的 TTL 會按基本輸入成本的 1.25x 計費，而你放棄的快取讀取成本是 0.1x。這種取捨取決於前綴長度及你回頭使用的頻率，因此請以自己的流量進行測量。

## 使用 Ailoot 實踐本指南

透過單一 Ailoot API，將 AI 模型連接至你的應用程式、代理程式及自動化流程。選擇適合任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
