# AI 模型路由解析

> 說明模型路由的功能、路由決策的制定方式、如何稽核路由架構，以及選擇路由方式時應考量的因素。

Source: https://ailoot.ai/blog/zh-hant-tw/ai-model-routing-explained/
Canonical: https://ailoot.ai/blog/zh-hant-tw/ai-model-routing-explained/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100070
Revision: sha256-6ce70f737d0a3612da28ce483063b93d79faa132737f5bdb547f2e6c140c9414


AI 模型路由讓您透過單一 API，將提示詞傳送給不同的大型語言模型。LLM 路由器會根據成本、速度或能力，選擇處理每個請求的模型。這聽起來很簡單，但多數團隊並不清楚資料實際流向何處。

## 什麼是 AI 模型路由？

AI 模型路由是透過單一統一介面，將提示詞傳送給不同 LLM 的做法。應用程式不必將單一模型寫死在程式碼中，而是將每個請求傳送至路由層，再由路由器決定要用哪個模型處理各個提示詞。

可以把它想成語言模型的負載平衡器。網頁負載平衡器會將流量分散到多台伺服器；LLM 路由器則會將提示詞分散到不同供應商提供的模型。

路由器可以根據成本、延遲、上下文長度或能力選擇模型。有些路由器允許您設定規則；另一些則使用演算法，挑選符合品質門檻的最低成本模型。

- 以單一 API 端點取代多個供應商整合
- 路由器會根據您設定的規則或自行選用的預設值來挑選模型
- 如果第一個模型失敗，備援路由會將提示詞傳送給備用模型
- 以成本為依據的路由會選擇符合品質門檻的最低成本模型
- 多數路由器會統一 API 格式，因此切換模型不需要修改程式碼

LLM 路由器能帶來彈性，但也代表您可能不知道某個請求是由哪個模型處理，除非自行查核。

<div id="why-companies-use-routers" class="section">

## 企業為何使用 LLM 路由器

企業使用 LLM 路由器主要有三個原因：節省成本、故障切換和實驗。這些理由都很充分。問題在於，多數團隊討論到此為止，從未進一步追問資料實際流向何處。

成本是最大的驅動因素。不同模型的每個 token 收費各不相同。路由器可以為簡單工作挑選最低成本模型，並將較昂貴的模型留給困難工作，從而降低 token 支出 。

第二個原因是故障切換。如果某個供應商服務中斷，路由器可以將提示詞傳送給另一個供應商。應用程式無須人工介入即可持續運作。

第三個原因是實驗。團隊想測試新模型，又不想修改正式環境的程式碼。路由器讓他們能透過穩定的 API 對模型進行 A/B 測試。

- 節省成本：將簡單工作導向低成本模型，困難工作導向高成本模型
- 故障切換：供應商發生服務中斷時自動切換
- 供應商彈性：無須重寫整合程式碼即可測試新模型
- 統一記錄：在同一處查看所有供應商的模型使用情況
- 速率限制管理：在不同供應商之間分散流量，避免受到節流

節省成本和故障切換確實有實際效益，但這些效益並不能成為忽略資料流向的理由。

<div id="routing-tool-landscape" class="section">

## AI 路由工具的完整概況

路由工具市場分為三種類別：託管式市集、開放原始碼代理伺服器，以及雲端供應商閘道。每種類別處理資料儲存地點和模型選擇的方式都不同。

## 路由決策如何制定

路由決策有四種制定方式：手動選擇、規則式路由、成本最佳化，或品質式路由。工具採用的方式，會決定您能否掌控資料的流向。

手動選擇表示您為每個請求挑選模型。大多數工具都支援這種方式作為備援選項。

規則式路由讓您設定條件。例如，將程式設計工作導向合適的模型，並將簡單問題導向低成本模型。規則明確，因此您可以排除特定供應商或模型。

成本最佳化會將請求導向符合能力門檻的最低成本模型。

- 手動：在每次 API 呼叫中指定模型
- 規則式：定義將任務類型對應至模型的條件
- 成本最佳化：路由器自動挑選符合資格的最低成本模型
- 品質式：路由器對模型進行基準測試，並為該任務挑選評分最高的模型
- 備援鏈：路由器依序嘗試模型，直到其中一個成功為止

<div id="compliance-blind-spot" class="section">

## 如何稽核 AI 路由架構

稽核要從一個問題開始：您的路由工具目前可以將資料傳送至哪些模型？如果您無法回答，就表示存在缺口。

步驟一：列出路由器設定為可使用的所有模型端點。

步驟二：針對每個模型，確認其託管供應商和資料處理地點。

步驟三：將資料處理地點與您的法規遵循要求進行比對。

步驟四：封鎖或移除任何違反要求的模型。接著設定監控，以偵測設定漂移。

- 列出路由器能連線到的所有模型端點
- 確認每個模型的資料處理地點
- 封鎖不符合法規遵循要求的模型，並記錄決策
- 監控設定漂移，避免遭封鎖的模型再次被加入

<div id="choosing-the-right-routing-tool" class="section">

## 如何選擇合適的路由工具

合適的工具取決於您的法規遵循狀況、工程能力，以及您需要多大程度地掌控資料流。沒有一個適用於所有情況的最佳答案。

如果您身處受監管的產業，請從內建資料儲存地點控制功能的工具開始評估。

如果您需要最大的彈性，而且擁有實力堅強的 DevOps 團隊，自行託管的路由層能讓您完全掌控，因為每個端點都由您自行託管和設定。但這種掌控能力，取決於您落實設定管理的程度。

## 常見問題

## 運用 Ailoot 實踐本指南

透過單一 Ailoot API，將 AI 模型連接至您的應用程式、代理程式和自動化流程。選擇適合您任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
