LiteLLM Proxy

自訂閘道 · OpenAI Chat

完整指南

格式	設定位置
OpenAI Chat	config.yaml → model_list → litellm_params (model、api_base、api_key)；以 litellm --config config.yaml 啟動

設定

複製設定，並將sk-...替換為您的 Ailoot 控制台金鑰。若應用程式支援，最好將金鑰存放在環境變數AILOOT_API_KEY中。

執行前，請使用 Ailoot 金鑰呼叫 GET /v1/models。選擇支援方法包含 POST /v1/chat/completions 的確切模型 ID，並填入設定。使用代理程式時，也請確認工具支援及客戶端版本所需的功能。

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# 執行：litellm --config config.yaml

此設定會從環境變數讀取金鑰：AILOOT_API_KEY。請在啟動應用程式前設定：

export AILOOT_API_KEY="sk-..."   # 加入 ~/.zshrc 或 ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # 然後重新啟動終端機

模型範例：openai/claude-sonnet-5-5, openai/gpt-6.1-sol。若要使用其他模型，請從此處選取：目錄 —請確認模型支援所需格式。

重要須知

驗證

OpenAI 格式的位址為https://api.ailoot.ai/v1 (若應用程式要求完整位址，則使用完整路徑)。
提出一個簡短問題。若收到錯誤，請查看代碼與Request ID，並對照此頁面：錯誤與限制。
剛完成設定就遇到 404，幾乎總是位址不正確，可能多加或漏加了/v1。
402 表示餘額不足以涵蓋保留金額。代理需要保留的金額比聊天更多：原因。

應用程式說明文件：https://docs.litellm.ai/docs/providers/openai_compatible

還有疑問嗎？請提供 Request ID與問題描述，我們會協助釐清。聯絡支援