LiteLLM Proxy

Sao chép cấu hình và thay sk-... bằng khóa của bạn từ trang quản lý tài khoản Ailoot. Nên lưu khóa trong biến môi trường AILOOT_API_KEY, nếu ứng dụng hỗ trợ.

Trước khi chạy, gọi GET /v1/models bằng khóa Ailoot của bạn. Chọn ID mô hình chính xác có các phương thức POST /v1/chat/completions rồi dùng ID đó trong cấu hình. Với tác tử, hãy kiểm tra cả công cụ và tính năng mà phiên bản ứng dụng của bạn cần.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# chạy: litellm --config config.yaml

Cấu hình này đọc khóa từ biến AILOOT_API_KEY. Hãy đặt biến trước khi khởi động ứng dụng:

export AILOOT_API_KEY="sk-..."   # thêm vào ~/.zshrc hoặc ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # sau đó khởi động lại terminal

Mô hình ví dụ: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Chọn bất kỳ mô hình khác từ danh mục — kiểm tra xem mô hình đó có định dạng cần thiết hay không.

• Với định dạng OpenAI, địa chỉ là https://api.ailoot.ai/v1 (hoặc đường dẫn đầy đủ nếu ứng dụng yêu cầu địa chỉ đầy đủ).
• Đặt một câu hỏi ngắn. Nếu nhận được lỗi, hãy xem mã lỗi và Request ID rồi đối chiếu với trang Lỗi và giới hạn.
• Lỗi 404 ngay sau khi cấu hình hầu như luôn là do địa chỉ sai: thừa hoặc thiếu /v1.
• 402 — số dư không đủ cho khoản giữ trước. Tác nhân giữ trước nhiều tiền hơn ứng dụng trò chuyện: lý do.

Tài liệu của ứng dụng: https://docs.litellm.ai/docs/providers/openai_compatible