dokumentasi
SDK dan framework

LiteLLM Proxy

Markdown

Gateway sendiri · OpenAI Chat

Panduan lengkap
FormatTempat mengatur
OpenAI Chatconfig.yaml → model_list → litellm_params (model, api_base, api_key); jalankan litellm --config config.yaml

Konfigurasi

Salin konfigurasi dan ganti sk-... dengan kunci Anda dari dasbor Ailoot. Sebaiknya simpan kunci dalam variabel lingkungan AILOOT_API_KEY, jika aplikasi mendukungnya.

Sebelum menjalankan, panggil GET /v1/models dengan kunci Ailoot Anda. Pilih ID model yang tepat dengan metode POST /v1/chat/completions, lalu gunakan ID tersebut dalam konfigurasi. Untuk agen, periksa juga dukungan alat dan fitur yang diperlukan versi klien Anda.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# jalankan: litellm --config config.yaml

Konfigurasi ini membaca kunci dari variabel AILOOT_API_KEY. Tetapkan sebelum menjalankan aplikasi:

export AILOOT_API_KEY="sk-..."   # tambahkan ke ~/.zshrc atau ~/.bashrc

Contoh model: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Ambil model lain dari katalog — pastikan format yang diperlukan tersedia.

Hal yang perlu diketahui

Pemeriksaan

  • Untuk format OpenAI, alamatnya — https://api.ailoot.ai/v1 (atau jalur lengkap jika aplikasi meminta alamat lengkap).
  • Ajukan pertanyaan singkat. Jika terjadi kesalahan, lihat kode dan Request ID, lalu cocokkan dengan halaman Kesalahan dan batas.
  • 404 segera setelah konfigurasi hampir selalu berarti alamat salah: ada tambahan atau kekurangan /v1.
  • 402 — saldo tidak cukup untuk ditahan. Agen menahan saldo lebih besar daripada chat: alasannya.

Dokumentasi aplikasi: https://docs.litellm.ai/docs/providers/openai_compatible

Masih ada pertanyaan? Kirim Request ID dan penjelasannya — kami akan membantu.Hubungi dukungan