LiteLLM Proxy

Salin konfigurasi dan gantikan sk-... dengan kunci anda daripada panel pengguna Ailoot. Sebaiknya simpan kunci dalam pemboleh ubah persekitaran AILOOT_API_KEY, jika aplikasi menyokongnya.

Sebelum bermula, panggil GET /v1/models dengan kunci Ailoot anda. Pilih ID model tepat yang kaedahnya merangkumi POST /v1/chat/completions, kemudian gunakannya dalam konfigurasi. Untuk ejen, semak juga sokongan alat dan ciri yang diperlukan oleh versi klien anda.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# jalankan: litellm --config config.yaml

Konfigurasi ini membaca kunci daripada pemboleh ubah AILOOT_API_KEY. Tetapkannya sebelum menjalankan aplikasi:

export AILOOT_API_KEY="sk-..."   # tambahkan pada ~/.zshrc atau ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # kemudian mulakan semula terminal

Contoh model: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Ambil mana-mana model lain daripada katalog — pastikan model mempunyai format yang diperlukan.

• Alamat untuk format OpenAI ialah https://api.ailoot.ai/v1 (atau laluan penuh, jika aplikasi meminta alamat penuh).
• Ajukan soalan ringkas. Jika ralat diterima, semak kod dan Request ID serta rujuk halaman Ralat dan had.
• 404 sejurus selepas konfigurasi hampir selalu bermaksud alamat tidak betul: terdapat lebihan atau kekurangan /v1.
• 402 — baki tidak mencukupi untuk rizab. Ejen merizabkan lebih banyak daripada sembang: sebabnya.

Dokumentasi aplikasi: https://docs.litellm.ai/docs/providers/openai_compatible