LiteLLM Proxy
MarkdownGateway sendiri · OpenAI Chat
Panduan lengkap
| Format | Tempat mengatur |
|---|---|
| OpenAI Chat | config.yaml → model_list → litellm_params (model, api_base, api_key); jalankan litellm --config config.yaml |
Konfigurasi
Salin konfigurasi dan ganti sk-... dengan kunci Anda dari dasbor Ailoot. Sebaiknya simpan kunci dalam variabel lingkungan AILOOT_API_KEY, jika aplikasi mendukungnya.
Sebelum menjalankan, panggil GET /v1/models dengan kunci Ailoot Anda. Pilih ID model yang tepat dengan metode POST /v1/chat/completions, lalu gunakan ID tersebut dalam konfigurasi. Untuk agen, periksa juga dukungan alat dan fitur yang diperlukan versi klien Anda.
model_list:
- model_name: claude-sonnet
litellm_params:
model: openai/claude-sonnet-5-5
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
- model_name: gpt-sol
litellm_params:
model: openai/gpt-6.1-sol
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
# jalankan: litellm --config config.yamlKonfigurasi ini membaca kunci dari variabel AILOOT_API_KEY. Tetapkan sebelum menjalankan aplikasi:
export AILOOT_API_KEY="sk-..." # tambahkan ke ~/.zshrc atau ~/.bashrcsetx AILOOT_API_KEY "sk-..." # lalu mulai ulang terminalContoh model: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Ambil model lain dari katalog — pastikan format yang diperlukan tersedia.
Hal yang perlu diketahui
Pemeriksaan
- Untuk format OpenAI, alamatnya —
https://api.ailoot.ai/v1(atau jalur lengkap jika aplikasi meminta alamat lengkap). - Ajukan pertanyaan singkat. Jika terjadi kesalahan, lihat kode dan Request ID, lalu cocokkan dengan halaman Kesalahan dan batas.
- 404 segera setelah konfigurasi hampir selalu berarti alamat salah: ada tambahan atau kekurangan
/v1. - 402 — saldo tidak cukup untuk ditahan. Agen menahan saldo lebih besar daripada chat: alasannya.
Dokumentasi aplikasi: https://docs.litellm.ai/docs/providers/openai_compatible