LiteLLM Proxy

Konfiguratsiyani nusxalang va almashtiring: sk-... Ailoot boshqaruv panelidagi o‘z kalitingiz bilan. Kalitni muhit o‘zgaruvchisida saqlagan ma’qul: AILOOT_API_KEY — ilova buni qo‘llab-quvvatlasa.

Ishga tushirishdan oldin Ailoot kalitingiz bilan GET /v1/models so‘rovini yuboring. Usullari POST /v1/chat/completions ni o‘z ichiga olgan aniq model ID sini tanlang va sozlamada ishlating. Agentlar uchun mijoz versiyangizga kerakli vositalar va imkoniyatlar qo‘llab-quvvatlanishini ham tekshiring.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# ishga tushirish: litellm --config config.yaml

Bu sozlama kalitni quyidagi o‘zgaruvchidan o‘qiydi: AILOOT_API_KEY. Uni ilovani ishga tushirishdan oldin belgilang:

export AILOOT_API_KEY="sk-..."   # ~/.zshrc yoki ~/.bashrc fayliga qo‘shing

setx AILOOT_API_KEY "sk-..."   # so‘ng terminalni qayta ishga tushiring

Model misoli: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Boshqa istalgan modelni quyidagi joydan oling: katalogdan — kerakli formatni qo‘llab-quvvatlashini tekshiring.

• OpenAI formati uchun manzil — https://api.ailoot.ai/v1 (yoki ilova to‘liq manzilni so‘rasa, to‘liq yo‘l).
• Qisqa savol bering. Xato kelsa, kod va Request ID’ni ko‘ring va quyidagi sahifa bilan solishtiring: Xatolar va limitlar.
• Sozlashdan darhol keyingi 404 deyarli har doim noto‘g‘ri manzilni bildiradi: ortiqcha yoki yetishmayotgan /v1.
• 402 — balans zaxiraga yetmaydi. Agentlar chatga qaraganda ko‘proq zaxira oladi: nega.

Ilova hujjatlari: https://docs.litellm.ai/docs/providers/openai_compatible