LiteLLM Proxy

Конфигурацияны көшіріп, мынаны ауыстырыңыз: sk-... Ailoot жеке кабинетіңіздегі кілтке. Кілтті мына орта айнымалысында сақтаған дұрыс: AILOOT_API_KEY, қолданба мұны қолдаса.

Іске қоспас бұрын Ailoot кілтіңізбен GET /v1/models сұрауын жіберіңіз. Әдістері POST /v1/chat/completions қамтитын нақты модель ID мәнін таңдап, баптауда қолданыңыз. Агенттер үшін клиент нұсқасына қажетті құралдар мен мүмкіндіктердің қолдауын да тексеріңіз.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# іске қосу: litellm --config config.yaml

Бұл баптау кілтті мына айнымалыдан оқиды: AILOOT_API_KEY. Оны қолданбаны іске қоспас бұрын орнатыңыз:

export AILOOT_API_KEY="sk-..."   # ~/.zshrc немесе ~/.bashrc файлына қосыңыз

setx AILOOT_API_KEY "sk-..."   # содан кейін терминалды қайта іске қосыңыз

Модель мысалы: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Кез келген басқа модельді мына жерден алыңыз: каталогтан — оның қажетті форматты қолдайтынын тексеріңіз.

• OpenAI форматы үшін мекенжай — https://api.ailoot.ai/v1 (немесе қолданба толық мекенжай сұраса, толық жол).
• Қысқа сұрақ қойыңыз. Қате келсе, код пен Request ID-ді қарап, мына бетпен салыстырыңыз: Қателер және лимиттер.
• Баптаудан кейін бірден шыққан 404 әрдайым дерлік мекенжайдың қате екенін білдіреді: артық немесе жетіспейтін /v1.
• 402 — резервке баланс жетпейді. Агенттер чатқа қарағанда көбірек резервтейді: неге.

Қолданба құжаттамасы: https://docs.litellm.ai/docs/providers/openai_compatible