LiteLLM Proxy

Zkopírujte konfiguraci a nahraďte sk-... svým klíčem z účtu Ailoot. Klíč je lepší uložit do proměnné prostředí AILOOT_API_KEY, pokud to aplikace umožňuje.

Před spuštěním zavolejte GET /v1/models se svým klíčem Ailoot. Vyberte přesné ID modelu, jehož metody zahrnují POST /v1/chat/completions, a použijte je v konfiguraci. U agentů ověřte také podporu nástrojů a funkce potřebné pro vaši verzi klienta.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# spuštění: litellm --config config.yaml

Toto nastavení načítá klíč z proměnné AILOOT_API_KEY. Nastavte ji před spuštěním aplikace:

export AILOOT_API_KEY="sk-..."   # přidejte do ~/.zshrc nebo ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # poté restartujte terminál

Příklad modelu: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Jakýkoli jiný model vyberte z katalogu – ověřte, že podporuje požadovaný formát.

• Adresa pro formát OpenAI je https://api.ailoot.ai/v1 (nebo úplná cesta, pokud aplikace vyžaduje úplnou adresu).
• Položte krátkou otázku. Pokud se objeví chyba, podívejte se na kód a Request ID a porovnejte je s informacemi na stránce Chyby a limity.
• Chyba 404 hned po nastavení téměř vždy znamená nesprávnou adresu: nadbytečné nebo chybějící /v1.
• Chyba 402 – zůstatek nestačí na rezervu. Agenti rezervují více než chat: proč.

Dokumentace aplikace: https://docs.litellm.ai/docs/providers/openai_compatible