LiteLLM Proxy

Egen gateway · OpenAI Chat

Fullständig guide

Format	Var du ställer in
OpenAI Chat	config.yaml → model_list → litellm_params (model, api_base, api_key); starta med litellm --config config.yaml

Inställningar

Kopiera konfigurationen och ersätt sk-... med din egen nyckel från Ailoot-kontrollpanelen. Förvara helst nyckeln i miljövariabeln AILOOT_API_KEY, om appen stöder det.

Anropa GET /v1/models med din Ailoot-nyckel innan du startar. Välj ett exakt modell-ID vars metoder omfattar POST /v1/chat/completions och använd det i konfigurationen. Kontrollera även verktygsstöd och funktionerna som din klientversion behöver för agenter.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# start: litellm --config config.yaml

Inställningen läser nyckeln från variabeln AILOOT_API_KEY. Ange den innan appen startas:

export AILOOT_API_KEY="sk-..."   # lägg till i ~/.zshrc eller ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # starta sedan om terminalen

Exempelmodell: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Hämta andra modeller från katalogen — kontrollera att modellen har rätt format.

Viktigt att veta

Kontroll

För OpenAI-format är adressen https://api.ailoot.ai/v1 (eller fullständig sökväg om appen kräver en fullständig adress).
Ställ en kort fråga. Om du får ett fel kontrollerar du koden och Request ID och läser sidan Fel och gränser.
404 direkt efter konfigurering betyder nästan alltid fel adress: ett extra eller saknat /v1.
402 — saldot täcker inte reserveringen. Agenter reserverar mer än chatt: varför.

Appens dokumentation: https://docs.litellm.ai/docs/providers/openai_compatible

Har du fler frågor? Skicka Request ID och en beskrivning, så hjälper vi dig.Kontakta supporten