LiteLLM Proxy

Nukopijuokite konfigūraciją ir pakeiskite sk-... savo raktu iš Ailoot paskyros. Geriau raktą laikyti aplinkos kintamajame AILOOT_API_KEY, jei programa tai palaiko.

Prieš paleisdami iškvieskite GET /v1/models su savo Ailoot raktu. Pasirinkite tikslų modelio ID, kurio metodai apima POST /v1/chat/completions, ir naudokite jį konfigūracijoje. Agentams taip pat patikrinkite įrankių palaikymą ir jūsų kliento versijai reikalingas funkcijas.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# paleidimas: litellm --config config.yaml

Šis nustatymas skaito raktą iš kintamojo AILOOT_API_KEY. Nustatykite jį prieš paleisdami programą:

export AILOOT_API_KEY="sk-..."   # pridėkite į ~/.zshrc arba ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # tada paleiskite terminalą iš naujo

Modelio pavyzdys: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Bet kurį kitą modelį rinkitės iš katalogo — patikrinkite, ar jis turi reikiamą formatą.

• OpenAI formato adresas — https://api.ailoot.ai/v1 (arba visas kelias, jei programa prašo viso adreso).
• Užduokite trumpą klausimą. Jei gavote klaidą, peržiūrėkite kodą ir Request ID bei palyginkite su puslapiu Klaidos ir limitai.
• 404 iškart po nustatymo beveik visada reiškia neteisingą adresą: perteklinį arba trūkstamą /v1.
• 402 — nepakanka balanso rezervui. Agentai rezervuoja daugiau nei pokalbis: kodėl.

Programos dokumentacija: https://docs.litellm.ai/docs/providers/openai_compatible