LiteLLM Proxy

Lastni prehod · OpenAI Chat

Celoten vodnik

Format	Kje nastaviti
OpenAI Chat	config.yaml → model_list → litellm_params (model, api_base, api_key); zagon litellm --config config.yaml

Konfiguracija

Kopirajte konfiguracijo in zamenjajte sk-... s svojim ključem iz nadzorne plošče Ailoot. Ključ je bolje shraniti v okoljsko spremenljivko AILOOT_API_KEY, če aplikacija to omogoča.

Pred zagonom pokličite GET /v1/models s svojim ključem Ailoot. Izberite točen ID modela, katerega metode vključujejo POST /v1/chat/completions, in ga uporabite v nastavitvah. Pri agentih preverite tudi podporo orodjem in funkcije, ki jih potrebuje vaša različica odjemalca.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# zagon: litellm --config config.yaml

Ta konfiguracija ključ prebere iz spremenljivke AILOOT_API_KEY. Nastavite jo pred zagonom aplikacije:

export AILOOT_API_KEY="sk-..."   # dodajte v ~/.zshrc ali ~/.bashrc

setx AILOOT_API_KEY "sk-..."   # nato znova zaženite terminal

Primer modela: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Drug model izberite iz kataloga – preverite, ali podpira zahtevani format.

Kaj morate vedeti

Preverjanje

Pri formatu OpenAI je naslov https://api.ailoot.ai/v1 (ali celotna pot, če aplikacija zahteva celotni naslov).
Zastavite kratko vprašanje. Če prejmete napako, preverite kodo in Request ID ter si oglejte stran Napake in omejitve.
404 takoj po konfiguraciji skoraj vedno pomeni napačen naslov: odvečen ali manjkajoč /v1.
402 – stanje ne zadošča za rezervacijo. Agenti rezervirajo več kot klepet: zakaj.

Dokumentacija aplikacije: https://docs.litellm.ai/docs/providers/openai_compatible

Imate še vprašanja? Pošljite Request ID in opis – pomagali vam bomo razjasniti težavo.Pišite podpori