LiteLLM Proxy
MarkdownGateway proprio · OpenAI Chat
Guida completa
| Formato | Dove configurare |
|---|---|
| OpenAI Chat | config.yaml → model_list → litellm_params (model, api_base, api_key); avvio litellm --config config.yaml |
Configurazione
Copia la configurazione e sostituisci sk-... con la tua chiave dall’area personale Ailoot. È meglio conservarla nella variabile d’ambiente AILOOT_API_KEY, se l’applicazione lo supporta.
Prima dell’avvio, richiedi GET /v1/models con la tua chiave Ailoot. Scegli un ID esatto di modello i cui metodi includano POST /v1/chat/completions e usalo nella configurazione. Per gli agenti, verifica anche gli strumenti e le funzioni richieste dalla tua versione del client.
model_list:
- model_name: claude-sonnet
litellm_params:
model: openai/claude-sonnet-5-5
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
- model_name: gpt-sol
litellm_params:
model: openai/gpt-6.1-sol
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
# avvio: litellm --config config.yamlQuesta configurazione legge la chiave dalla variabile AILOOT_API_KEY. Impostala prima di avviare l’applicazione:
export AILOOT_API_KEY="sk-..." # aggiungi a ~/.zshrc o ~/.bashrcsetx AILOOT_API_KEY "sk-..." # poi riavvia il terminaleModello di esempio: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Scegli qualsiasi altro modello dal catalogo — verifica che supporti il formato necessario.
Da sapere
Verifica
- Per il formato OpenAI l’indirizzo è
https://api.ailoot.ai/v1(oppure il percorso completo, se l’applicazione chiede l’indirizzo completo). - Fai una domanda breve. Se ricevi un errore, controlla codice e Request ID e consulta la pagina Errori e limiti.
- 404 subito dopo la configurazione indica quasi sempre un indirizzo errato: manca o è superfluo il segmento
/v1. - 402 — il saldo non basta per la riserva. Gli agenti riservano più di una chat: perché.
Documentazione dell’applicazione: https://docs.litellm.ai/docs/providers/openai_compatible