LiteLLM Proxy

Kopieren Sie die Konfiguration und ersetzen Sie sk-... durch Ihren eigenen Schlüssel aus dem Ailoot-Kundenbereich. Speichern Sie den Schlüssel besser in der Umgebungsvariablen AILOOT_API_KEY, sofern die Anwendung dies unterstützt.

Rufen Sie vor dem Start GET /v1/models mit Ihrem Ailoot-Schlüssel ab. Wählen Sie eine genaue Modell-ID mit den Methoden POST /v1/chat/completions und tragen Sie diese ID in die Konfiguration ein. Prüfen Sie bei Agenten auch die Werkzeugunterstützung und die für Ihre Clientversion benötigten Funktionen.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# Start: litellm --config config.yaml

Diese Konfiguration liest den Schlüssel aus der Variablen AILOOT_API_KEY. Setzen Sie sie vor dem Start der Anwendung:

export AILOOT_API_KEY="sk-..."   # Fügen Sie dies zu ~/.zshrc oder ~/.bashrc hinzu

setx AILOOT_API_KEY "sk-..."   # Starten Sie danach das Terminal neu

Beispielmodell: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. Wählen Sie jedes andere Modell aus dem Katalog und prüfen Sie, ob es das benötigte Format unterstützt.

• Für das OpenAI-Format lautet die Adresse https://api.ailoot.ai/v1 (oder der vollständige Pfad, wenn die Anwendung eine vollständige Adresse verlangt).
• Stellen Sie eine kurze Frage. Prüfen Sie bei einem Fehler den Code und die Request ID und vergleichen Sie mit der Seite Fehler und Limits.
• 404 direkt nach der Konfiguration bedeutet fast immer eine falsche Adresse: ein zusätzliches oder fehlendes /v1.
• 402 bedeutet, dass das Guthaben für die Reservierung nicht ausreicht. Agenten reservieren mehr als Chats: warum.

Dokumentation der Anwendung: https://docs.litellm.ai/docs/providers/openai_compatible