문서
SDK와 프레임워크

LiteLLM Proxy

Markdown

자체 게이트웨이 · OpenAI Chat

전체 가이드
형식설정 위치
OpenAI Chatconfig.yaml → model_list → litellm_params(model, api_base, api_key); 실행 — litellm --config config.yaml

설정

설정을 복사한 뒤 예시 키 sk-... 대신 Ailoot 대시보드에서 받은 본인 키를 입력하세요. 키는 다음 환경 변수에 보관하는 것이 좋습니다: AILOOT_API_KEY, 앱이 지원하는 경우.

실행 전에 Ailoot 키로 GET /v1/models를 조회하세요. 지원 메서드에 POST /v1/chat/completions가 포함된 정확한 모델 ID를 선택해 설정에 사용하세요. 에이전트에서는 클라이언트 버전에 필요한 도구와 기능의 지원도 확인하세요.

model_list:
  - model_name: claude-sonnet
    litellm_params:
      model: openai/claude-sonnet-5-5
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY
  - model_name: gpt-sol
    litellm_params:
      model: openai/gpt-6.1-sol
      api_base: https://api.ailoot.ai/v1
      api_key: os.environ/AILOOT_API_KEY

# 실행: litellm --config config.yaml

이 설정은 다음 변수에서 키를 읽습니다: AILOOT_API_KEY. 앱 시작 전에 설정하세요:

export AILOOT_API_KEY="sk-..."   # ~/.zshrc 또는 ~/.bashrc에 추가하세요

모델 예제: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. 다른 모델은 다음에서 선택하세요: 카탈로그 — 필요한 형식을 지원하는지 확인하세요.

알아둘 점

확인

  • OpenAI 형식 주소: https://api.ailoot.ai/v1 (앱이 전체 주소를 요구하면 전체 경로 사용).
  • 짧은 질문을 보내세요. 오류가 오면 코드와 Request ID를 확인하고 다음 페이지를 참고하세요: 오류와 제한.
  • 설정 직후 404는 거의 항상 주소 오류입니다. 불필요하거나 누락된 경로: /v1.
  • 402는 예약 금액을 충당할 잔액 부족입니다. 에이전트는 채팅보다 많은 금액을 예약합니다: 이유.

앱 문서: https://docs.litellm.ai/docs/providers/openai_compatible

궁금한 점이 남았나요? Request ID와 설명을 보내 주시면 해결을 도와드리겠습니다.지원팀에 문의