LiteLLM Proxy
Markdown자체 게이트웨이 · OpenAI Chat
전체 가이드
| 형식 | 설정 위치 |
|---|---|
| OpenAI Chat | config.yaml → model_list → litellm_params(model, api_base, api_key); 실행 — litellm --config config.yaml |
설정
설정을 복사한 뒤 예시 키 sk-... 대신 Ailoot 대시보드에서 받은 본인 키를 입력하세요. 키는 다음 환경 변수에 보관하는 것이 좋습니다: AILOOT_API_KEY, 앱이 지원하는 경우.
실행 전에 Ailoot 키로 GET /v1/models를 조회하세요. 지원 메서드에 POST /v1/chat/completions가 포함된 정확한 모델 ID를 선택해 설정에 사용하세요. 에이전트에서는 클라이언트 버전에 필요한 도구와 기능의 지원도 확인하세요.
model_list:
- model_name: claude-sonnet
litellm_params:
model: openai/claude-sonnet-5-5
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
- model_name: gpt-sol
litellm_params:
model: openai/gpt-6.1-sol
api_base: https://api.ailoot.ai/v1
api_key: os.environ/AILOOT_API_KEY
# 실행: litellm --config config.yaml이 설정은 다음 변수에서 키를 읽습니다: AILOOT_API_KEY. 앱 시작 전에 설정하세요:
export AILOOT_API_KEY="sk-..." # ~/.zshrc 또는 ~/.bashrc에 추가하세요setx AILOOT_API_KEY "sk-..." # 그런 다음 터미널을 다시 시작하세요모델 예제: openai/claude-sonnet-5-5, openai/gpt-6.1-sol. 다른 모델은 다음에서 선택하세요: 카탈로그 — 필요한 형식을 지원하는지 확인하세요.
알아둘 점
확인
- OpenAI 형식 주소:
https://api.ailoot.ai/v1(앱이 전체 주소를 요구하면 전체 경로 사용). - 짧은 질문을 보내세요. 오류가 오면 코드와 Request ID를 확인하고 다음 페이지를 참고하세요: 오류와 제한.
- 설정 직후 404는 거의 항상 주소 오류입니다. 불필요하거나 누락된 경로:
/v1. - 402는 예약 금액을 충당할 잔액 부족입니다. 에이전트는 채팅보다 많은 금액을 예약합니다: 이유.
앱 문서: https://docs.litellm.ai/docs/providers/openai_compatible
궁금한 점이 남았나요? Request ID와 설명을 보내 주시면 해결을 도와드리겠습니다.지원팀에 문의