블로그

모델 라우팅이란?

Markdown

모델 라우팅을 정의하고 라우팅 규칙, 별칭, 제공업체 분배, 재시도 및 대체 동작, 부하 분산, 비용과 지연 시간 간의 상충 관계를 평가하는 기준을 설명합니다.

모델 라우팅은 애플리케이션 코드가 아니라 정책에 따라 요청 시점에 들어오는 LLM 요청을 특정 제공업체, 모델 식별자, API 키에 연결하는 과정입니다. 모델 라우터는 요청 컨텍스트(헤더, 테넌트, 예산 상태, 프롬프트 복잡도)와 제공업체 상태(오류율, 지연 시간, 속도 제한 여유분)를 평가한 다음 제공업체를 호출하기 전에 대상을 다시 지정합니다. LLM 토큰 비용을 줄이는 모델 라우팅 계층은 대개 팀이 가장 먼저 투자 수익을 확인하는 지점입니다.

이 용어는 흔히 혼동되는 다음 세 가지 메커니즘을 포괄합니다.

  • 정적 라우팅은 고정 가중치를 사용해 모델 이름을 제공업체에 연결합니다.
  • 조건부 라우팅은 요청마다 표현식(티어 헤더, 팀, 소비한 예산, 복잡도 티어)을 평가하고 조건이 일치하면 대상을 재정의합니다.
  • 적응형 라우팅은 관측된 오류율과 지연 시간을 바탕으로 제공업체와 키의 가중치를 지속적으로 다시 조정합니다.

프로덕션 LLM 라우터에는 세 가지가 모두 필요합니다. 이 중 하나만 제공하는 도구를 사용하면 나머지 두 가지는 애플리케이션 코드에서 처리해야 합니다. 요청마다 최적의 모델을 선택하는 방법을 다루는 스마트 LLM 라우팅 가이드에서는 두 번째 메커니즘을 자세히 설명합니다.

LLM 라우터 평가 방법

기준확인할 사항
라우팅 규칙 언어규칙이 정의된 우선순위에 따라 헤더, 테넌트, 예산 사용량, 요청 유형을 읽을 수 있나요?
모델 별칭 지정코드 변경 없이 best-model을 키, 팀 또는 환경별로 서로 다른 식별자로 연결할 수 있나요?
가중치 기반 분배가중치를 제공업체 및 API 키 수준에서 적용하고 모델별로 정규화하나요?
대체 및 재시도 의미각 대체 경로에 자체 재시도 예산이 있나요? 429를 401과 다르게 처리하나요?
적응형 부하 분산실시간 오류율과 지연 시간에 따라 가중치를 다시 계산하나요? 복구된 경로는 얼마나 빨리 다시 활성화되나요?
비용 인식가격 데이터가 동기화되고 재정의 가능한가요? 규칙이 소비한 예산에 반응할 수 있나요?
오버헤드 및 배포지속적인 처리량에서 측정한 지연 시간은 어느 정도인가요? 자체 호스팅, 호스팅 서비스, 아니면 라이브러리만 제공하나요?

재시도와 대체의 차이는 공급업체 비교에서 가장 자주 빠지는 기준입니다. 재시도는 같은 제공업체에 다시 요청하고, 대체는 다른 제공업체로 이동합니다. 둘을 하나로 합치는 라우터는 각각 별도의 예산을 설정할 수 없습니다.

모델 라우팅 도구의 일반적인 과제

프로덕션에서 발생하는 모델 라우팅 문제는 대부분 몇 가지 반복되는 공백에서 비롯되며, 각 공백에는 구성 수준의 해결책이 있습니다.

  • 라우팅 상태가 애플리케이션 코드에 있습니다. 서비스에 포함된 모델 이름, 제공업체 선호도, 대체 목록은 배포 없이는 바꿀 수 없습니다. 가상 키 구성과 라우팅 규칙을 사용하면 이를 감사할 수 있습니다.
  • 오류 유형을 고려하지 않는 재시도. 401을 백오프와 함께 재시도하면 몇 초를 낭비하고 결국 성공하지 못합니다. 라우터는 해당 자격 증명을 사용 불가로 표시하고 즉시 교체해야 합니다..
  • 라우팅 결정 기록이 없습니다. OpenAI의 티어별 RPM 및 TPM 한도와 같은 제공업체의 속도 제한 동작은 게이트웨이가 어떤 엔진이 경로를 선택했는지, 어떤 키가 한도에 걸렸는지를 기록할 때 훨씬 쉽게 파악할 수 있습니다.

자주 묻는 질문

LLM 라우터란 무엇인가요?

LLM 라우터는 구성된 규칙, 정적 가중치 또는 실시간 성능 지표를 바탕으로 각 요청에 사용할 제공업체, 모델, 자격 증명을 선택하는 구성 요소입니다. 애플리케이션과 제공업체 사이에 위치하며, 호출 전에 요청 대상을 다시 지정하고 경로가 실패하면 재시도와 대체 처리를 담당합니다.

모델 라우터와 AI 게이트웨이의 차이점은 무엇인가요?

모델 라우터는 요청을 어디로 보낼지 결정합니다. AI 게이트웨이는 요청을 실행하며 자격 증명, 예산, 속도 제한, 가드레일, 로깅도 관리합니다.

모델 라우팅은 LLM 비용을 어떻게 줄이나요?

모델 라우팅은 품질 요구사항을 충족하는 가장 저렴한 모델에 각 요청을 보내고, 예산이나 속도 제한에 가까워진 제공업체에서 트래픽을 다른 곳으로 옮겨 비용을 줄입니다.

재시도와 대체의 차이점은 무엇인가요?

재시도는 5xx 또는 429와 같은 일시적인 오류가 발생한 뒤 선택적으로 다른 API 키를 사용해 같은 제공업체에 다시 요청합니다. 대체는 기본 경로의 재시도 횟수를 모두 소진한 뒤 다른 제공업체와 모델로 이동합니다.

LLM 라우터에서 적응형 부하 분산이란 무엇인가요?

적응형 부하 분산은 정적 구성 대신 관측된 지표를 바탕으로 경로 가중치를 다시 계산합니다.

Ailoot으로 이 가이드를 활용해 보세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 적합한 모델을 선택하고 Ailoot 문서를 따라 시작해 보세요.