블로그

LLM 라우팅이란 무엇인가요?

Markdown

LLM 라우팅이 요청 요구 사항, 비용, 품질, 지연 시간, 컨텍스트 및 정책에 따라 모델을 선택하는 방식.

LLM 라우팅은 모든 호출을 하나의 모델로 고정하는 대신, 각 AI 요청을 가장 적합한 모델과 제공업체로 보내는 방식입니다. 라우터는 목표, 비용, 품질, 지연 시간, 컨텍스트 길이 및 정책을 기준으로 요청을 평가한 뒤 가장 잘 맞는 옵션으로 전달합니다.

대부분의 팀은 앱을 보통 OpenAI 같은 단일 제공업체에 직접 연결하는 것으로 시작합니다. 더 저렴한 모델이 트래픽의 60%를 똑같이 잘 처리할 수 있거나, 제공업체에 장애가 발생하거나, 요청에 더 긴 컨텍스트 창이 필요하거나, 규제를 받는 워크로드가 특정 관할권 밖으로 나갈 수 없는 상황이 오기 전까지는 잘 작동합니다. 라우터는 이 모든 문제를 하나의 엔드포인트 뒤에서 해결합니다.

LLM 라우팅 작동 방식

기존 OpenAI 호환 SDK가 제공업체가 아니라 라우터를 사용하도록 설정합니다. 각 요청에 대해 라우터는 다음을 수행합니다.

  1. 요청을 처리할 수 있는 모델(적절한 기능, 컨텍스트 창 및 가용성을 갖춘 모델)로 후보 집합을 구성합니다.
  2. 예를 들어 “품질 기준을 넘는 옵션 중 가장 저렴한 것” 또는 “측정된 지연 시간이 가장 낮은 것”처럼 목표에 따라 후보의 점수를 매깁니다.
  3. 예산, 허용된 제공업체, 데이터 상주 요건, 키별 모델 허용 목록과 같은 제약 조건을 적용합니다.
  4. 요청을 전달하고 대체 옵션으로 전환합니다. 첫 번째 선택에서 오류가 발생하거나 시간 초과가 되면 다음으로 적합한 후보를 자동으로 재시도합니다.

팀이 모델을 고정하는 대신 라우팅하는 이유

  • 비용. 간단한 요청은 저렴한 모델로 보내고, 프리미엄 모델은 필요한 요청에만 사용합니다.
  • 안정성. 제공업체 간 자동 장애 조치 덕분에 한 업체의 장애가 제품 전체를 중단시키지 않습니다.
  • 유연성. 라우팅이 앱 코드가 아니라 정책에 정의되어 있으므로 코드를 배포하지 않고도 모델을 교체하거나 추가할 수 있습니다.
  • 거버넌스. 예산, 데이터 상주 요건 및 품질 기준을 서비스별로 관리하는 대신 중앙에서 적용합니다.

라우팅과 단순 폴백 비교

폴백(“OpenAI가 실패하면 Anthropic을 시도”)은 가장 기본적인 라우팅 형태입니다. 하지만 실제 라우팅은 실패한 요청에만 대응하는 것이 아니라 모든 요청을 최적화합니다. 문제가 생겼을 때만 선택하는 대신 비용과 품질을 고려해 처음부터 가장 적합한 옵션을 고릅니다.

Ailoot으로 이 가이드를 활용하세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트 및 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 Ailoot 문서를 따라 시작하세요.