# 모델 라우팅이란?

> 모델 라우팅을 정의하고 라우팅 규칙, 별칭, 제공업체 분배, 재시도 및 대체 동작, 부하 분산, 비용과 지연 시간 간의 상충 관계를 평가하는 기준을 설명합니다.

Source: https://ailoot.ai/blog/ko/what-is-model-routing/
Canonical: https://ailoot.ai/blog/ko/what-is-model-routing/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-24cc26d9364b9e2e0adee23587251920e7cab22ee4f14758ad3c032056c299ac


모델 라우팅은 애플리케이션 코드가 아니라 정책에 따라 요청 시점에 들어오는 LLM 요청을 특정 제공업체, 모델 식별자, API 키에 연결하는 과정입니다. 모델 라우터는 요청 컨텍스트(헤더, 테넌트, 예산 상태, 프롬프트 복잡도)와 제공업체 상태(오류율, 지연 시간, 속도 제한 여유분)를 평가한 다음 제공업체를 호출하기 전에 대상을 다시 지정합니다. LLM 토큰 비용을 줄이는 모델 라우팅 계층은 대개 팀이 가장 먼저 투자 수익을 확인하는 지점입니다.

이 용어는 흔히 혼동되는 다음 세 가지 메커니즘을 포괄합니다.

- **정적 라우팅**은 고정 가중치를 사용해 모델 이름을 제공업체에 연결합니다.
- **조건부 라우팅**은 요청마다 표현식(티어 헤더, 팀, 소비한 예산, 복잡도 티어)을 평가하고 조건이 일치하면 대상을 재정의합니다.
- **적응형 라우팅**은 관측된 오류율과 지연 시간을 바탕으로 제공업체와 키의 가중치를 지속적으로 다시 조정합니다.

프로덕션 LLM 라우터에는 세 가지가 모두 필요합니다. 이 중 하나만 제공하는 도구를 사용하면 나머지 두 가지는 애플리케이션 코드에서 처리해야 합니다. 요청마다 최적의 모델을 선택하는 방법을 다루는 스마트 LLM 라우팅 가이드에서는 두 번째 메커니즘을 자세히 설명합니다.

## LLM 라우터 평가 방법

| 기준 | 확인할 사항 |
|----|----|
| 라우팅 규칙 언어 | 규칙이 정의된 우선순위에 따라 헤더, 테넌트, 예산 사용량, 요청 유형을 읽을 수 있나요? |
| 모델 별칭 지정 | 코드 변경 없이 `best-model`을 키, 팀 또는 환경별로 서로 다른 식별자로 연결할 수 있나요? |
| 가중치 기반 분배 | 가중치를 제공업체 및 API 키 수준에서 적용하고 모델별로 정규화하나요? |
| 대체 및 재시도 의미 | 각 대체 경로에 자체 재시도 예산이 있나요? `429`를 `401`과 다르게 처리하나요? |
| 적응형 부하 분산 | 실시간 오류율과 지연 시간에 따라 가중치를 다시 계산하나요? 복구된 경로는 얼마나 빨리 다시 활성화되나요? |
| 비용 인식 | 가격 데이터가 동기화되고 재정의 가능한가요? 규칙이 소비한 예산에 반응할 수 있나요? |
| 오버헤드 및 배포 | 지속적인 처리량에서 측정한 지연 시간은 어느 정도인가요? 자체 호스팅, 호스팅 서비스, 아니면 라이브러리만 제공하나요? |

재시도와 대체의 차이는 공급업체 비교에서 가장 자주 빠지는 기준입니다. 재시도는 같은 제공업체에 다시 요청하고, 대체는 다른 제공업체로 이동합니다. 둘을 하나로 합치는 라우터는 각각 별도의 예산을 설정할 수 없습니다.

## 모델 라우팅 도구의 일반적인 과제

프로덕션에서 발생하는 모델 라우팅 문제는 대부분 몇 가지 반복되는 공백에서 비롯되며, 각 공백에는 구성 수준의 해결책이 있습니다.

- **라우팅 상태가 애플리케이션 코드에 있습니다.** 서비스에 포함된 모델 이름, 제공업체 선호도, 대체 목록은 배포 없이는 바꿀 수 없습니다. 가상 키 구성과 라우팅 규칙을 사용하면 이를 감사할 수 있습니다.
- **오류 유형을 고려하지 않는 재시도.** `401`을 백오프와 함께 재시도하면 몇 초를 낭비하고 결국 성공하지 못합니다. 라우터는 해당 자격 증명을 사용 불가로 표시하고 즉시 교체해야 합니다..
- **라우팅 결정 기록이 없습니다.** OpenAI의 티어별 RPM 및 TPM 한도와 같은 제공업체의 속도 제한 동작은 게이트웨이가 어떤 엔진이 경로를 선택했는지, 어떤 키가 한도에 걸렸는지를 기록할 때 훨씬 쉽게 파악할 수 있습니다.

## 자주 묻는 질문

### LLM 라우터란 무엇인가요?

LLM 라우터는 구성된 규칙, 정적 가중치 또는 실시간 성능 지표를 바탕으로 각 요청에 사용할 제공업체, 모델, 자격 증명을 선택하는 구성 요소입니다. 애플리케이션과 제공업체 사이에 위치하며, 호출 전에 요청 대상을 다시 지정하고 경로가 실패하면 재시도와 대체 처리를 담당합니다.

### 모델 라우터와 AI 게이트웨이의 차이점은 무엇인가요?

모델 라우터는 요청을 어디로 보낼지 결정합니다. AI 게이트웨이는 요청을 실행하며 자격 증명, 예산, 속도 제한, 가드레일, 로깅도 관리합니다.

### 모델 라우팅은 LLM 비용을 어떻게 줄이나요?

모델 라우팅은 품질 요구사항을 충족하는 가장 저렴한 모델에 각 요청을 보내고, 예산이나 속도 제한에 가까워진 제공업체에서 트래픽을 다른 곳으로 옮겨 비용을 줄입니다.

### 재시도와 대체의 차이점은 무엇인가요?

재시도는 `5xx` 또는 `429`와 같은 일시적인 오류가 발생한 뒤 선택적으로 다른 API 키를 사용해 같은 제공업체에 다시 요청합니다. 대체는 기본 경로의 재시도 횟수를 모두 소진한 뒤 다른 제공업체와 모델로 이동합니다.

### LLM 라우터에서 적응형 부하 분산이란 무엇인가요?

적응형 부하 분산은 정적 구성 대신 관측된 지표를 바탕으로 경로 가중치를 다시 계산합니다.

## Ailoot으로 이 가이드를 활용해 보세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 적합한 모델을 선택하고 [Ailoot 문서](https://ailoot.ai/docs/)를 따라 시작해 보세요.


## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.
