# AI 모델 라우팅 설명

> 모델 라우팅의 기능, 라우팅 결정 방식, 라우팅 스택 감사 방법, 라우팅 방식을 선택할 때 고려해야 할 요소를 설명합니다.

Source: https://ailoot.ai/blog/ko/ai-model-routing-explained/
Canonical: https://ailoot.ai/blog/ko/ai-model-routing-explained/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100070
Revision: sha256-2ae213ffee1707690c3a547d42ab0941b9b899903b6768834517061da114881c


AI 모델 라우팅을 사용하면 단일 API를 통해 여러 대규모 언어 모델에 프롬프트를 보낼 수 있습니다. LLM 라우터는 비용, 속도 또는 성능을 기준으로 각 요청을 처리할 모델을 선택합니다. 간단해 보이지만, 대부분의 팀은 데이터가 실제로 어디로 전달되는지 알지 못합니다.

## AI 모델 라우팅이란?

AI 모델 라우팅은 하나의 통합 인터페이스를 통해 여러 LLM에 프롬프트를 보내는 방식입니다. 단일 모델을 코드에 고정하는 대신 애플리케이션은 모든 요청을 라우팅 계층으로 보냅니다. 라우터가 각 프롬프트를 처리할 모델을 결정합니다.

언어 모델을 위한 로드 밸런서라고 생각하면 됩니다. 웹 로드 밸런서는 여러 서버에 트래픽을 분산합니다. LLM 라우터는 여러 공급자의 모델에 프롬프트를 분산합니다.

라우터는 비용, 지연 시간, 컨텍스트 길이 또는 성능을 기준으로 모델을 선택할 수 있습니다. 일부 라우터에서는 규칙을 설정할 수 있습니다. 다른 라우터는 알고리즘을 사용해 품질 기준을 충족하는 가장 저렴한 모델을 선택합니다.

- 하나의 API 엔드포인트로 여러 공급자 통합을 대체합니다
- 라우터는 설정한 규칙이나 자체 기본값을 기준으로 모델을 선택합니다
- 첫 번째 모델이 실패하면 대체 라우팅이 프롬프트를 백업 모델로 보냅니다
- 비용 기반 라우팅은 품질 기준을 충족하는 가장 저렴한 모델을 선택합니다
- 대부분의 라우터는 API 형식을 표준화하므로 모델을 바꿔도 코드를 변경할 필요가 없습니다

LLM 라우터는 유연성을 제공하지만, 확인하지 않으면 특정 요청을 어떤 모델이 처리했는지 알기 어려울 수 있습니다.

<div id="why-companies-use-routers" class="section">

## 기업이 LLM 라우터를 사용하는 이유

기업이 LLM 라우터를 사용하는 주된 이유는 비용 절감, 장애 조치, 실험의 세 가지입니다. 모두 타당한 이유입니다. 문제는 대부분의 팀이 여기서 멈추고 데이터가 실제로 어디에 도달하는지는 묻지 않는다는 점입니다.

가장 큰 동인은 비용입니다. 모델마다 토큰당 요금이 다릅니다. 단순한 작업에는 가장 저렴한 모델을 선택하고 어려운 작업에는 고가 모델을 사용하는 라우터는 토큰 지출을 줄일 수 있습니다 .

두 번째 이유는 장애 조치입니다. 공급자 서비스가 중단되면 라우터가 프롬프트를 다른 공급자로 보낼 수 있습니다. 수동 개입 없이 애플리케이션을 계속 운영할 수 있습니다.

세 번째는 실험입니다. 팀은 프로덕션 코드를 변경하지 않고 새로운 모델을 테스트하고 싶어 합니다. 라우터를 사용하면 안정적인 API 뒤에서 모델의 A/B 테스트를 수행할 수 있습니다.

- 비용 절감: 단순한 작업은 저렴한 모델로, 어려운 작업은 고가 모델로 라우팅합니다
- 장애 조치: 공급자 장애가 발생하면 자동으로 전환합니다
- 공급업체 유연성: 통합 코드를 다시 작성하지 않고 새로운 모델을 테스트합니다
- 통합 로깅: 여러 공급자의 모든 모델 사용량을 한곳에서 확인합니다
- 속도 제한 관리: 제한을 피하도록 여러 공급자에 트래픽을 분산합니다

비용 절감과 장애 조치는 실질적인 이점이지만, 데이터가 어디로 가는지 무시해도 된다는 뜻은 아닙니다.

<div id="routing-tool-landscape" class="section">

## AI 라우팅 도구의 전체 현황

라우팅 도구 시장은 호스팅 마켓플레이스, 오픈 소스 프록시, 클라우드 공급자 게이트웨이의 세 가지 범주로 나뉩니다. 각 범주는 데이터 상주 위치와 모델 선택을 서로 다르게 처리합니다.

## 라우팅 결정 방식

라우팅 결정은 수동 선택, 규칙 기반 라우팅, 비용 최적화, 품질 기반 라우팅의 네 가지 방식으로 이루어집니다. 도구가 사용하는 방식에 따라 데이터가 어디로 가는지 통제할 수 있는지가 결정됩니다.

수동 선택은 각 요청에 사용할 모델을 직접 고르는 방식입니다. 대부분의 도구는 이를 대체 옵션으로 지원합니다.

규칙 기반 라우팅을 사용하면 조건을 설정할 수 있습니다. 예를 들어 코딩 작업은 적합한 모델로, 단순한 질문은 저렴한 모델로 라우팅할 수 있습니다. 규칙이 명시적이므로 특정 공급자나 모델을 제외할 수 있습니다.

비용 최적화는 성능 기준을 충족하는 가장 저렴한 모델로 요청을 라우팅합니다.

- 수동: 각 API 호출에서 모델을 지정합니다
- 규칙 기반: 작업 유형을 모델에 연결하는 조건을 정의합니다
- 비용 최적화: 라우터가 조건을 충족하는 가장 저렴한 모델을 자동으로 선택합니다
- 품질 기반: 라우터가 모델을 벤치마크하고 해당 작업에서 가장 높은 점수를 받은 모델을 선택합니다
- 대체 체인: 성공하는 모델을 찾을 때까지 라우터가 모델을 순서대로 시도합니다

<div id="compliance-blind-spot" class="section">

## AI 라우팅 스택 감사 방법

감사는 한 가지 질문에서 시작합니다. 지금 라우팅 도구가 데이터를 보낼 수 있는 모델은 무엇인가요? 답할 수 없다면 관리에 공백이 있는 것입니다.

1단계: 라우터가 사용하도록 설정된 모든 모델 엔드포인트를 나열합니다.

2단계: 각 모델의 호스팅 공급자와 데이터 처리 위치를 확인합니다.

3단계: 데이터 처리 위치가 규정 준수 요건에 부합하는지 비교합니다.

4단계: 요건을 위반하는 모델을 차단하거나 제거합니다. 그런 다음 구성 변경 사항을 감지하도록 모니터링을 설정합니다.

- 라우터가 연결할 수 있는 모든 모델 엔드포인트를 나열합니다
- 각 모델의 데이터 처리 위치를 확인합니다
- 규정을 준수하지 않는 모델을 차단하고 결정을 문서화합니다
- 차단된 모델이 다시 추가되지 않도록 구성 변경 사항을 모니터링합니다

<div id="choosing-the-right-routing-tool" class="section">

## 적합한 라우팅 도구 선택 방법

적합한 도구는 규정 준수 수준, 엔지니어링 역량, 데이터 흐름을 얼마나 통제해야 하는지에 따라 달라집니다. 누구에게나 통하는 하나의 정답은 없습니다.

규제가 적용되는 산업에 종사한다면 데이터 상주 위치 제어 기능을 기본 제공하는 도구부터 살펴보세요.

최대한의 유연성이 필요하고 DevOps 팀의 역량이 충분하다면 자체 호스팅 라우팅 계층으로 완전한 통제권을 확보할 수 있습니다. 모든 엔드포인트를 직접 호스팅하고 구성하기 때문입니다. 하지만 그 통제력은 구성 관리 규율이 뒷받침하는 만큼만 효과적입니다.

## 자주 묻는 질문

## 이 가이드를 Ailoot으로 실행에 옮기세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 [Ailoot 문서](https://ailoot.ai/docs/)를 따라 시작하세요.


## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.
