# AI 추론이란 무엇인가? 모든 AI 출력의 이면에 있는 과정

> AI 추론이 무엇인지, 학습된 모델이 실시간 예측을 생성하는 방식, AI 애플리케이션 구축에서 지연 시간, 비용, 확장성이 중요한 이유를 알아보세요.

Source: https://ailoot.ai/blog/ko/what-is-ai-inference-the-process-behind-every-ai-output/
Canonical: https://ailoot.ai/blog/ko/what-is-ai-inference-the-process-behind-every-ai-output/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100073
Revision: sha256-edce04ea3edf6cda6eb42861a383ff262bde31b631c971fdc8fff77627053b7a


AI 애플리케이션이 응답을 생성하거나 사기 거래를 탐지할 때마다 추론이 실행됩니다. 학습된 모델은 새로운 데이터를 입력받아 학습된 매개변수 계층을 거쳐 출력을 생성합니다. 이 과정은 밀리초 단위로 이루어지며 하루에 수백만 번 발생하기도 합니다. 하지만 그 속도에는 비용이 따릅니다. 각 추론 요청에는 GPU 연산과 메모리 대역폭이 필요하며, 이는 모델 크기와 트래픽 규모에 따라 증가합니다. 지연 시간이 급증하면 사용자는 불편을 겪습니다. GPU 비용은 예상보다 빠르게 늘어납니다. 또한 여러 지역에 워크로드를 확장하면 대부분의 팀이 예상하지 못하는 인프라 복잡성이 생깁니다. digitalocean.com/currents/february-2026)에 따르면, 현재 많은 조직에서 AI 예산의 약 76-100%를 추론에 사용하고 있습니다.

머신러닝 모델이나 AI 워크플로를 배포한다면 중요한 것은 모델이 어떻게 학습하는지만이 아닙니다. 실시간으로 예측을 얼마나 효율적으로 제공하는지도 중요합니다. AI 추론이 무엇이고 성능을 좌우하는 요소가 무엇인지 이해하면 다음 AI 프로젝트에서 더 현명한 아키텍처 결정을 내릴 수 있습니다.

**핵심 요점:**

- 학습이 모델의 지능을 개발하는 과정이라면, 추론은 사기 탐지, LLM 채팅 인터페이스, 추천 시스템과 같은 애플리케이션을 구동합니다.

- AI 예산이 배포로 이동하면서 처리량, 요청당 비용, GPU 활용률, P95/P99 지연 시간은 AI/ML 애플리케이션 구축에서 중요한 요소입니다.

- 클라우드, 엣지, 온디바이스와 같은 AI 추론 환경은 지연 시간, 개인정보 보호, 대역폭, 확장성 측면에서 서로 다른 요구를 충족합니다. 많은 프로덕션 시스템은 하이브리드 방식을 사용합니다.

- DigitalOcean의 GPU Droplets, Bare Metal GPUs, Gradient™ AI Inference Cloud를 이용하면 하이퍼스케일러의 복잡성 없이 확장 가능하고 비용 효율적인 추론을 배포할 수 있습니다.

## AI 추론이란 무엇인가요?

AI 제품 수명 주기 이미지

AI 추론은 AI 수명 주기에서 학습된 모델이 새로운 데이터를 바탕으로 예측하거나 출력을 생성하는 단계입니다. 추천 엔진, 의료 진단, 대규모 언어 모델(LLM) 채팅 인터페이스와 같은 실시간 애플리케이션을 구동합니다. 프로덕션 환경에서는 AI 추론이 사용자에게 결과를 얼마나 빠르게 제공하는지, 트래픽 급증을 시스템이 얼마나 잘 처리하는지, 각 예측을 제공하는 데 드는 비용이 얼마인지를 좌우합니다.

**Workato, 추론 비용 67% 절감**:

Workato는 1조 워크로드 규모의 에이전트형 AI를 운영하며 DigitalOcean의 에이전트형 추론 클라우드와 협력해 긴 컨텍스트의 LLM 추론을 최적화했습니다. NVIDIA Dynamo와 DOKS의 vLLM을 KV 인식 라우팅과 함께 배포해 GPU당 초당 토큰 수를 67% 높이고 GPU를 절반만 사용하면서 모델 비용을 67% 낮췄습니다.

### 학습과 추론의 차이는 무엇인가요?

학습은 모델이 배우는 과정입니다. 방대한 데이터 세트를 입력하고, 모델이 스스로 패턴을 인식할 수 있을 때까지 내부 매개변수 수백만 개를 반복적으로 조정합니다. 모델은 정답이 함께 제공된 입력 데이터(예: 레이블이 지정된 이미지 또는 기대 출력이 있는 텍스트)를 받아 예측을 만들고, 정답과 비교한 다음 실수를 줄이도록 스스로 조정합니다. 모델이 정확한 예측을 잘하게 될 때까지 여러 주기에 걸쳐 이 과정이 반복됩니다. 이 과정은 연산량이 많지만 한 번 또는 주기적으로 수행됩니다. 그다음에 일어나는 것이 추론입니다. 학습된 모델이 이전에 보지 못한 새로운 데이터를 입력받아 실시간으로 예측이나 응답을 생성합니다.

| 요소 | AI 학습 | AI 추론 |
|----|----|----|
| 목적 | 패턴을 학습하고 모델 정확도를 최적화 | 새로운 데이터에서 예측 또는 출력 생성 |
| 사용 데이터 | 대규모 레이블 데이터 세트(예: 과거 사기 거래, 주석이 달린 의료 이미지, 감성 레이블이 지정된 리뷰) | 새롭고 보지 못한 입력 데이터 |
| 출력 | 업데이트된 모델 가중치(최종 학습 모델) | 예측, 점수, 분류 또는 생성된 응답 |
| 연산 요구 사항 | 매우 높음(예: 분산 GPU 클러스터) | 요청당으로는 더 낮지만 지연 시간에 민감 |
| 시간 민감도 | 오프라인, 사용자에게 직접 제공되지 않음 | 실시간 또는 거의 실시간, 사용자에게 직접 제공 |
| 빈도 | 간헐적(초기 학습 및 재학습) | 지속적, 모든 요청에서 실행 |
| 비용 구조 | 초기 학습 비용이 높음 | 요청마다 지속해서 발생하는 비용 |
| 최적화 초점 | 정확도와 손실 감소 | 지연 시간, 처리량, 비용 효율성 |
| 예: AI 콘텐츠 검토 시스템 | 시스템은 “안전”, “스팸”, “혐오 발언”, “정책 위반”으로 레이블이 지정된 게시물 수백만 건으로 학습됩니다. 학습 중 모델은 내부 가중치를 조정해 유해한 콘텐츠와 허용 가능한 콘텐츠를 구별하면서 텍스트, 어조, 키워드, 맥락의 패턴을 학습합니다. | 사용자가 새 게시물을 제출하면 학습된 모델이 텍스트를 실시간으로 처리하고 각 콘텐츠 범주에 대한 확률 점수를 매깁니다. 이 점수를 바탕으로 시스템은 게시물을 자동으로 게시하거나, 플래그를 지정하거나, 노출을 제한하거나, 사람이 검토하도록 전달합니다. |

학습과 추론은 흔히 한데 묶어 이야기하지만 인프라와 예산에 요구하는 바는 크게 다릅니다. AI 추론과 학습 비교 글에서는 실제로 비용이 어디에 들어가는지, 프로덕션에서 모델을 운영할 때 무엇을 우선해야 하는지 설명합니다.

## AI 추론 환경

애플리케이션의 요구 사항, 데이터 민감도, 성능 요건에 따라 추론은 서로 다른 위치에서 실행될 수 있습니다. 중앙 집중식 클라우드 데이터 센터에서 실행하거나, 엣지에서 사용자 가까이 실행하거나, 로컬 기기에서 직접 실행할 수 있습니다.

### 클라우드 추론 환경

클라우드 추론 환경은 GPU와 같은 확장 가능한 연산 리소스를 갖춘 프로덕션 AI 추론의 가장 일반적인 환경입니다. 이 환경은 모델 서빙 프레임워크, 모니터링, API 및 분산 시스템과의 통합을 지원합니다.

예를 들어 추천 엔진을 배포하는 팀은 다음 워크플로를 따를 수 있습니다.

- DigitalOcean GPU Droplets에서 추론 서비스를 실행합니다.

- API 제공을 위해 App Platform으로 API를 배포합니다.

- 모델 아티팩트를 Spaces에 저장합니다.

### 엣지 추론 환경

엣지 추론은 지연 시간과 대역폭 사용량을 줄이기 위해 소매점, 공장, 통신 타워와 같이 데이터 소스에 가까운 곳에서 실행됩니다. 영상 분석과 같은 애플리케이션에서 데이터를 로컬로 처리하면 중앙 클라우드 서버와 왕복 통신에 의존하지 않고 밀리초 안에 의사 결정을 내릴 수 있습니다.

소매점에서 보안 카메라가 계산대 통로를 모니터링합니다. 현장에 설치된 소형 엣지 기기에서 컴퓨터 비전 모델을 실행해 누군가 결제를 건너뛰는 것과 같은 의심스러운 행동을 탐지합니다. 플래그가 지정되면 시스템은 매장 직원에게 즉시 알립니다. 요약 알림과 일일 분석 보고서는 나중에 중앙 검토를 위해 업로드됩니다.

### 온디바이스 추론

온디바이스 추론은 스마트폰, 노트북, 임베디드 시스템과 같은 사용자 하드웨어에서 직접 실행됩니다. 개인정보 보호를 강화하고 네트워크 연결에 대한 의존성을 줄이며, 음성 비서와 생체 인증 같은 애플리케이션에서 즉각적인 응답을 제공하는 것을 목표로 합니다.

사용자가 “안녕, 비서”와 같은 깨우기 문구를 말하면 기기에서 로컬로 실행되는 신경망 모델이 해당 트리거 문구를 지속해서 듣습니다. 오디오는 기기의 CPU 또는 전용 AI 칩에서 실시간으로 처리됩니다. 깨우기 단어가 감지되면 시스템이 활성화되고 추가 처리를 위해 요청을 클라우드로 보냅니다. 이 설정에서는 다음과 같습니다.

- 학습된 깨우기 단어 감지 모델이 기기에 저장됩니다.

- 추론이 로컬 하드웨어에서 지속적으로 실행됩니다.

- 활성화되지 않는 한 원시 오디오는 기기 밖으로 나가지 않습니다.

- 인터넷 연결이 활성 상태가 아니어도 비서가 즉시 응답합니다.

### 적절한 AI 추론 환경을 선택하는 방법

선택하는 추론 환경은 지연 시간 요구 사항, 트래픽 규모, 데이터 민감도, 비용 제약에 따라 달라집니다. 많은 프로덕션 시스템에서 팀은 온디바이스 또는 엣지 처리를 클라우드 기반 추론과 결합하는 하이브리드 방식을 사용합니다.

- **클라우드 추론 선택**: 높은 확장성, 중앙 집중식 모델 관리, 대규모 트래픽이나 GPU 집약적 워크로드 처리 능력이 필요한 경우.

- **엣지 추론 선택**: 데이터 소스 가까이에서의 낮은 지연 시간, 줄어든 대역폭 사용량, 분산된 위치에서의 실시간 처리가 필요한 경우.

- **온디바이스 추론 선택**: 개인정보 보호가 중요하거나 오프라인 기능이 필요하거나 스마트폰과 같은 사용자 하드웨어에서 즉각적인 응답이 필요한 경우.

엣지와 클라우드 중 무엇을 선택할지 고민되시나요? 한 가지 질문에서 시작하세요. 시스템은 얼마나 빨리 응답해야 하나요? 클라우드 컴퓨팅과 엣지 컴퓨팅 비교 글에서 각각을 언제 어떻게 효과적으로 사용할지 알아보세요.

## AI 추론의 이점

AI 추론은 애플리케이션의 응답 속도, 안정적인 확장성, 인프라 비용 관리의 효율성을 좌우합니다. 올바르게 구현하면 AI 추론은 측정 가능한 성능 및 운영상 이점을 제공합니다.

- **실시간 의사 결정**: 추론은 실시간 데이터를 위험 점수, 분류, 순위 또는 생성된 텍스트와 같은 구조화된 출력으로 지속해서 변환합니다. 이러한 출력은 애플리케이션에 전달됩니다. 예를 들어 이상 탐지 모델은 비정상적인 활동을 실시간으로 표시해 자동 알림과 더 빠른 운영 대응을 가능하게 합니다.

- **비용 효율적인 모델 사용**: 모델이 학습된 후에는 재학습 없이 수백만 건의 예측을 제공할 수 있습니다. 대규모 추론은 비용이 많이 들지만, 배칭과 양자화 같은 기법은 LLM 기반 비서와 같이 처리량이 많은 워크로드를 제공할 때 요청당 비용을 줄일 수 있습니다.

- **향상된 사용자 경험**: 낮은 지연 시간의 추론은 애플리케이션이 얼마나 “지능적”으로 느껴지는지에 직접 영향을 미칩니다. AI 기능이 2초가 아니라 100밀리초 만에 응답하면 사용자는 제품이 반응이 빠르고 신뢰할 수 있으며 믿을 만하다고 느낍니다.

- **확장 가능한 프로덕션 배포**: 트래픽이 증가하면 분산 인프라와 자동 확장을 사용해 추론 파이프라인을 수평 확장할 수 있습니다. SaaS 플랫폼에 내장된 생성형 AI 글쓰기 비서는 평상시에는 수백 명의 사용자가 이용하다가 제품 출시 후에는 수만 명을 무리 없이 수용할 수 있습니다.

- **더 빠른 실험과 모델 반복**: 추론 파이프라인을 사용하면 처음부터 재학습하지 않고도 새 모델 버전을 테스트하고 출시할 수 있습니다. 서로 다른 사용자 그룹에 두 모델을 제공해 A/B 테스트를 수행하거나, 사용자에게 영향을 주지 않으면서 실시간 트래픽을 대상으로 새 모델을 평가하는 섀도 배포를 실행하거나, 전체 출시 전에 카나리 릴리스를 사용해 트래픽을 새 버전으로 점진적으로 전환할 수 있습니다.

서버 없이 생성형 AI 모델을 즉시 실행하세요. 단일 API 키로 여러 모델에 액세스하고, 공급자를 전환하며, 추론 워크로드를 계속 실행할 수 있습니다. 간단한 Python 호출을 사용하는 Streamlit 앱에서 DigitalOcean의 Gradient AI 플랫폼에 Fal 이미지 및 오디오 생성 모델을 배포하는 방법을 알아보세요.

## 추론의 과제

모델이 프로덕션 워크로드와 만나면 AI 추론의 복잡성이 드러납니다. 애플리케이션을 실험 단계에서 대규모 배포로 옮길 때는 비용, 성능, 인프라 제약을 평가해야 합니다.

- **대규모 추론의 높은 비용**: 지속적인 GPU 사용, 토큰 기반 가격 책정, 예측하기 어려운 트래픽 패턴이 비용 증가에 기여합니다.

- **프로덕션 워크로드의 지연 시간 민감성**: 실시간 애플리케이션은 변동하는 트래픽 아래에서도 일관되게 낮은 지연 시간으로 응답해야 합니다. 모델 서빙, 네트워킹, 하드웨어 프로비저닝의 성능 병목은 사용자 경험과 시스템 안정성을 저하시킬 수 있습니다.

- **인프라 복잡성과 오케스트레이션 오버헤드**: 많은 팀은 추론 실행에 여러 도구와 API를 사용하므로 운영 복잡성이 커집니다. 분산 시스템에서 배포 오케스트레이션, 자동 확장 구성, 관측 가능성을 관리하려면 GPU 스케줄링과 부하 분산에 관한 전문 지식이 필요합니다.

- **안정성과 프로덕션 관련 우려**: 추론 파이프라인은 출력 일관성을 유지하면서 부하를 견뎌야 합니다. 렌더링 지원을 처리하는 GPU 추론 노드가 높은 동시성에서 충돌하면 진행 중인 영상 편집 세션이 실패하거나 미리보기가 멈출 수 있습니다.

범용 GPU에서 최적화된 추론 클라우드로 확장하고 싶으신가요? DigitalOcean은 Character.AI 및 AMD와 협력해 추론 비용을 50% 줄이고 ~2X QPS로 확장했으며, 표준 GPU 구성보다 ~91% 높은 성능을 제공했습니다.

## AI 추론의 유형

AI 추론은 예측이 생성되는 방식과 시점에 따라 분류됩니다. 일부 시스템은 사용자 입력에 즉시 응답하고, 다른 시스템은 대량의 데이터를 주기적으로 처리하거나 이벤트가 발생하는 대로 지속해서 처리합니다. 차이는 다음과 같습니다.

- **요청 시점**: 예측 생성 시점입니다. 요청마다 즉시 생성하거나, 정해진 간격으로 생성하거나, 데이터가 들어오는 대로 지속해서 생성할 수 있습니다.

- **데이터 흐름 패턴**: 입력 데이터가 시스템을 통과하는 방식입니다. 단일 요청-응답, 대량 데이터 세트 처리, 이벤트 기반 스트리밍이 있습니다.

- **응답성 요구 사항**: 애플리케이션에서 허용되는 응답 시간입니다. 실시간 시스템은 밀리초 단위가 필요하고 긴급하지 않은 워크로드는 결과가 늦게 나와도 괜찮습니다.

### 실시간(온라인) 추론

실시간 추론은 요청이 들어오는 대로 한 번에 하나씩 처리하고 예측을 즉시 반환합니다. 각 사용자 동작이나 API 호출이 모델 예측을 유발하는 “요청-응답” 패턴을 따릅니다. 응답 시간은 모델의 복잡성과 인프라에 따라 보통 밀리초에서 수초 사이입니다.

### 스트리밍 추론

스트리밍 추론은 개별 요청이나 예약된 작업을 기다리는 대신 들어오는 데이터 스트림을 지속해서 평가합니다. 데이터는 이벤트 기반의 연속적인 패턴으로 시스템을 통과하고, 새 데이터가 도착할 때마다 거의 실시간으로 예측이 생성됩니다. 응답성 측면에서 실시간 추론과 배치 추론의 중간에 있으며, 예약된 배치 작업보다 빠르게 동작하지만 개별 요청이 아니라 스트리밍 데이터를 처리합니다.

### 배치 추론

배치 추론은 예약된 간격에 대규모 데이터 세트에 대한 예측을 한꺼번에 실행합니다. 시스템은 몇 분 또는 몇 시간이 걸릴 수 있는 주기적 작업처럼 데이터를 일괄 처리합니다. 워크로드는 작업 스케줄러나 워크플로 엔진을 통해 오케스트레이션되고 분산 컴퓨팅 클러스터에서 실행됩니다. 데이터는 스토리지 시스템에서 읽어 병렬로 처리한 뒤 업데이트된 테이블, 파일, 데이터베이스 레코드로 기록됩니다.

| 유형 | 설명 | 응답 시점 | 데이터 흐름 | 사용 사례 |
|----|----|----|----|----|
| 실시간(온라인) 추론 | 요청이 들어오는 대로 한 번에 하나씩 처리 | 밀리초에서 수초 | 요청-응답 | 챗봇, 사기 탐지, 추천 엔진 |
| 스트리밍 추론 | 들어오는 데이터 스트림을 지속해서 평가 | 거의 실시간 | 이벤트 기반 연속 흐름 | IoT 모니터링, 금융 이벤트 탐지, 이상 탐지 |
| 배치 추론 | 예약된 간격에 대규모 데이터 세트에 대한 예측을 한꺼번에 실행 | 수분에서 수시간(예약된 작업) | 대량 처리 | 신용 점수 산정, 분석 보고서, 주기적 모델 점수 산정 |

## AI 추론의 작동 방식

AI 추론 과정은 요청을 처리하고 연산(CPU 또는 GPU)을 수행한 뒤 API나 특정 형식으로 결과를 반환하는 모델 서빙 계층을 통해 진행됩니다. 사기 탐지 시스템이 신용카드 거래를 평가할 때 각 단계에서 어떤 일이 일어나는지 살펴보겠습니다.

AI 추론 워크플로 이미지

1. **입력 데이터 전처리**: 텍스트, 이미지, 오디오, 구조화된 데이터와 같은 원시 입력을 검증하고 모델이 요구하는 형식으로 변환합니다. 여기에는 토큰화(LLM용), 정규화, 특성 추출, 텐서 변환 등이 포함될 수 있습니다.

예를 들어 고객이 상파울루의 소매점에서 전자제품을 2,400달러어치 구매하며 신용카드를 긁었다고 해보겠습니다. 하지만 고객의 계정은 시카고에 기반을 두고 있고, 기기는 시스템이 전에 본 적이 없습니다. 시스템은 거래에서 금액, 가맹점 범주, 기기 지문, 지리적 위치, 시간대, 최근 소비 내역 등의 구조화된 특성을 추출합니다. 이러한 특성을 정규화하고 모델이 처리할 수 있는 숫자 특성 벡터로 변환합니다.

2. **모델 로딩 및 초기화**: 아키텍처와 학습된 가중치를 포함한 학습 모델을 메모리에 로드합니다. 프로덕션 환경에서는 모델을 대부분 컨테이너화하고 TensorFlow Serving, TorchServe와 같은 프레임워크나 사용자 지정 FastAPI 기반 서비스를 통해 제공합니다.

이 시나리오에서는 사전 학습된 사기 탐지 신경망이 이미 메모리에서 실행되고 있으며, TorchServe를 사용하는 컨테이너화 모델 서버를 통해 배포되어 있습니다. 거래가 들어오면 API 게이트웨이가 특성 벡터를 모델 엔드포인트로 라우팅합니다.

3. **순전파 연산**: 처리된 입력을 모델에 전달하면 행렬 곱셈과 활성화 함수가 출력을 계산합니다. 딥러닝 및 LLM 추론의 경우 지연 시간과 처리량을 최적화하기 위해 이 단계를 GPU 또는 다른 가속기에서 실행합니다.

사기 탐지 예시를 이어가면, 모델은 특성 벡터를 네트워크 계층에 통과시킵니다. 이때 익숙하지 않은 기기, 해외 위치, 높은 거래 금액의 조합을 과거 거래 수백만 건에서 학습한 패턴과 비교해 가중치를 계산합니다. 모델은 원시 사기 확률 점수 0.92를 출력합니다.

4. **예측 후처리**: 원시 모델 출력을 확률 점수, 분류 레이블, 순위 목록, 생성된 토큰과 같이 사용할 수 있는 결과로 변환합니다. 임계값 적용, 디코딩 전략(예: 탐욕적 디코딩 또는 빔 서치), 비즈니스 규칙이 적용될 수 있습니다.

이 사례에서는 규칙 엔진이 시스템의 비즈니스 로직에 따라 0.92 점수를 해석합니다. 이 점수가 0.85 임계값을 초과하고 거래가 국경 간 거래이므로 엔진은 이를 고위험으로 분류하고 거래를 즉시 거절하는 대신 추가 인증을 요청하도록 표시합니다.

5. **응답 전달 및 로깅**: 애플리케이션 아키텍처에 따라 최종 출력을 API, 데이터베이스, 하위 시스템(예: Kafka 스트림, 결제 게이트웨이, 알림 시스템 등)에 반환합니다. 동시에 지연 시간(P95/P99), 처리량, 오류율 등의 지표를 모니터링, 확장, 성능 최적화를 위해 기록합니다.

이 순서를 마무리하면 최초 카드 사용 후 120밀리초 이내에 결제 게이트웨이가 고위험 분류 결과를 받고 고객의 휴대전화로 OTP 인증 요청을 전송합니다. 이와 동시에 시스템은 모델 점수, 거래 메타데이터, 지연 시간(P95), 인증 결과를 기록합니다. 이 데이터는 향후 모델 재학습과 성능 모니터링에 활용됩니다.

원시 FLOPs만 쫓지 말고 중요한 지점에서 LLM 추론을 벤치마킹하세요. 지연 시간, 처리량, 동시성, 비용을 측정하는 방법은 LLM 추론 벤치마킹 전체 가이드에서 확인하세요.

## AI 추론의 핵심 성능 지표

추론 최적화는 어떤 지표에 주의를 기울여야 하는지 아는 데서 시작합니다. 사용 사례에 따라 모든 지표가 똑같이 중요하지는 않지만, 어느 하나라도 무시하면 응답이 느려지거나 컴퓨팅 자원이 낭비되거나 비용이 조용히 불어날 수 있습니다. 특히 중요한 지표는 다음과 같습니다.

| 성능 지표 | 설명 | 중요한 이유 | 예시 |
|----|----|----|----|
| 지연 시간 | 단일 요청에 대한 예측 생성에 걸리는 시간 | 사용자가 체감하는 속도를 좌우합니다. 꼬리 지연 시간(P95/P99)은 부하가 걸렸을 때의 최악의 지연을 보여줍니다. | 챗봇은 평균 120ms에 응답하지만, 피크 트래픽 중 P99에서는 2초가 걸립니다. |
| 처리량 | 초당 요청 수(RPS) 또는 초당 토큰 수(LLM의 경우) | 성능이 저하되기 전에 시스템이 처리할 수 있는 트래픽 규모를 나타냅니다. | 초당 20토큰을 생성하는 경우와 비교해 초당 80토큰을 생성하는 LLM은 대규모 환경의 응답 속도에 차이를 줍니다. |
| 요청당 비용 | 각 추론 호출에 소모되는 컴퓨팅 비용 | 장기적인 프로덕션 경제성과 확장 가능성에 영향을 미칩니다. | GPU 기반 추론 비용이 요청당 0.002달러인 경우와 높은 사용량에서 요청당 0.02달러인 경우를 비교할 수 있습니다. |
| 하드웨어 활용률 | CPU, GPU, 가속기 사용 효율 | 활용률이 낮으면 비용이 증가하고 성능 병목이 생깁니다. | 활용률 30%로 작동하는 GPU는 용량을 낭비하고 예측당 비용을 높입니다. |
| 부하 상태의 확장성 | 트래픽 급증 중에도 성능을 유지하는 능력 | 피크 수요 중 안정성과 일관된 지연 시간을 보장합니다. | 블랙 프라이데이 트래픽을 지연 시간 급증 없이 처리하는 전자상거래 추천 시스템 |

## AI 추론 사용 사례

애플리케이션이 실제로 응답하는 순간 AI 추론이 시작됩니다. 거래 점수 산정, 검색 결과 순위 지정, 텍스트 생성 등 어떤 작업이든 추론은 모델의 지능을 사용자에게 제공되는 동작으로 바꾸는 실행 계층입니다.

- **금융 거래 사기 탐지**: 미국 기반 결제 시스템 회사 H2o.ai는 특성 1,500개가 포함된 1억 6,000만 건의 레코드로 학습된 딥러닝 모델을 사용해 사기를 실시간으로 탐지합니다. 새 거래가 시작되면 배포된 모델이 밀리초 안에 점수를 산정합니다. 시스템은 승인 전에 의심스러운 활동을 차단하거나 플래그를 지정합니다.

- **의료 영상 분석**: 의료 분야의 뇌종양 탐지 연구는 의료 영상 추론이 실제로 어떻게 작동하는지 보여줍니다. MRI 스캔에 먼저 레이블을 지정하고 150×150픽셀로 크기를 조정한 다음 정규화한 뒤 맞춤형 합성곱 신경망(CNN)에 입력했습니다. 추론 중 학습된 모델은 검증 정확도 98.67%로 각 스캔을 종양이 있는 경우와 없는 경우로 분류했습니다. 임상 의사 결정을 지원하기 위해 SHAP, LIME, Grad-CAM과 같은 후처리 기법으로 예측에 영향을 준 영역을 강조하는 시각적 히트맵을 생성했습니다.

- **검색 순위 지정 및 추천 시스템**: 사용자가 검색어를 제출하거나 페이지를 방문하면 과거 클릭, 세션 행동, 메타데이터와 같은 맥락 특성을 인코딩합니다. 순위 지정 또는 추천 모델이 여러 후보 항목의 점수를 실시간으로 산정합니다. AI 추론 시스템은 예측된 관련성 점수에 따라 결과를 정렬하고 엄격한 지연 시간 한도 안에 순위 목록을 반환합니다. Netflix는 추론을 사용합니다. 첫 번째 검색 단계에서는 세션 내 클릭, 탐색 행동, 장기 선호도를 사용해 후보 세트를 구성합니다. 이어서 두 번째 딥러닝 모델이 관련성 점수를 계산하고 약 40밀리초 만에 순위 목록을 제공합니다.

- **자율주행 차량 인식**: Tata Elxsi는 최대 1 km 거리에서 10 Hz로 작동하는 장거리 LiDAR 센서에 AI를 통합해 실시간 자율주행 차량 인식을 구현했습니다. LiDAR의 클라우드 데이터와 카메라 이미지가 융합되어 텐서로 변환되었습니다. 그런 다음 텐서 데이터를 딥러닝 모델에 입력해 차량, 보행자, 교통 표지판을 탐지하고 주행 가능 영역을 분할하는 추론을 수행합니다. 객체 분류, 거리 추정, 위반 탐지(역주행이나 과속 등)와 같은 모델 출력은 다양한 조명과 기상 조건에서 즉각적인 알림이나 주행 결정을 내리도록 모니터링 및 제어 시스템에 직접 전달됩니다.

- **생성형 AI와 콘텐츠 제작**: Writer는 마케팅 문구와 기업용 콘텐츠를 생성하기 위해 400억 매개변수 LLM을 배포하는 에이전트형 AI 플랫폼입니다. 사용자 프롬프트는 API를 통해 전송되고 NVIDIA Triton Inference Server를 통해 제공되는 GPU 가속 모델이 처리하며, 응답은 토큰 단위로 생성됩니다. 여기서 추론은 월 최대 1조 건의 API 호출을 지원하고 초당 90,000단어를 생성합니다.

DigitalOcean은 차세대 추론을 어떻게 구축할까요? DigitalOcean 엔지니어가 Ray, vLLM, Kubernetes를 사용해 생성형 AI를 위한 확장 가능하고 GPU에 최적화된 추론을 구축하는 방법을 확인하세요. 서버리스 모드와 전용 모드, 동적 배칭, 고급 KV 캐시 전략의 작동 방식을 세션에서 알아보세요.

## AI 추론 FAQ

**AI 추론이란 무엇인가요?**

AI 추론은 학습된 머신러닝 모델을 사용해 새롭고 보지 못한 데이터에서 예측이나 출력을 생성하는 과정입니다. AI의 프로덕션 단계로, 실시간 애플리케이션, 분석, 자동화된 의사 결정 시스템을 구축하기 위해 모델을 실행하는 단계입니다.

**학습과 추론의 차이는 무엇인가요?** 학습은 대규모 데이터 세트에서 패턴을 학습하고 내부 매개변수를 조정해 모델을 구축합니다. 추론은 학습된 모델을 새 데이터에 적용해 예측, 분류, 생성된 출력을 만듭니다.

**프로덕션에서 추론이 학습보다 중요한가요?** 프로덕션 시스템에서는 추론이 지속적으로 실행되고 지연 시간, 확장성, 비용에 직접 영향을 미치므로 운영 측면에서 더 중요합니다. 학습이 모델 정확도를 결정한다면 추론은 사용자 경험과 프로덕션 경제성을 결정합니다.

**AI 추론에는 어떤 하드웨어를 사용하나요?** AI 추론은 성능 및 워크로드 요구 사항에 따라 GPU와 TPU 같은 특수 가속기에서 실행됩니다. GPU 추론은 딥러닝 및 LLM 워크로드에서 흔히 사용됩니다.

**실시간 추론과 배치 추론은 어떻게 다른가요?**

실시간 추론은 요청이 들어오면 즉시, 대개 밀리초 또는 수초 안에 예측을 생성합니다. 챗봇, 사기 탐지, 추천 시스템처럼 사용자나 시스템이 즉각적인 응답을 필요로 하는 상호작용형 애플리케이션에서 사용됩니다.

배치 추론은 개별 요청에 응답하는 대신 예약된 간격에 대량의 데이터를 처리합니다. 모델은 누적된 데이터 세트에 대해 주기적 작업으로 예측을 실행해 위험 점수, 수요 예측, 분석 보고서와 같은 출력을 생성합니다.

**AI 추론을 위한 최고의 플랫폼은 무엇인가요?**

AI 추론을 위한 최고의 플랫폼은 확장 가능한 GPU 인프라, 예측 가능한 가격, 통합된 모델 서빙 도구를 제공합니다. DigitalOcean의 Gradient™ AI inference Cloud는 프로덕션 AI 워크로드를 위한 GPU 기반 추론, 자동 확장, 간소화된 인프라를 제공합니다.

## 이 가이드를 Ailoot와 함께 활용하세요

단일 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 [Ailoot 문서](https://ailoot.ai/docs/)를 따라 시작하세요.


## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.
