# 추론이란 무엇인가요?

> AI 추론이 무엇인지, 배치·엣지·실시간·스트리밍 추론이 어떻게 작동하는지, 팀이 정확도·성능·비용 문제를 어떻게 해결할 수 있는지 알아보세요.

Source: https://ailoot.ai/blog/ko/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/ko/what-is-ai-inferencing/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-04eeeaacd196491015130ccb06798c6d555811788e05ad7c093a91e6c5de1650


## 추론(AI)이란 무엇인가요?

추론은 인공지능 모델이 새로운 데이터에서 예측이나 출력을 생성하는 과정입니다. 학습이 끝나면 AI 모델은 매개변수와 표현을 학습한 상태가 됩니다. 새로운 데이터를 받으면 이를 사용해 출력을 생성합니다. 추론은 AI 애플리케이션의 런타임 또는 배포 단계에서 이루어지며, 다양한 실제 사용 사례를 가능하게 합니다.

## 추론은 왜 중요한가요?

AI 추론은 보지 못한 데이터에서 출력을 생성하는 과정입니다. 학습 데이터 세트에서 일반화된 패턴을 학습한 모델은 그 패턴을 새로운 데이터에 적용합니다.

예를 들어 의료 전문가가 주석을 단 의료 영상 스캔으로 AI 모델을 학습시킬 수 있습니다. 학습 중 모델은 데이터의 시각적 단서와 연관성을 학습합니다. 그런 다음 추론을 통해 새로운 스캔에서 잠재적 종양이나 이상을 식별할 수 있습니다. 의료 전문가는 같은 스캔을 바탕으로 결론을 내려 이 과정의 정확도를 평가할 수 있습니다.

사람이 규칙을 정의하고 통계 기법을 선택하는 기존 [분석](https://aws.amazon.com/what-is/data-analytics/) 기법과 비교하면, 모델 학습을 통해 모델은 손으로 인코딩하기 어려운 복잡한 패턴을 발견할 수 있습니다. 이러한 패턴은 모델의 매개변수에서 나타납니다. 추론은 이를 새로운 데이터에 적용합니다.

## 머신러닝 추론의 유형에는 어떤 것이 있나요?

[머신러닝](https://aws.amazon.com/what-is/machine-learning/) (ML) 추론에는 여러 유형이 있습니다.

### **배치 추론**

배치 추론은 여러 데이터 입력을 묶어 예측을 수행합니다. 시간이 중요하지 않아 출력을 기다릴 수 있는 애플리케이션에 유용합니다. 예를 들어 비즈니스 분석용 생성형 AI 애플리케이션은 실시간 대신 한 시간에 한 번 업데이트를 처리할 수 있습니다.

### **엣지 추론**

[엣지](https://aws.amazon.com/what-is/edge-computing/) AI 추론은 사용자 기기에서 또는 데이터 소스 가까이에서 모델을 실행합니다. 데이터를 처리하기 위해 중앙 허브로 보낼 필요가 없으므로 엣지 추론은 네트워크 지연 시간을 줄일 수 있습니다. 연결이 제한된 원격 지역이나 추론이 필수적인 기기에서 유용합니다. 처리 속도는 기기와 모델의 지연 시간에 따라 달라집니다.

### **실시간 추론**

실시간 추론은 입력 요청에 응답해 즉시 출력을 생성합니다. 모델은 사용자 입력이나 연결된 데이터 소스에서 데이터를 받아 즉각적인 출력이 필요하게 됩니다. 실시간 추론은 지연 시간이 짧은 AI 시스템을 기반으로 하며, 시간에 민감한 시스템에서 흔히 사용됩니다. 예를 들어 자율주행 차량은 시의적절한 의사결정을 지원하기 위해 이를 사용합니다.

### **스트리밍 추론**

스트리밍 추론은 정보를 모델에 지속적으로 전달하는 데이터 파이프라인을 사용하며, 모델은 실시간으로 출력을 생성합니다. 실시간 추론처럼 들어오는 데이터에 응답하지만, [입력 스트림](https://aws.amazon.com/what-is/streaming-data/)을 바탕으로 출력을 계속 생성합니다. 실시간 추론은 사용자 입력이나 실시간 요청에 응답하는 반면, 스트리밍 추론은 새로운 데이터의 연속적인 흐름을 처리합니다.

## 추론은 어떻게 작동하나요?

여러 기술과 데이터 시스템이 함께 작동해 AI 추론에 필요한 인프라를 제공합니다.

### **머신러닝 모델 인프라**

모델이 학습된 후 AI 추론이 가능합니다. 배포 전에 모델은 학습, 미세 조정, 검증 및 추론 최적화 과정을 거칠 수 있습니다.

프로덕션 환경의 학습된 모델은 그래픽 처리 장치(GPU), 중앙 처리 장치(CPU), [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/)와 같은 특수 AI 가속기의 상당한 컴퓨팅 성능을 필요로 할 수 있습니다. 컴퓨팅 리소스에는 스토리지, 네트워킹 및 데이터 파이프라인도 필요합니다.

### **사용자 입력 및 데이터 전처리**

데이터를 모델에 입력하기 전에 전처리해야 할 수 있습니다. 예를 들어 비전 모델은 정규화를 사용할 수 있고, [대규모 언어 모델](https://aws.amazon.com/what-is/large-language-model/) (LLM)은 토큰화를 사용할 수 있습니다. 데이터 품질을 높이기 위해 데이터를 정제할 수도 있습니다.

### **추론 프로세스**

추론 프로세스는 정제된 데이터를 받아 순방향 패스를 수행합니다. 전처리된 데이터가 모델의 각 계층을 통과하면서 출력이 생성됩니다. 이 과정에는 일련의 계산이 포함됩니다.

### **출력 생성 및 후처리**

순방향 패스가 끝나면 모델은 학습 데이터에서 익힌 패턴을 바탕으로 출력을 생성합니다.

후처리 과정에서는 가드레일과 정책에 따라 출력을 검사하고, 필터링하고, 형식을 지정할 수 있습니다. 예를 들어 가드레일은 욕설이나 유해한 콘텐츠를 방지하는 데 도움이 되고, 형식 지정은 출력을 기업의 어조에 맞출 수 있습니다.

## AI 모델 추론에는 어떤 문제가 있나요?

여러 문제가 AI 모델의 추론 능력에 영향을 줄 수 있습니다.

### **모델 드리프트**

모델 드리프트는 실제 데이터가 학습에 사용된 데이터와 달라지면서 시간이 지남에 따라 모델의 효과가 떨어지는 현상입니다. 입력 데이터의 패턴이 바뀌면 데이터 드리프트가 발생합니다. 모델의 가중치가 이전 학습 데이터를 바탕으로 고정되어 있으면 이러한 변화로 인해 출력이 부정확해질 수 있습니다.

모델 입력과 출력 사이의 관계가 바뀌거나 더 복잡해지면 개념 드리프트가 발생합니다. 예를 들어 피싱 이메일을 식별하도록 학습된 AI 모델은 익힌 패턴을 사용해 예측합니다. 새로운 기술로 피싱 시도의 방식이 바뀌면 모델 출력의 정확도가 떨어질 수 있습니다. 이러한 변화를 반영하려면 재학습이 필요할 수 있습니다.

두 경우 모두 한때 성능이 좋았던 모델이 덜 정확하거나 잘못된 답변을 내기 시작할 수 있습니다.

### **속도와 성능**

AI 모델을 대규모로 배포하려면 출력을 안정적으로 제공할 수 있는 인프라가 필요합니다. 조직은 복잡한 모델을 위해 그래픽 프로세서, 짧은 지연 시간, 빠른 네트워크 속도 및 추가 고성능 처리 장치가 필요할 수 있습니다.

속도와 성능을 개선하는 다른 방법으로는 인프라 아키텍처 개선, 특수 하드웨어 사용, 양자화와 같은 추론 최적화 기법 적용을 통한 모델 크기 축소 등이 있습니다.

배치 추론처럼 다른 추론 방식을 선택하면 특정 사용 사례의 성능을 개선할 수 있습니다.

### **비용**

추론 워크로드를 실행하면 예상치 못한 비용이 발생할 수 있습니다. 대규모로 실행하거나 여러 상황에서 사용하면 컴퓨팅 성능과 추론 요청량이 늘어 비용이 증가할 수 있습니다. 조직은 모델 크기 축소, 처리 병렬화, 온라인 추론을 위한 자동 확장 클라우드 인프라 사용 등의 전략으로 비용을 관리할 수 있습니다.

## AI 정확도와 유용성을 개선하기 위한 모범 사례

AI 추론의 정확도와 유용성을 개선하려면 학습 및 최적화 과정도 중요합니다. 다음 방법이 도움이 될 수 있습니다.

### **데이터 품질에 투자하기**

학습 데이터 세트의 품질은 새로운 데이터에 대한 예측과 유용한 출력 생성 능력에 직접적인 영향을 줍니다. 라벨이 잘 지정되고 일관성이 있으며 노이즈가 없는 고품질 데이터는 모델의 패턴 식별 능력을 개선할 수 있습니다. 정제, 검증, 표준화 및 불일치 해결을 포함해 데이터를 준비하는 엄격한 프로세스를 수립하세요.

### **숙련된 인력 활용하기**

가능하면 모델 학습과 사용하려는 기술 스택의 아키텍처에 전문성을 갖춘 사람을 참여시키세요. 도메인 전문가가 데이터 주석 작업을 도와 데이터의 품질과 포괄성을 높일 수 있습니다. 고품질 데이터로 모델을 학습시키면 출력의 정확도가 향상될 수 있습니다.

### **규정 준수를 위해 설명 가능성 포함하기**

추론 결과는 설명할 수 있어야 합니다. 설명 가능성 기법을 사용하면 어떤 입력 특성이 특정 출력에 영향을 미쳤는지 보여줄 수 있습니다. ML 모델의 종류에 따라 사용하는 기법이 다릅니다. 예를 들어 Shapley Additive exPlanations (SHAP)은 모든 모델에 적용할 수 있으며, 트리 기반 모델, 선형 모델 및 신경망에 가장 적합합니다. 설명 가능성은 조직이 AI 규정 준수 프레임워크를 따르는 데도 도움이 될 수 있습니다. 여기에는 AI가 내린 결정에 대한 설명을 요구할 GDPR상 권리도 포함됩니다.

## AWS는 AI 추론을 어떻게 지원할 수 있나요?

AWS는 [머신러닝](https://aws.amazon.com/ai/machine-learning/) 및 AI 모델 수명 주기의 여러 단계를 위한 서비스와 목적에 맞게 구축된 인프라를 설명합니다.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/)는 맞춤형 모델을 구축, 학습, 최적화, 테스트 및 관리하기 위한 머신러닝 환경을 제공합니다.

Amazon SageMaker AI는 다양한 사용 사례에 걸쳐 머신러닝 도구를 제공하는 완전관리형 서비스입니다. 통합 개발 환경(IDE)에서 노트북, 디버거, 프로파일러, 파이프라인 및 MLOps와 같은 도구를 활용해 대규모로 모델을 구축, 학습 및 배포할 수 있도록 지원합니다.

SageMaker AI는 액세스 제어와 ML 프로젝트의 투명성을 제공해 학습 및 추론 전반의 거버넌스 요구 사항을 지원합니다. 또한 광범위한 데이터 세트로 학습한 대규모 모델인 파운데이션 모델(FM)을 구축하고, 이를 미세 조정, 실험, 재학습 및 배포하는 도구도 제공합니다.

AWS는 AI 추론을 위한 클라우드 인프라를 제공합니다. 여기에는 [Amazon EC2](https://aws.amazon.com/ec2/)의 특수 GPU와 [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/)와 같은 머신러닝 칩이 포함됩니다.

오늘 [무료 계정을 생성](https://aws.amazon.com/free/)해 AWS에서 ML 모델 추론을 시작해 보세요.

## Ailoot으로 이 가이드를 실제로 활용하세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 [Ailoot 문서](https://ailoot.ai/docs/)를 따라 시작하세요.

## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.
