# 推論とは何ですか？

> AI推論とは何か、バッチ、エッジ、リアルタイム、ストリーミングの各推論がどのように機能するか、そしてチームが精度、性能、コストの課題にどう対処できるかを解説します。

Source: https://ailoot.ai/blog/ja/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/ja/what-is-ai-inferencing/
Language: ja
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-564cc7c334bbac02e21caf3b92ee1a3cdcfdd9dbda14b4ffba0f7bfe9ef61df2


## AIにおける推論とは何ですか？

推論とは、人工知能モデルが新しいデータから予測や出力を生成するプロセスです。トレーニング後、AIモデルはパラメーターと表現を学習しています。新しいデータを受け取ると、それらを使って出力を生成します。推論はAIアプリケーションの実行時またはデプロイ段階に行われ、さまざまな実社会のユースケースを可能にします。

## 推論が重要なのはなぜですか？

AI推論とは、未知のデータから出力を生成するプロセスです。トレーニングデータセットから汎化されたパターンを学習した後、モデルはそれらのパターンを新しいデータに適用します。

たとえば、医療従事者が注釈を付けた医用画像スキャンを使って、AIモデルをトレーニングすることがあります。トレーニング中、モデルはデータ内の視覚的な手がかりや関連性を学習します。その後、推論によって新しいスキャン画像から腫瘍や異常の可能性を特定できます。医療従事者は、同じスキャン画像から結論を導き出すことで、プロセスの精度を評価できます。

人がルールを定義し、統計手法を選ぶ従来の[分析](https://aws.amazon.com/what-is/data-analytics/)技術と比べると、モデルのトレーニングでは、手作業で符号化するのが難しい複雑なパターンをモデルが発見できます。こうしたパターンはモデルのパラメーターから生まれます。推論はそれらを新しいデータに適用します。

## 機械学習推論にはどのような種類がありますか？

[機械学習](https://aws.amazon.com/what-is/machine-learning/)（ML）推論にはいくつかの種類があります。

### **バッチ推論**

バッチ推論は、複数のデータ入力をまとめて予測を行います。時間的な制約がなく、出力を待てるアプリケーションに役立ちます。たとえば、ビジネス分析用の生成AIアプリケーションでは、リアルタイムではなく1時間に1回更新を処理する場合があります。

### **エッジ推論**

[エッジ](https://aws.amazon.com/what-is/edge-computing/)AI推論は、ユーザーのデバイス上、またはデータの発生源の近くでモデルを実行します。処理のためにデータを中央のハブへ送る必要がないため、エッジ推論はネットワーク遅延を減らせます。接続が限られた遠隔地や、推論が不可欠なデバイスで役立ちます。処理速度はデバイスとモデルのレイテンシーによって異なります。

### **リアルタイム推論**

リアルタイム推論は、入力リクエストに応じて即座に出力を生成します。モデルはユーザー入力や接続されたデータソースからデータを受け取り、即時の出力が必要になります。リアルタイム推論は低レイテンシーのAIシステムに依存し、時間的制約の厳しいシステムで一般的に使用されます。たとえば、自動運転車は適時の意思決定を支援するためにこれを利用します。

### **ストリーミング推論**

ストリーミング推論では、データパイプラインが情報を継続的にモデルへ送り、モデルがリアルタイムで出力を生成します。リアルタイム推論と同様に届いたデータに応答しますが、[入力ストリーム](https://aws.amazon.com/what-is/streaming-data/)に基づいて出力を継続的に生成します。リアルタイム推論はユーザー入力やライブリクエストに応答する一方、ストリーミング推論は新しいデータの連続的な流れを処理します。

## 推論はどのように機能しますか？

複数のテクノロジーとデータシステムが連携し、AI推論のためのインフラストラクチャを提供します。

### **機械学習モデルのインフラストラクチャ**

モデルのトレーニングが完了すると、AI推論が可能になります。デプロイ前に、モデルはトレーニング、ファインチューニング、検証、推論の最適化を経ることがあります。

本番環境のトレーニング済みモデルには、グラフィックス処理装置（GPUs）、中央処理装置（CPUs）、[AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/)などの専用AIアクセラレーターによる大きな計算能力が必要になる場合があります。計算リソースには、ストレージ、ネットワーク、データパイプラインも必要です。

### **ユーザー入力とデータの前処理**

データはモデルに入力する前に前処理が必要な場合があります。たとえば、ビジョンモデルでは正規化を使うことがあり、[大規模言語モデル](https://aws.amazon.com/what-is/large-language-model/)（LLMs）ではトークン化を使うことがあります。品質を向上させるために、データをクレンジングすることもできます。

### **推論プロセス**

推論プロセスでは、クリーンなデータを受け取り、フォワードパスを実行して、前処理済みデータをモデルの各層に通し、出力を生成します。これには一連の計算が伴います。

### **出力の生成と後処理**

フォワードパスの後、モデルはトレーニングデータから学習したパターンに基づいて出力を生成します。

後処理では、ガードレールやポリシーに照らして出力をスキャン、フィルタリング、書式設定できます。たとえば、ガードレールは罵倒語や有害なコンテンツの防止に役立ち、書式設定によって出力をビジネスのトーンに合わせられます。

## AIモデルの推論にはどのような課題がありますか？

いくつかの課題が、AIモデルの推論能力に影響することがあります。

### **モデルドリフト**

モデルドリフトは、実世界のデータがトレーニングに使用したデータから変化し、モデルの効果が時間とともに低下するときに発生します。データドリフトは、入力データのパターンが変化するときに発生します。モデルの重みが以前のトレーニングデータに基づいたまま固定されていると、こうした変化によって出力が不正確になることがあります。

コンセプトドリフトは、モデルの入力と出力の関係が変化したり、より複雑になったりするときに発生します。たとえば、フィッシングメールを識別するためにトレーニングされたAIモデルは、学習済みのパターンを使って予測します。新しいテクノロジーによってフィッシング攻撃の手口が変わると、モデルの出力精度が低下する可能性があります。こうした変化に対応するため、再トレーニングが必要になることがあります。

どちらの場合も、以前は良好な性能を発揮していたモデルが、精度の低い回答や誤った回答を生成し始めることがあります。

### **速度と性能**

AIモデルを大規模にデプロイするには、出力を安定して提供できるインフラストラクチャが必要です。組織は、グラフィックスプロセッサー、低レイテンシー、高速なネットワーク速度、複雑なモデル向けの追加の高性能処理装置を必要とする場合があります。

速度と性能を向上させるその他の方法には、インフラストラクチャのアーキテクチャの改善、専用ハードウェアの使用、量子化などの推論最適化手法を適用してモデルサイズを小さくすることがあります。

バッチ推論など別の推論方式を選ぶことで、特定のユースケースの性能を向上できる場合があります。

### **コスト**

推論ワークロードの実行は、予想外のコストにつながることがあります。大規模な運用や、多様なコンテキストにまたがる運用では、計算能力と推論リクエストの量によって費用が増加する可能性があります。組織は、モデルサイズの縮小、処理の並列化、オンライン推論向けの自動スケーリング可能なクラウドインフラストラクチャの利用などの戦略でコストを管理できます。

## AIの精度と有用性を高めるベストプラクティス

AI推論の精度と有用性を高めるには、トレーニングと最適化のプロセスが一部影響します。次のプラクティスが役立ちます。

### **データ品質への投資**

トレーニングデータセットの品質は、新しいデータについて予測し、有用な出力を生成するモデルの能力に直接影響します。適切にラベル付けされ、一貫性があり、ノイズのない高品質なデータは、モデルのパターン識別能力を高めます。データのクレンジング、検証、標準化、不整合の解消など、データを準備するための厳格なプロセスを確立しましょう。

### **熟練した人材の活用**

可能な場合は、モデルのトレーニングと、利用を予定しているテクノロジースタックのアーキテクチャに詳しい人材を参加させましょう。ドメインの専門家はデータの注釈付けを支援し、データの品質と網羅性を高められます。高品質なデータでモデルをトレーニングすると、出力の精度が向上する可能性があります。

### **コンプライアンスのための説明可能性の確保**

推論の出力は説明可能であるべきです。説明可能性の手法は、特定の出力に影響した入力特徴量を示すのに役立ちます。MLモデルの種類によって、使用する手法は異なります。たとえば、シャプレー加法的説明（SHAP）はどのモデルにも適用できますが、木ベースのモデル、線形モデル、ニューラルネットワークに最も適しています。説明可能性は、AIが下した決定について説明を受ける権利を含むGDPRなど、AIコンプライアンスの枠組みに組織が適合するうえでも役立ちます。

## AWSはAI推論をどのように支援できますか？

AWSは、[機械学習](https://aws.amazon.com/ai/machine-learning/)とAIモデルのライフサイクルにおけるさまざまな段階向けに、サービスと専用設計のインフラストラクチャを提供しています。

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/)は、カスタマイズしたモデルの構築、トレーニング、最適化、テスト、ガバナンスを行うための機械学習環境を提供します。

Amazon SageMaker AIは、幅広いユースケースに対応する機械学習ツールを備えたフルマネージドサービスです。統合開発環境（IDE）で、ノートブック、デバッガー、プロファイラー、パイプライン、MLOpsなどのツールを使い、モデルを大規模に構築、トレーニング、デプロイできます。

SageMaker AIは、アクセス制御とMLプロジェクトの透明性を通じて、トレーニングと推論に関するガバナンス要件を支援します。また、大規模なデータセットでトレーニングされた大規模モデルである基盤モデル（FMs）の構築や、ファインチューニング、実験、再トレーニング、デプロイに使えるツールも提供します。

AWSは、AI推論向けのクラウドインフラストラクチャとして、[Amazon EC2](https://aws.amazon.com/ec2/)の専用GPUや、[AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/)などの機械学習チップを提供しています。

[無料アカウントを作成](https://aws.amazon.com/free/)して、今日からAWSでMLモデル推論を始めましょう。

## Ailootでこのガイドを活用する

1つのAiloot APIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、[Ailootドキュメント](https://ailoot.ai/docs/)に沿って始めましょう。

## Ailoot · 企業とそのプロジェクト群

Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。

企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。

Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。
