# 什麼是推論？

> 了解 AI 推論是什麼、批次、邊緣、即時與串流推論如何運作，以及團隊如何因應準確度、效能與成本方面的挑戰。

Source: https://ailoot.ai/blog/zh-hant-tw/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/zh-hant-tw/what-is-ai-inferencing/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-d416e6628285218f54955c2b45ad288a686356e256291c3eb28edb7e14939b9f


## 什麼是 AI 推論？

推論是人工智慧模型根據新資料產生預測或輸出的過程。訓練完成後，AI 模型已學會參數與表徵。當模型接收新資料時，會運用這些內容產生輸出。推論發生於 AI 應用程式的執行階段或部署階段，並支援各種真實世界的應用情境。

## 為什麼推論很重要？

AI 推論是從未見過的資料產生輸出的過程。模型從訓練資料集學會泛化模式後，會將這些模式套用至新資料。

例如，AI 模型可能使用由醫療專業人員標註的醫學影像掃描結果進行訓練。在訓練期間，模型會學習資料中的視覺線索與關聯。接著，它可以透過推論，在新的掃描影像中辨識可能的腫瘤或異常。醫療專業人員可以根據相同的掃描影像得出結論，藉此評估此流程的準確度。

相較於傳統的[分析](https://aws.amazon.com/what-is/data-analytics/)技術（由人員定義規則並選擇統計方法），模型訓練能讓模型找出難以手動編碼的複雜模式。這些模式會呈現在模型的參數中。推論會將它們套用至新資料。

## 機器學習推論有哪些類型？

[機器學習](https://aws.amazon.com/what-is/machine-learning/)（ML）推論有幾種類型。

### **批次推論**

批次推論會使用多筆資料輸入組成的群組進行預測。它適用於時間要求不高、可以等待輸出的應用程式。例如，商業分析生成式 AI 應用程式可能每小時處理一次更新，而非即時處理。

### **邊緣推論**

[邊緣](https://aws.amazon.com/what-is/edge-computing/) AI 推論會在使用者的裝置上，或在資料來源附近執行模型。由於資料不必傳送至中央集線器進行處理，邊緣推論可以降低網路延遲。它適用於連線能力有限的偏遠地點，或推論不可或缺的裝置。處理速度取決於裝置與模型延遲。

### **即時推論**

即時推論會在收到輸入要求時立即產生輸出。模型會從使用者輸入或連線的資料來源接收資料，因而需要立即輸出。即時推論仰賴低延遲 AI 系統，常用於時間要求嚴格的系統。例如，自駕車會使用即時推論來支援及時決策。

### **串流推論**

串流推論會使用資料管線持續將資訊傳送至模型，由模型即時產生輸出。與即時推論一樣，它會回應傳入資料，但會根據[輸入串流](https://aws.amazon.com/what-is/streaming-data/)持續產生輸出。即時推論會回應使用者輸入或即時要求；串流推論則會處理持續流入的新資料。

## 推論如何運作？

多種技術與資料系統會共同運作，為 AI 推論提供基礎架構。

### **機器學習模型基礎架構**

模型完成訓練後，便可以進行 AI 推論。在部署之前，模型可能會經過訓練、微調、驗證與推論最佳化。

在正式環境中，訓練完成的模型可能需要大量運算能力，仰賴圖形處理器（GPUs）、中央處理器（CPUs），以及 [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) 等專用 AI 加速器。運算資源也需要儲存設備、網路與資料管線。

### **使用者輸入與資料預處理**

資料輸入模型之前可能需要先進行預處理。例如，視覺模型可能會使用正規化，而[大型語言模型](https://aws.amazon.com/what-is/large-language-model/)（LLMs）可能會使用分詞。也可以清理資料以提升其品質。

### **推論流程**

推論流程會取得乾淨的資料並執行前向傳遞，讓預處理後的資料通過模型各層以產生輸出。這涉及一連串計算。

### **輸出生成與後處理**

前向傳遞完成後，模型會根據從訓練資料學到的模式產生輸出。

後處理可以依據防護措施與政策掃描、篩選並格式化輸出。例如，防護措施有助於避免出現髒話或有害內容，而格式設定則可讓輸出符合企業的語氣。

## AI 模型推論有哪些挑戰？

幾種挑戰可能會影響 AI 模型進行推論的能力。

### **模型漂移**

當真實世界的資料隨時間變化，與模型受訓時使用的資料不同，模型的效能就可能逐漸下降，這稱為模型漂移。當輸入資料中的模式轉變時，就會發生資料漂移。如果模型權重仍固定於較早期訓練資料所決定的狀態，這些轉變可能使模型輸出不準確。

當模型輸入與輸出之間的關係改變或變得更加複雜時，就會發生概念漂移。例如，受訓用來辨識網路釣魚電子郵件的 AI 模型會運用已學到的模式進行預測。如果新技術改變了網路釣魚攻擊的手法，模型輸出的準確度可能會下降。為因應這些變化，可能需要重新訓練。

在這兩種情況下，原本表現良好的模型都可能開始產生較不準確或錯誤的答案。

### **速度與效能**

大規模部署 AI 模型需要具備穩定提供輸出能力的基礎架構。組織可能需要圖形處理器、低延遲、高速網路，以及供複雜模型使用的其他高效能處理單元。

其他提升速度與效能的方法包括調整基礎架構架構、使用專用硬體，以及採用量化等推論最佳化技術來縮小模型大小。

選擇不同的推論方式，例如批次推論，可以提升特定應用情境的效能。

### **成本**

執行推論工作負載可能導致意料之外的成本。大規模執行或涵蓋許多不同情境時，運算能力需求與推論要求量可能會增加支出。組織可以採取縮小模型、平行處理，以及在線上推論中使用自動擴縮雲端基礎架構等策略來管理成本。

## 提升 AI 準確度與實用性的最佳實務

提升 AI 推論的準確度與實用性，部分取決於訓練與最佳化流程。以下實務有助於達成目標。

### **投資資料品質**

訓練資料集的品質會直接影響模型針對新資料進行預測並產生實用輸出的能力。標記完善、一致且沒有雜訊的高品質資料，有助於提升模型辨識模式的能力。請建立嚴謹的資料準備流程，包括清理、驗證、標準化資料，以及解決不一致問題。

### **運用具備專業技能的人員**

在可行的情況下，請讓具備模型訓練經驗，以及熟悉計畫採用之技術堆疊架構的人員參與。領域專家可以協助標註資料，讓資料品質更高且涵蓋更完整。使用高品質資料訓練模型，有助於提升其輸出的準確度。

### **納入可解釋性以符合規範**

推論輸出應具備可解釋性。可解釋性技術有助於顯示哪些輸入特徵影響了特定輸出。不同類型的 ML 模型會使用不同技術。例如，Shapley 加法解釋（SHAP）可套用於任何模型，最適合以樹為基礎的模型、線性模型與神經網路。可解釋性也有助於組織遵循 AI 合規架構，包括 GDPR 中針對 AI 所做決策的解釋權。

## AWS 如何支援 AI 推論？

AWS 提供服務與專用基礎架構，支援[機器學習](https://aws.amazon.com/ai/machine-learning/)與 AI 模型生命週期的不同階段。

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/)提供機器學習環境，可用來建置、訓練、最佳化、測試及治理自訂模型。

Amazon SageMaker AI 是一項全受管服務，提供可支援各種應用情境的機器學習工具。它支援大規模建置、訓練與部署模型，並在整合式開發環境（IDE）中提供筆記本、偵錯工具、效能分析器、管線與 MLOps 等工具。

SageMaker AI 透過存取控制與 ML 專案透明度，支援訓練與推論期間的治理要求。它也提供建置基礎模型（FMs）的工具。基礎模型是使用大量資料集訓練的大型模型；這些工具也可用於微調、實驗、重新訓練與部署模型。

AWS 提供 AI 推論所需的雲端基礎架構，包括 [Amazon EC2](https://aws.amazon.com/ec2/) 上的專用 GPU，以及 [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) 等機器學習晶片。

立即[建立免費帳戶](https://aws.amazon.com/free/)，開始在 AWS 上使用 ML 模型推論。

## 使用 Ailoot 將本指南付諸實踐

透過單一 Ailoot API，將 AI 模型連接至您的應用程式、代理程式和自動化流程。選擇適合任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。

## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
