部落格

什麼是 AI 推論?每個 AI 輸出背後的運作流程

Markdown

了解什麼是 AI 推論、訓練完成的模型如何即時產生預測,以及延遲、成本和可擴展性為何是建置 AI 應用程式的重要考量。

每當 AI 應用程式產生回應或標示出詐欺交易時,它就在執行推論。訓練完成的模型會接收新資料,並將資料傳遞經過多層已學習的參數,以產生輸出。整個過程只需幾毫秒,而且往往每天執行數百萬次。但這種速度也有代價。每個推論請求都需要 GPU 運算能力和記憶體頻寬,而需求會隨著模型大小和流量增加。延遲突然升高會讓使用者感到挫折。GPU 帳單也會比預期更快增加。此外,將工作負載擴展到不同區域,會增加多數團隊未預料到的基礎架構複雜度。digitalocean.com/currents/february-2026),如今許多組織的 AI 預算約有 76-100% 用於推論。

如果你正在部署機器學習模型或 AI 工作流程,最重要的不只是模型如何學習,也包括模型以多高的效率即時提供預測。了解 AI 推論是什麼,以及哪些因素會決定其效能,有助於你為下一個 AI 專案做出更明智的架構決策。

重點摘要:

  • 訓練能培養模型的智慧,推論則讓詐欺偵測、LLM 聊天介面和推薦系統等應用程式得以運作。

  • 隨著 AI 預算逐漸轉向部署,吞吐量、每次請求的成本、GPU 使用率,以及 P95/P99 延遲都是建置 AI/ML 應用程式的重要考量。

  • 雲端、邊緣和裝置端等 AI 推論環境,分別滿足不同的延遲、隱私、頻寬和可擴展性需求。許多正式環境系統採用混合式做法。

  • 使用 DigitalOcean 的 GPU Droplets、Bare Metal GPUs 和 Gradient™ AI Inference Cloud,你可以部署可擴展且具成本效益的推論服務,無須承擔超大規模雲端業者的複雜性。

什麼是 AI 推論?

AI 產品生命週期圖片

AI 推論是 AI 生命週期中的一個階段,訓練完成的模型會在此階段根據新資料做出預測或產生輸出。推薦引擎、醫療診斷和大型語言模型(LLM)聊天介面等即時應用程式,都由推論提供動力。在正式環境中,AI 推論會決定使用者取得結果的速度、系統處理流量高峰的能力,以及每次預測的服務成本。

Workato 將推論成本降低 67%:

Workato 與 DigitalOcean 的代理式推論雲端合作,針對長上下文 LLM 推論進行最佳化,以支援高達兆級工作負載規模的代理式 AI。透過在 DOKS 上部署 NVIDIA Dynamo 和 vLLM,並採用感知 KV 的路由方式,Workato 實現了每個 GPU 的 tokens/sec 提升 67%,並在使用一半 GPU 的情況下,將模型成本降低 67%。

訓練和推論有什麼不同?

訓練是模型學習的過程。你會提供大量資料集,並讓模型反覆調整數百萬個內部參數,直到它能自行辨識模式。模型會收到輸入資料及其正確答案(例如附有標籤的圖片,或包含預期輸出的文字),接著產生預測、將預測與正確答案比較,並自行調整以減少錯誤。這個流程會經過許多輪反覆執行,直到模型能準確預測。訓練需要大量運算資源,但只會執行一次或定期執行。推論則是在訓練之後:訓練完成的模型接收從未看過的新資料,並即時產生預測或回應。

因素AI 訓練AI 推論
目的學習模式並最佳化模型準確度根據新資料產生預測或輸出
使用的資料大型標記資料集(例如歷史詐欺交易、已註記的醫療影像、附有情緒標籤的評論)新的、未見過的輸入資料
輸出更新後的模型權重(最終訓練完成的模型)預測、分數、分類或生成的回應
運算需求非常高(例如分散式 GPU 叢集)每次請求的需求較低,但對延遲敏感
時間敏感度離線執行,不直接面向使用者即時或近乎即時,直接面向使用者
頻率偶爾執行(初始訓練和重新訓練)持續執行,每次請求都會執行
成本結構前期訓練成本高每次請求都會產生持續成本
最佳化重點準確度和降低損失延遲、吞吐量、成本效益
範例:AI 內容審核系統系統使用數百萬則標記為「安全」、「垃圾訊息」、「仇恨言論」或「違反政策」的貼文進行訓練。訓練期間,模型會調整內部權重,學習文字、語氣、關鍵字和上下文中的模式,以區分有害內容與可接受內容。使用者提交新貼文時,訓練完成的模型會即時處理文字,並為每個內容類別指定機率分數。系統會根據這些分數,自動發布貼文、加上標記、限制能見度,或將貼文送交人工審核。

訓練和推論經常被混為一談,但兩者對基礎架構和預算的需求截然不同。我們的 AI 推論與訓練比較文章會說明費用實際花在哪裡,以及在正式環境執行模型時應優先考量哪些事項。

AI 推論環境

推論可依照應用程式需求、資料敏感度和效能要求,在不同位置執行。它可以在集中式雲端資料中心執行、在靠近使用者的邊緣執行,或直接在本機裝置上執行。

雲端推論環境

雲端推論環境具備 GPU 等可擴展運算資源,是正式環境中最常見的 AI 推論部署方式。此環境支援模型服務框架、監控,以及與 API 和分散式系統整合。

例如,部署推薦引擎的團隊可能會採用以下工作流程:

  • 在 DigitalOcean GPU Droplets 上執行推論服務

  • 使用 App Platform 部署 API,以提供 API 服務

  • 將模型成品儲存在 Spaces

邊緣推論環境

邊緣推論會在靠近資料來源的位置執行,例如零售商店、工廠或電信塔,以降低延遲和頻寬用量。對於影片分析和 IoT 監控等應用程式,在本機處理資料可確保決策在幾毫秒內完成,無須仰賴與集中式雲端伺服器進行來回通訊。

在零售商店中,監視器會監控結帳通道。安裝在店內的小型邊緣裝置會執行電腦視覺模型,偵測可疑行為,例如有人未付款就離開。如果系統標示出可疑行為,便會立即通知店員。摘要警示和每日分析報告稍後會上傳,以供集中審查。

裝置端推論

裝置端推論直接在使用者的硬體上執行,例如智慧型手機、筆記型電腦或嵌入式系統。其目標是提升隱私、降低對網路連線的依賴,並在語音助理和生物特徵驗證等應用程式中提供即時回應。

使用者說出「嘿,助理」之類的喚醒詞時,在裝置上本機執行的神經網路模型會持續聆聽這個特定觸發詞。音訊會即時在裝置的 CPU 或專用 AI 晶片上處理。偵測到喚醒詞後,系統便會啟動,並將請求傳送到雲端進行進一步處理。在此架構中:

  • 訓練完成的喚醒詞偵測模型會儲存在裝置上。

  • 推論會在本機硬體上持續執行。

  • 除非系統被喚醒,否則原始音訊不會離開裝置。

  • 即使沒有有效的網際網路連線,助理也能立即回應。

如何選擇合適的 AI 推論環境

你選擇的推論環境取決於延遲需求、流量大小、資料敏感度和成本限制。在許多正式環境系統中,團隊會採用混合式做法,結合裝置端或邊緣處理與雲端推論。

  • 選擇雲端推論:如果你需要高度可擴展性、集中式模型管理,以及處理大量流量或 GPU 密集型工作負載的能力。

  • 選擇邊緣推論:如果應用程式需要在靠近資料來源的位置提供低延遲、降低頻寬用量,或在分散式地點進行即時處理。

  • 選擇裝置端推論:如果隱私很重要、需要離線功能,或必須在智慧型手機等使用者硬體上即時回應。

不確定該選邊緣還是雲端?先問自己一個問題:你的系統需要多快回應?閱讀我們的雲端與邊緣運算比較文章,了解何時以及如何有效運用兩者。

AI 推論的優點

AI 推論會決定應用程式的回應速度、擴展時的可靠度,以及管理基礎架構成本的效率。正確實作 AI 推論後,你可以獲得可衡量的效能和營運優勢:

  • 即時決策:推論會持續將即時資料轉換成結構化輸出,例如風險分數、分類、排序結果或生成文字。這些輸出會傳送到應用程式。例如,異常偵測模型可以即時標示異常活動,觸發自動警示並加快營運回應。

  • 具成本效益地使用模型:模型訓練完成後,無須重新訓練即可提供數百萬次預測。大規模執行推論的成本雖高,但使用批次處理和量化等技術,可以降低提供 LLM 助理等高流量工作負載時每次請求的成本。

  • 改善使用者體驗:低延遲推論會直接影響應用程式給人的「智慧」程度。如果 AI 功能在 100 毫秒內回應,而不是花費 2 秒,使用者就會覺得產品反應靈敏、可靠且值得信賴。

  • 可擴展的正式環境部署:流量增加時,推論管線會使用分散式基礎架構和自動擴展進行水平擴展。SaaS 平台內嵌的生成式 AI 寫作助理,平時可能只有數百名使用者,但在產品推出後,也能輕鬆服務數萬名使用者。

  • 加快實驗與模型迭代:推論管線讓你無須從頭重新訓練,就能測試並推出新的模型版本。你可以將兩個模型提供給不同使用者族群,進行 A/B 測試;執行影子部署,以即時流量評估新模型而不影響使用者;或使用金絲雀發布,在全面推出前逐步將流量切換到新版本。

無須伺服器,即可立即執行生成式 AI 模型。使用單一 API 金鑰存取多個模型、切換供應商,並讓推論工作負載持續運作。了解如何在 DigitalOcean 的 Gradient AI 平台上部署 Fal 影像和音訊生成模型,並在 Streamlit 應用程式中使用簡單的 Python 呼叫。

推論面臨的挑戰

模型投入正式環境工作負載後,AI 推論的複雜性便會浮現。當你將應用程式從實驗階段推進到大規模部署時,必須評估成本、效能和基礎架構限制。

  • 大規模推論成本高:持續使用 GPU、以 token 計價,以及難以預測的流量模式,都會導致成本不斷增加。

  • 正式環境工作負載對延遲敏感:即時應用程式需要在流量變動時,仍能持續提供低延遲回應。模型服務、網路或硬體佈建中的效能瓶頸,可能會降低使用者體驗和系統可靠度。

  • 基礎架構複雜且協調作業負擔沉重:許多團隊依賴多種工具和 API 執行推論,導致營運複雜度增加。在分散式系統中,部署協調、自動擴展設定和可觀測性都需要 GPU 排程與負載平衡方面的專業知識。

  • 可靠度和正式環境運作問題:推論管線必須在負載下維持穩定,同時確保輸出一致。如果負責算繪輔助工作的 GPU 推論節點在高並行負載下當機,進行中的影片編輯工作階段可能會失敗,或預覽畫面可能會凍結。

想從通用 GPU 擴展到最佳化的推論雲端嗎?DigitalOcean 與 Character.AI 和 AMD 合作,將推論成本降低 50%,擴展至約 2X QPS,並比標準 GPU 配置提供高出約 91% 的效能。

AI 推論的類型

AI 推論會根據預測的產生方式和時間進行分類。有些系統會立即回應使用者輸入,有些則會定期處理大量資料,或隨著事件發生而持續處理。差異包括:

  • 請求時機:預測何時產生:每次請求時立即產生、依排程定期產生,或在資料到達時持續產生。

  • 資料流模式:輸入資料如何流經系統:單一請求-回應、批次資料集處理,或事件驅動串流。

  • 回應速度需求:應用程式可接受的回應時間:即時系統要求毫秒級回應,非緊急工作負載則可接受延遲結果。

即時(線上)推論

即時推論會在每個請求到達時逐一處理,並立即傳回預測。它採用「請求-回應」模式,每次使用者操作或 API 呼叫都會觸發模型預測。回應時間通常介於幾毫秒到幾秒之間,具體取決於模型複雜度和基礎架構。

串流推論

串流推論會持續評估傳入的資料串流,而不是等待個別請求或排程工作。資料會以事件驅動的連續模式流經系統,並在新資料到達時近乎即時地產生預測。就回應速度而言,它介於即時推論和批次推論之間;速度比排程批次工作快,但處理的是串流資料,而非個別請求。

批次推論

批次推論會依照排定的時間,一次對大型資料集執行預測。系統會批量處理資料,例如執行可能需要數分鐘或數小時的定期工作負載。工作負載會透過工作排程器或工作流程引擎進行協調,並在分散式運算叢集上執行。系統會從儲存系統讀取資料、平行處理,然後將資料寫回為更新後的資料表、檔案或資料庫記錄。

類型說明回應時間資料流使用情境
即時(線上)推論每次請求到達時逐一處理幾毫秒到幾秒請求-回應聊天機器人、詐欺偵測和推薦引擎
串流推論持續評估傳入的資料串流近乎即時事件驅動的連續資料流IoT 監控、金融事件偵測、異常偵測
批次推論依照排定的時間,一次對大型資料集執行預測數分鐘到數小時(排程工作)批次處理信用評分、分析報告、定期模型評分

AI 推論的運作方式

AI 推論流程會透過模型服務層處理請求、執行運算(使用 CPU 或 GPU),並透過 API 或特定格式傳回結果。讓我們以詐欺偵測系統評估信用卡交易為例,了解每個步驟會發生什麼事。

AI 推論工作流程圖片

  1. 輸入資料前處理:驗證文字、影像、音訊或結構化資料等原始輸入,並轉換成模型預期的格式。這可能包括 tokenization(用於 LLM)、正規化、特徵擷取,或轉換成張量。

例如,假設一位顧客在聖保羅的零售商店刷卡購買價值 $2,400 的電子產品,但其帳戶位於芝加哥,而且系統從未見過這部裝置。系統會從交易中擷取結構化特徵:金額、商家類別、裝置指紋、地理位置、交易時段和近期消費記錄。這些特徵會經過正規化並轉換成數值特徵向量,供模型處理。

  1. 模型載入與初始化:將訓練完成的模型載入記憶體,其中包括模型架構和學習到的權重。在正式環境中,模型大多會容器化,並透過 TensorFlow Serving、TorchServe 或以 FastAPI 為基礎的自訂服務等框架提供服務。

在這個情境中,預先訓練的不正交易偵測神經網路已在記憶體中執行,並透過使用 TorchServe 的容器化模型伺服器部署。交易送達時,API 閘道會將特徵向量路由至模型端點。

  1. 前向傳播運算:將處理過的輸入傳入模型,透過矩陣乘法和啟動函數計算輸出。在深度學習和 LLM 推論中,這個步驟會在 GPU 或其他加速器上執行,以最佳化延遲和吞吐量。

接續詐欺偵測的例子,模型會將特徵向量傳遞經過網路層,並將陌生裝置、跨國地點和高額交易的組合,與數百萬筆歷史交易中學到的模式進行比對。模型輸出原始詐欺機率分數 0.92。

  1. 預測後處理:將原始模型輸出轉換成可用結果,例如機率分數、分類標籤、排序清單或生成 token。可能會套用閾值判定、解碼策略(例如 greedy decoding 或 beam search),或商業規則。

在此案例中,規則引擎會依據系統的商業邏輯解讀 0.92 分數。由於分數超過 0.85 閾值,而且該交易是跨境交易,引擎會將其分類為高風險,並標記為需要進行升級驗證,而不是直接拒絕交易。

  1. 傳送回應並記錄日誌:根據應用程式架構,將最終輸出傳回 API、資料庫或下游系統(例如 Kafka 串流、付款閘道、警示系統等)。同時,系統會記錄延遲(P95/P99)、吞吐量和錯誤率等指標,以便進行監控、擴展和效能最佳化。

整個流程結束時,付款閘道會在刷卡後 120 毫秒內收到高風險分類,並觸發傳送到顧客手機的 OTP 驗證請求。系統也會同步記錄模型分數、交易中繼資料、延遲(P95)和驗證結果,這些資料可供未來模型重新訓練和效能監控使用。

別再追逐原始 FLOPs,應在真正重要的條件下為 LLM 推論進行基準測試。閱讀完整的 LLM 推論基準測試指南,了解如何衡量延遲、吞吐量、並行數和成本。

AI 推論的關鍵效能指標

最佳化推論的第一步,是了解哪些指標值得關注。不同指標對你的使用情境不一定同等重要,但忽略任何一項,都可能導致回應緩慢、運算資源浪費,或成本在不知不覺中失控。以下是最重要的指標:

效能指標說明重要性範例
延遲為單一請求產生預測所需的時間決定使用者感受到的速度;尾端延遲(P95/P99)反映負載下最糟的延遲情況聊天機器人的平均回應時間為 120ms,但尖峰流量期間 P99 延遲為 2 秒
吞吐量每秒請求數(RPS),或 LLM 的每秒 token 數顯示系統在效能開始下降前可處理的流量LLM 以 80 tokens/sec 而非 20 tokens/sec 產生內容,會影響大規模運作時的回應速度
每次請求的成本每次推論呼叫所消耗的運算成本影響長期正式環境的經濟效益和擴展可行性GPU 推論每次請求的成本為 $0.002,而大量使用時為 $0.02
硬體使用率CPU、GPU 或加速器的使用效率使用率不佳會增加成本並造成效能瓶頸GPU 使用率僅 30% 時,會浪費容量並提高每次預測的成本
負載下的可擴展性流量高峰期間維持效能的能力確保需求高峰時的可靠度和一致延遲電子商務推薦系統能處理黑色星期五流量,且不會出現延遲激增

AI 推論的使用情境

你的應用程式開始實際回應的那一刻,AI 推論就開始運作。無論是評分交易、排列搜尋結果或生成文字,推論都是將模型智慧轉化為面向使用者行動的執行層。

  • 金融交易詐欺偵測:總部位於美國的付款系統公司 H2o.ai 會處理以 160 million 筆記錄和 1,500 個特徵訓練的深度學習模型,即時偵測詐欺。新交易開始時,已部署的模型會在幾毫秒內為交易評分。系統會在授權前封鎖或標示可疑活動。

  • 醫療影像分析:在醫療領域,一項腦瘤偵測研究展示了醫療影像推論的實際運作方式。MRI 掃描影像先經過標記、調整為 150×150 像素並正規化,然後才傳入自訂卷積神經網路(CNN)。推論時,訓練完成的模型會將每張掃描影像分類為有腫瘤或無腫瘤,驗證準確度達 98.67%。為支援臨床決策,SHAP、LIME 和 Grad-CAM 等後處理技術會產生視覺化熱圖,標示出影響預測的區域。

  • 搜尋排序和推薦系統:使用者提交查詢或瀏覽頁面時,系統會編碼過往點擊、工作階段行為和中繼資料等上下文特徵。排序或推薦模型會即時為多個候選項目評分。AI 推論系統會根據預測的關聯性分數排序結果,並在嚴格的延遲限制內傳回排序清單。Netflix 使用推論,其中第一階段檢索會利用工作階段內的點擊、瀏覽行為和長期偏好建立候選項目集合。接著,第二階段的深度學習模型會計算關聯性分數,並在約 40 毫秒內提供排序清單。

  • 自動駕駛車輛感知:Tata Elxsi 將 AI 整合至長距離 LiDAR 感測器,最遠可達 1 km,並以 10 Hz 運作,支援自動駕駛車輛即時感知。LiDAR 點雲資料與相機影像會融合並轉換成張量。接著將張量資料輸入深度學習模型執行推論,以偵測車輛、行人和交通標誌,並分割可行駛區域。模型輸出(例如物件分類、距離估算和違規偵測,如逆向行駛或超速)會直接傳送至監控和控制系統,在不同光線和天候條件下觸發即時警示或駕駛決策。

  • 生成式 AI 與內容創作:Writer 是代理式 AI 平台,部署 40-billion-parameter LLM 以產生行銷文案和企業內容。使用者提示會透過 API 傳送,並由 NVIDIA Triton Inference Server 提供的 GPU 加速模型進行處理,回應則逐個 token 產生。此處的推論每月可支援高達 1 兆次 API 呼叫,並以每秒 90,000 個字的速度產生內容。

DigitalOcean 如何打造新一代推論服務?了解 DigitalOcean 工程師如何運用 Ray、vLLM 和 Kubernetes,建置可擴展且經過 GPU 最佳化的生成式 AI 推論服務。觀看分享內容,了解無伺服器和專用模式、動態批次處理,以及進階 KV-cache 策略的運作方式。

AI 推論常見問題

什麼是 AI 推論?

AI 推論是使用訓練完成的機器學習模型,根據新的、未見過的資料產生預測或輸出的過程。這是 AI 的正式運作階段,模型會在此階段執行,以建置即時應用程式、分析和自動化決策系統。

訓練和推論有什麼不同? 訓練會從大型資料集中學習模式並調整模型內部參數,藉此建置模型。推論則將訓練完成的模型套用到新資料,以產生預測、分類或生成輸出。

在正式環境中,推論比訓練更重要嗎? 在正式環境系統中,推論在營運上更重要,因為它會持續執行,並直接影響延遲、可擴展性和成本。訓練決定模型準確度,推論則決定使用者體驗和正式環境的經濟效益。

AI 推論會使用哪些硬體? AI 推論會依照效能和工作負載需求,使用 GPU 和 TPU 等專用加速器執行。GPU 推論常見於深度學習和 LLM 工作負載。

即時推論和批次推論有何不同?

即時推論會在請求到達時立即產生預測,通常只需幾毫秒或幾秒。它適用於使用者或系統需要即時回應的互動式應用程式,例如聊天機器人、詐欺偵測或推薦系統。

批次推論會依照排定的時間處理大量資料,而非回應個別請求。模型會將累積的資料集當作定期工作執行預測,產生風險分數、需求預測或分析報告等輸出。

哪些平台最適合 AI 推論?

最適合 AI 推論的平台會提供可擴展的 GPU 基礎架構、可預測的定價,以及整合式模型服務工具。DigitalOcean 的 Gradient™ AI inference Cloud 為正式環境 AI 工作負載提供 GPU 驅動的推論、自動擴展和簡化的基礎架構。

使用 Ailoot 落實本指南

透過單一 Ailoot API,將 AI 模型連接至你的應用程式、代理和自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。