# 詢問 Techspert：什麼是推論？

> Google 專家透過完整訪談說明 AI 推論，涵蓋模式比對、模型類型、預測、分類、評估、隱私權、AI 摘要、代理式系統與效率。

Source: https://ailoot.ai/blog/zh-hant-tw/ask-a-techspert-what-is-inference/
Canonical: https://ailoot.ai/blog/zh-hant-tw/ask-a-techspert-what-is-inference/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100059
Revision: sha256-8c4d8c9e46533f99ae586c9e8db46e9172502abf2e48147b26d1e5341f5ab1fd


推論是讓 AI 能力日益提升的重要因素。在這場 Google Techspert 訪談中，兩位 Google 專家說明推論是什麼，以及推論如何協助 AI 系統產生實用的輸出。

4 月，Google 推出 Ironwood，這是第七代 Tensor Processing Unit（TPU），專為支援生成式 AI 推論而設計。TPU 是驅動 AI 系統的晶片，對 Google 而言並不新鮮；但這一代的設計目標，是協助 AI 系統從被動回應邁向主動處理。推論是讓 AI 系統運用模型，產生以知識為基礎輸出的過程。

**我知道「推論」這個詞的意思——根據你獲得的資訊，得出某種結論。談到 AI 時，這個詞的意思也有任何相似之處嗎？**

**Google 專家：** 算是，沒錯。這樣說有點過度簡化，但我認為，把推論理解為模式比對最容易。在最廣泛的意義上，談到生成式 AI 和推論時，我們問的是：AI 模型能否比對模式，預測你想要什麼？例如，如果我說「花生醬和 ____」，請美國聽眾填空，他們大概會說「果醬」。這是語言模式推論的一個好例子，也是 AI 推論能做到的事，但 AI 推論的應用遠不止於此。

**Google 專家：** 一般來說，推論就是我們實際使用模型來完成有用事情的方式。首先，我們必須訓練模型：AI 模型包含模型參數、模型架構和組態，也就是執行任務所需的程式碼；這些元素結合起來，實現模型的功能。因此，推論讓我們能實際運用這些內容。

**哪些類型的 AI 模型會使用推論？**

**Google 專家：** 深度學習 AI，例如語言模型、影像生成模型和音訊模型，都會使用推論，因為它們會根據從過去資料模式中學到的內容，預測接下來會「發生」什麼。

**Google 專家：** 推薦模型也會使用推論。

**推薦模型有哪些例子？**

**Google 專家：** 大多數廣告模型都是推薦模型，推薦 YouTube 影片給你的模型也是。這些是「傳統型」（有時稱為「經典型」）AI，不是 LLM 或影像、影片生成模型等生成式 AI；它們使用推論已經很久了。

**所以推論並不是 AI 的新概念，只是隨著 AI 能力提升而變得更好了？**

**Google 專家：** 沒錯。推論不只讓 AI 模型能預測，也讓它們能分類。模型可以根據學到的內容為事物貼上標籤。這裡有個著名的例子：很多年前，Google 給一個 AI 模型一張圖片，問它能不能辨識出圖片中的貓。透過資料和推論，模型得以自行學會貓是什麼、看起來如何，並正確辨識出貓。

**我記得那件事！**

**Google 專家：** 那就是模型使用推論的例子。

**Google 專家：** 近幾年，你還記得大家曾談論 AI 生成的圖片幾乎完全無視物理定律嗎？例如，圖片裡的人手常常畫得不正確。現在的模型在這方面進步很多，在物理現象和材質表現等方面都更出色。文字翻譯也是如此。舉例來說，以前的語言翻譯是統計式翻譯，雖然能用，但不夠精確，當然也不夠自然、無法像對話一樣流暢。不過，統計式翻譯帶我們走向生成式 AI 翻譯。如今，許多人很放心地使用這類翻譯，甚至用在面向客戶的產品中。我們仍在使用稱為推論的流程，但底層 AI 和我們的運算能力已大幅進步。

**可以衡量推論的成效嗎？**

**Google 專家：** 當我們衡量模型在特定任務上的表現時，就能評估推論的成效。我們也會運用推論來評估和訓練模型，讓模型變得更好。因此，在訓練模型的同時，我們會持續執行推論，嘗試同步提升模型品質。

**我想，正因為有這樣的訓練方式，推論的表現才會在業界基準測試中持續進步。**

**Google 專家：** 是的。不過，也要看人們的感受——大家有多常注意到這些進步？整體來說，大家確實注意到不少改善。在 Google 開發推論技術時，另一個非常重視的面向是隱私權：我們會謹慎考量，為了讓這些體驗正常運作，需要儲存哪些資料。

**有哪些 Google AI 的例子，能讓我們看到推論有所進步？**

**Google 專家：** Google 最出色的推論應用案例之一是 [AI 摘要](https://blog.google/products/search/ai-overview-expansion-may-2025-update/)。你在搜尋中輸入查詢，接著，一套非常複雜的系統會把查詢分派給多個模型，嘗試取得結果。系統運用推論理解你的查詢，判斷你想要什麼答案，最後把它學到的內容整理成非常實用的摘要。推論對 Google 正在進行的許多[代理式功能](https://blog.google/products/search/google-search-ai-mode-update/#agentic-capabilities)也至關重要。有了代理程式，除了要求 AI 模型根據推論提供資訊，你還可以讓它代你執行任務。這可以說是我們過去所理解的推論概念的延伸。

**所以推論越來越能運用資料或知識來提供答案，甚至採取行動。推論還有哪些變化？**

**Google 專家：** 有個非常重要的面向是成本。我們正努力讓推論盡可能平價。假設我們想推出更小、更平價的 Gemini 版本，讓更多人能使用。我們會改進模型的推論，尋找改變運算模式，也就是組成模型的程式碼的方法，同時不改變語意，也不改變模型預定執行的主要任務，以降低成本。簡單來說，就是打造更小、更有效率的模型，讓更多人能使用它的能力。

**我們要如何降低成本？**

**Google 專家：** 一種方法是最佳化硬體。這就是 Google 今年推出 Ironwood 的原因。Ironwood 採用推論優先的設計，針對推論進行最佳化：提供更強的運算能力和更大的記憶體，並針對特定數值類型進行最佳化。在軟體方面，Google 正在改進編譯器和框架。長遠來看，我們的目標是讓 AI 推論更有效率：以更小的資源規模、較低的成本，提供更好的品質和實用性。

歡迎前往 [ailoot.ai/docs](https://ailoot.ai/docs/) 探索 Ailoot API 說明文件。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
