部落格

詢問 Techspert:什麼是推論?

Markdown

Google 專家透過完整訪談說明 AI 推論,涵蓋模式比對、模型類型、預測、分類、評估、隱私權、AI 摘要、代理式系統與效率。

推論是讓 AI 能力日益提升的重要因素。在這場 Google Techspert 訪談中,兩位 Google 專家說明推論是什麼,以及推論如何協助 AI 系統產生實用的輸出。

4 月,Google 推出 Ironwood,這是第七代 Tensor Processing Unit(TPU),專為支援生成式 AI 推論而設計。TPU 是驅動 AI 系統的晶片,對 Google 而言並不新鮮;但這一代的設計目標,是協助 AI 系統從被動回應邁向主動處理。推論是讓 AI 系統運用模型,產生以知識為基礎輸出的過程。

我知道「推論」這個詞的意思——根據你獲得的資訊,得出某種結論。談到 AI 時,這個詞的意思也有任何相似之處嗎?

Google 專家: 算是,沒錯。這樣說有點過度簡化,但我認為,把推論理解為模式比對最容易。在最廣泛的意義上,談到生成式 AI 和推論時,我們問的是:AI 模型能否比對模式,預測你想要什麼?例如,如果我說「花生醬和 ____」,請美國聽眾填空,他們大概會說「果醬」。這是語言模式推論的一個好例子,也是 AI 推論能做到的事,但 AI 推論的應用遠不止於此。

Google 專家: 一般來說,推論就是我們實際使用模型來完成有用事情的方式。首先,我們必須訓練模型:AI 模型包含模型參數、模型架構和組態,也就是執行任務所需的程式碼;這些元素結合起來,實現模型的功能。因此,推論讓我們能實際運用這些內容。

哪些類型的 AI 模型會使用推論?

Google 專家: 深度學習 AI,例如語言模型、影像生成模型和音訊模型,都會使用推論,因為它們會根據從過去資料模式中學到的內容,預測接下來會「發生」什麼。

Google 專家: 推薦模型也會使用推論。

推薦模型有哪些例子?

Google 專家: 大多數廣告模型都是推薦模型,推薦 YouTube 影片給你的模型也是。這些是「傳統型」(有時稱為「經典型」)AI,不是 LLM 或影像、影片生成模型等生成式 AI;它們使用推論已經很久了。

所以推論並不是 AI 的新概念,只是隨著 AI 能力提升而變得更好了?

Google 專家: 沒錯。推論不只讓 AI 模型能預測,也讓它們能分類。模型可以根據學到的內容為事物貼上標籤。這裡有個著名的例子:很多年前,Google 給一個 AI 模型一張圖片,問它能不能辨識出圖片中的貓。透過資料和推論,模型得以自行學會貓是什麼、看起來如何,並正確辨識出貓。

我記得那件事!

Google 專家: 那就是模型使用推論的例子。

Google 專家: 近幾年,你還記得大家曾談論 AI 生成的圖片幾乎完全無視物理定律嗎?例如,圖片裡的人手常常畫得不正確。現在的模型在這方面進步很多,在物理現象和材質表現等方面都更出色。文字翻譯也是如此。舉例來說,以前的語言翻譯是統計式翻譯,雖然能用,但不夠精確,當然也不夠自然、無法像對話一樣流暢。不過,統計式翻譯帶我們走向生成式 AI 翻譯。如今,許多人很放心地使用這類翻譯,甚至用在面向客戶的產品中。我們仍在使用稱為推論的流程,但底層 AI 和我們的運算能力已大幅進步。

可以衡量推論的成效嗎?

Google 專家: 當我們衡量模型在特定任務上的表現時,就能評估推論的成效。我們也會運用推論來評估和訓練模型,讓模型變得更好。因此,在訓練模型的同時,我們會持續執行推論,嘗試同步提升模型品質。

我想,正因為有這樣的訓練方式,推論的表現才會在業界基準測試中持續進步。

Google 專家: 是的。不過,也要看人們的感受——大家有多常注意到這些進步?整體來說,大家確實注意到不少改善。在 Google 開發推論技術時,另一個非常重視的面向是隱私權:我們會謹慎考量,為了讓這些體驗正常運作,需要儲存哪些資料。

有哪些 Google AI 的例子,能讓我們看到推論有所進步?

Google 專家: Google 最出色的推論應用案例之一是 AI 摘要。你在搜尋中輸入查詢,接著,一套非常複雜的系統會把查詢分派給多個模型,嘗試取得結果。系統運用推論理解你的查詢,判斷你想要什麼答案,最後把它學到的內容整理成非常實用的摘要。推論對 Google 正在進行的許多代理式功能也至關重要。有了代理程式,除了要求 AI 模型根據推論提供資訊,你還可以讓它代你執行任務。這可以說是我們過去所理解的推論概念的延伸。

所以推論越來越能運用資料或知識來提供答案,甚至採取行動。推論還有哪些變化?

Google 專家: 有個非常重要的面向是成本。我們正努力讓推論盡可能平價。假設我們想推出更小、更平價的 Gemini 版本,讓更多人能使用。我們會改進模型的推論,尋找改變運算模式,也就是組成模型的程式碼的方法,同時不改變語意,也不改變模型預定執行的主要任務,以降低成本。簡單來說,就是打造更小、更有效率的模型,讓更多人能使用它的能力。

我們要如何降低成本?

Google 專家: 一種方法是最佳化硬體。這就是 Google 今年推出 Ironwood 的原因。Ironwood 採用推論優先的設計,針對推論進行最佳化:提供更強的運算能力和更大的記憶體,並針對特定數值類型進行最佳化。在軟體方面,Google 正在改進編譯器和框架。長遠來看,我們的目標是讓 AI 推論更有效率:以更小的資源規模、較低的成本,提供更好的品質和實用性。

歡迎前往 ailoot.ai/docs 探索 Ailoot API 說明文件。