部落格

小型語言模型解析

Markdown

說明什麼讓語言模型成為小型模型、參數與有效參數的意義、小型模型為何能在手機上運作,以及它們在能力上有所取捨之處。

什麼是小型語言模型?

小型語言模型(SLM)是精簡到足以在手機或筆記型電腦等一般硬體上執行的語言模型,不需要資料中心。小型模型沒有公認的門檻:通常會把參數不超過數十億個的模型稱為小型模型,而一份 2024 年的調查採用 1 億至 50 億個參數的範圍。

小型和大型語言模型的運作方式相同。兩者都是神經網路,幾乎總是 Transformer,經過訓練來預測文字中的下一個 token,並在預訓練後調整為遵循指令;前述調查涵蓋的正是這類僅含解碼器的 Transformer。差異在於規模。適合手機執行的模型有數十億個參數,而前沿雲端模型的規模大得多,因此小型模型能掌握的知識較少,推理能力也較弱(請參閱「小型模型有哪些不足?」)。小型模型讓裝置端 AI 得以實用化。

品質不只受規模影響。因此,小型模型的品質與其訓練方式同樣密切相關。它可以透過蒸餾向大型模型學習,也就是訓練它模仿大型模型的輸出;精心挑選的資料也有幫助:phi-1 是一個有 13 億個參數的程式碼模型,主要使用「教科書品質」的資料訓練,在 HumanEval 程式設計基準測試中的 pass@1 達到 50.6%。

「參數」與「有效參數」是什麼意思?

參數是模型在訓練期間學到的數值,參數數量是衡量模型大小的常用方式:Qwen3 1.7B 中的「1.7B」代表約 17 億個參數。Google 的 Gemma 4 E2B 和 E4B 中的「E」代表「有效參數」,計算模型實際進行運算的參數,並排除只供查表使用的大型嵌入表。

大多數參數位於 Transformer 注意力層和前饋層的權重矩陣中,每個 token 都會經過這些層。嵌入則是另一個區塊,會把詞彙表中的每個 token 對應到一個向量;在小型模型中,嵌入可能占總數相當大的比例。Qwen3 1.7B 的嵌入表有 151,936 列(這是模型設定的詞彙表大小,經填補後超過 tokenizer 的 151,669 個項目),每列 2,048 個維度,約有 3.11 億個嵌入參數;這與模型卡相符,模型卡列出總計 17 億個參數,其中 14 億個位於嵌入之外 7。擴展研究通常只計算非嵌入參數。

Gemma 4 的 E 系列進一步延伸了這個概念。Google 的模型卡說明:「E2B 和 E4B 中的『E』代表『有效』參數」:這些模型使用逐層嵌入(PLE),讓「每個解碼器層都為每個 token 配備自己的小型嵌入」,而且「這些嵌入表很大,但只用於快速查詢,因此有效參數數量遠小於參數總數」 8。模型卡列出 Gemma 4 E2B 有 23 億個有效參數,含嵌入時共 51 億個;E4B 則有 45 億個有效參數,含嵌入時共 80 億個。

這項差異對手機很重要,因為查表需要記憶體,但只需少量運算,而且執行環境可以讓表格留在儲存空間中。「有效」也不同於「啟用」:Gemma 4 26B A4B 是混合專家模型,有 252 億個參數,其中 38 億個會在推論期間啟用 8。

小型模型為何能在手機上運作?

模型權重大約需要的空間,是參數數量乘以每個參數的儲存位元數,再除以 8。以 4 位元儲存時,17 億個參數約需 0.85 GB;在配備 4 GB RAM 的手機上,仍有空間供 Android 和其他應用程式使用。

參數數量和精度是兩個可調整的因素。圖 1 以 Qwen3 1.7B 為例,逐步計算從 32 位元浮點數到 4 位元模型檔案的記憶體需求。

  1. 以 32 位元浮點數儲存時,17 億個參數需要 6.8 GB。
  2. 以 16 位元儲存時,需要 3.4 GB。
  3. 以 8 位元儲存時,需要 1.7 GB。每個權重的位元數減半,權重所需的記憶體也會減半。
  4. 以 4 位元儲存時,約需 0.85 GB。每個權重只占半個位元組,讓這種大小的模型能在 4 GB 手機上實際使用。
  5. 4 位元模型檔案可能比原始權重更大。區塊縮放值和其他儲存資料會增加檔案大小。
圖 1. 以十進位 GB 計算,儲存 Qwen3 1.7B 權重所需的記憶體。藍色長條是以 17 億個參數計算「參數 × 位元數 ÷ 8」所得,只計算權重;執行中的模型還需要記憶體來存放鍵值快取及執行環境。橘色長條代表下載的模型檔案。
精度每個參數的位元數權重大約所需的記憶體
32 位元浮點數326.8 GB
16 位元浮點數163.4 GB
8 位元整數81.7 GB
4 位元整數40.85 GB

因此,適合手機執行的模型會將數十億個參數與 4 位元或混合精度權重結合;量化可減少權重所需的儲存空間。

記憶體占用不只有權重。執行中的模型還需要記憶體來存放鍵值快取,其大小會隨著上下文視窗長度增加;執行環境本身也需要記憶體。速度也遵循相同的原理:每產生一個新 token,都必須從記憶體讀取模型權重,因此在同一支手機上,權重越少、越小,回答速度就越快。

小型模型擅長什麼?

小型模型擅長處理所需資訊已包含在提示詞或常見知識中的任務,例如改寫、摘要、撰寫草稿、解釋,以及根據提供的段落回答問題。由於模型在裝置上執行,也可以在沒有網路連線時回答,且不必將提示詞傳送到伺服器。

Google 的模型卡稱 Gemma 4 系列「適合推理、代理式工作流程、程式設計和多模態理解」,其中 E2B 和 E4B 可接受文字、影像和音訊輸入 8。這些是開發者自己的描述與基準測試結果;特定模型在特定手機上執行特定任務的效果,仍須實際測試。

提供適當的文字內容,有助於補足小型模型不知道的資訊。檢索增強生成會在提問時加入檢索到的段落,讓模型根據來源而非記憶作答。小型模型的執行成本也容易預測:每個問題都不會產生伺服器費用,沒有排隊等待,而且下載後不依賴網路連線。

小型模型有哪些不足?

小型模型掌握的知識較少,處理長篇或多步驟推理的能力較弱,也不如大型模型擅長處理長上下文;而且和所有語言模型一樣,它們可能流暢地說出錯誤資訊。

同一系列的模型也呈現出這種趨勢。根據 Google 的模型卡,Gemma 4 E2B 在 MMLU Pro 知識與推理基準測試中得分 60.0%,E4B 得分 69.4%,而有 310 億個參數的 Gemma 4 模型得分 85.2%;在 GPQA Diamond 這組研究所程度的科學問題中,三者分別得分 43.4%、58.6% 和 84.3% 8。這些是 Google 對自家模型測得的結果。

小型模型也可能卡在反覆重複內容。Qwen 的模型卡警告,貪婪解碼「可能導致效能下降和無止盡的重複」 7。

小型模型為什麼會照著指令的形式回答?

小型模型往往不只遵循提示詞的內容,也會模仿提示詞的形式,因此冗長且結構化的系統提示詞,可能讓每個回答都出現相同的結構。

有個提示詞要求模型「先給出直接答案,再補充實用細節」,結果模型的回答開始使用粗體標籤「直接答案:」和「實用細節:」。這項指示原本是要建議內容安排方式,模型卻把它當成範本。

小型模型的思考模式如何運作?

思考模式會讓模型在最終答案之前寫出中間推理,花費較多時間和 token,以便在多步驟問題上給出更仔細的結果。Qwen3 和 Gemma 4 都是在同一個模型中提供切換功能,而不是另外提供一個推理模型。

這個概念源自思維鏈提示。新一代小型模型經過推理訓練;以 Qwen3 為例,部分訓練方式是向較大型的模型學習。

這個切換功能是提示詞的一部分。Qwen3 1.7B 預設會進行思考,並在 <think>…</think> 區塊中輸出推理內容;開發者可使用 enable_thinking 設定關閉思考,使用者則可在訊息中加入 /think 或 /no_think,逐輪切換模式 7。Gemma 4 的系統提示詞以 <|think|> token 開頭時,思考模式便會啟用 8。

思考需要時間和上下文,因為推理 token 是模型輸出的一部分,也會占用上下文視窗。若模型設定為顯示推理內容,推理會出現在答案之前;但實際行為取決於模型和應用程式。

Qwen3 1.7B、Gemma 4 E2B 和 Gemma 4 E4B 有何差異?

三者的大小、輸入類型和上下文長度各不相同。Qwen3 1.7B 有 17 億個參數,只接受文字輸入;Google 列出的 Gemma 4 E2B 和 E4B 分別有 23 億和 45 億個有效參數,可接受文字、影像和音訊輸入。三者皆採用 Apache 2.0 授權發布。

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
開發者Alibaba(Qwen 團隊)Google DeepMindGoogle DeepMind
參數1.7B,其中 1.4B 位於嵌入之外有效參數 2.3B,含嵌入共 5.1B有效參數 4.5B,含嵌入共 8B
層數283542
上下文長度32,768 個 token128K 個 token128K 個 token
輸入文字文字、影像、音訊文字、影像、音訊
思考模式有,預設開啟有有
授權Apache 2.0Apache 2.0Apache 2.0

表 1. 規格取自 Qwen 的 Qwen3-1.7B 模型卡和 Google 的 Gemma 4 模型卡,查閱日期為 2026 年 10 月 5 日 7 8。

參考資料

  1. Qwen。「Qwen3-1.7B」。模型卡與設定,Hugging Face。查閱日期:2026 年 10 月 5 日。huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind。「Gemma 4 模型卡」。Google AI for Developers。查閱日期:2026 年 10 月 5 日。ai.google.dev/gemma/docs/core/model_card_4

使用 Ailoot 將本指南付諸實踐

透過單一 Ailoot API,將 AI 模型連接至您的應用程式、代理程式和自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。