小型語言模型解析
Markdown說明什麼讓語言模型成為小型模型、參數與有效參數的意義、小型模型為何能在手機上運作,以及它們在能力上有所取捨之處。
什麼是小型語言模型?
小型語言模型(SLM)是精簡到足以在手機或筆記型電腦等一般硬體上執行的語言模型,不需要資料中心。小型模型沒有公認的門檻:通常會把參數不超過數十億個的模型稱為小型模型,而一份 2024 年的調查採用 1 億至 50 億個參數的範圍。
小型和大型語言模型的運作方式相同。兩者都是神經網路,幾乎總是 Transformer,經過訓練來預測文字中的下一個 token,並在預訓練後調整為遵循指令;前述調查涵蓋的正是這類僅含解碼器的 Transformer。差異在於規模。適合手機執行的模型有數十億個參數,而前沿雲端模型的規模大得多,因此小型模型能掌握的知識較少,推理能力也較弱(請參閱「小型模型有哪些不足?」)。小型模型讓裝置端 AI 得以實用化。
品質不只受規模影響。因此,小型模型的品質與其訓練方式同樣密切相關。它可以透過蒸餾向大型模型學習,也就是訓練它模仿大型模型的輸出;精心挑選的資料也有幫助:phi-1 是一個有 13 億個參數的程式碼模型,主要使用「教科書品質」的資料訓練,在 HumanEval 程式設計基準測試中的 pass@1 達到 50.6%。
「參數」與「有效參數」是什麼意思?
參數是模型在訓練期間學到的數值,參數數量是衡量模型大小的常用方式:Qwen3 1.7B 中的「1.7B」代表約 17 億個參數。Google 的 Gemma 4 E2B 和 E4B 中的「E」代表「有效參數」,計算模型實際進行運算的參數,並排除只供查表使用的大型嵌入表。
大多數參數位於 Transformer 注意力層和前饋層的權重矩陣中,每個 token 都會經過這些層。嵌入則是另一個區塊,會把詞彙表中的每個 token 對應到一個向量;在小型模型中,嵌入可能占總數相當大的比例。Qwen3 1.7B 的嵌入表有 151,936 列(這是模型設定的詞彙表大小,經填補後超過 tokenizer 的 151,669 個項目),每列 2,048 個維度,約有 3.11 億個嵌入參數;這與模型卡相符,模型卡列出總計 17 億個參數,其中 14 億個位於嵌入之外 7。擴展研究通常只計算非嵌入參數。
Gemma 4 的 E 系列進一步延伸了這個概念。Google 的模型卡說明:「E2B 和 E4B 中的『E』代表『有效』參數」:這些模型使用逐層嵌入(PLE),讓「每個解碼器層都為每個 token 配備自己的小型嵌入」,而且「這些嵌入表很大,但只用於快速查詢,因此有效參數數量遠小於參數總數」 8。模型卡列出 Gemma 4 E2B 有 23 億個有效參數,含嵌入時共 51 億個;E4B 則有 45 億個有效參數,含嵌入時共 80 億個。
這項差異對手機很重要,因為查表需要記憶體,但只需少量運算,而且執行環境可以讓表格留在儲存空間中。「有效」也不同於「啟用」:Gemma 4 26B A4B 是混合專家模型,有 252 億個參數,其中 38 億個會在推論期間啟用 8。
小型模型為何能在手機上運作?
模型權重大約需要的空間,是參數數量乘以每個參數的儲存位元數,再除以 8。以 4 位元儲存時,17 億個參數約需 0.85 GB;在配備 4 GB RAM 的手機上,仍有空間供 Android 和其他應用程式使用。
參數數量和精度是兩個可調整的因素。圖 1 以 Qwen3 1.7B 為例,逐步計算從 32 位元浮點數到 4 位元模型檔案的記憶體需求。
- 以 32 位元浮點數儲存時,17 億個參數需要 6.8 GB。
- 以 16 位元儲存時,需要 3.4 GB。
- 以 8 位元儲存時,需要 1.7 GB。每個權重的位元數減半,權重所需的記憶體也會減半。
- 以 4 位元儲存時,約需 0.85 GB。每個權重只占半個位元組,讓這種大小的模型能在 4 GB 手機上實際使用。
- 4 位元模型檔案可能比原始權重更大。區塊縮放值和其他儲存資料會增加檔案大小。
| 精度 | 每個參數的位元數 | 權重大約所需的記憶體 |
|---|---|---|
| 32 位元浮點數 | 32 | 6.8 GB |
| 16 位元浮點數 | 16 | 3.4 GB |
| 8 位元整數 | 8 | 1.7 GB |
| 4 位元整數 | 4 | 0.85 GB |
因此,適合手機執行的模型會將數十億個參數與 4 位元或混合精度權重結合;量化可減少權重所需的儲存空間。
記憶體占用不只有權重。執行中的模型還需要記憶體來存放鍵值快取,其大小會隨著上下文視窗長度增加;執行環境本身也需要記憶體。速度也遵循相同的原理:每產生一個新 token,都必須從記憶體讀取模型權重,因此在同一支手機上,權重越少、越小,回答速度就越快。
小型模型擅長什麼?
小型模型擅長處理所需資訊已包含在提示詞或常見知識中的任務,例如改寫、摘要、撰寫草稿、解釋,以及根據提供的段落回答問題。由於模型在裝置上執行,也可以在沒有網路連線時回答,且不必將提示詞傳送到伺服器。
Google 的模型卡稱 Gemma 4 系列「適合推理、代理式工作流程、程式設計和多模態理解」,其中 E2B 和 E4B 可接受文字、影像和音訊輸入 8。這些是開發者自己的描述與基準測試結果;特定模型在特定手機上執行特定任務的效果,仍須實際測試。
提供適當的文字內容,有助於補足小型模型不知道的資訊。檢索增強生成會在提問時加入檢索到的段落,讓模型根據來源而非記憶作答。小型模型的執行成本也容易預測:每個問題都不會產生伺服器費用,沒有排隊等待,而且下載後不依賴網路連線。
小型模型有哪些不足?
小型模型掌握的知識較少,處理長篇或多步驟推理的能力較弱,也不如大型模型擅長處理長上下文;而且和所有語言模型一樣,它們可能流暢地說出錯誤資訊。
同一系列的模型也呈現出這種趨勢。根據 Google 的模型卡,Gemma 4 E2B 在 MMLU Pro 知識與推理基準測試中得分 60.0%,E4B 得分 69.4%,而有 310 億個參數的 Gemma 4 模型得分 85.2%;在 GPQA Diamond 這組研究所程度的科學問題中,三者分別得分 43.4%、58.6% 和 84.3% 8。這些是 Google 對自家模型測得的結果。
小型模型也可能卡在反覆重複內容。Qwen 的模型卡警告,貪婪解碼「可能導致效能下降和無止盡的重複」 7。
小型模型為什麼會照著指令的形式回答?
小型模型往往不只遵循提示詞的內容,也會模仿提示詞的形式,因此冗長且結構化的系統提示詞,可能讓每個回答都出現相同的結構。
有個提示詞要求模型「先給出直接答案,再補充實用細節」,結果模型的回答開始使用粗體標籤「直接答案:」和「實用細節:」。這項指示原本是要建議內容安排方式,模型卻把它當成範本。
小型模型的思考模式如何運作?
思考模式會讓模型在最終答案之前寫出中間推理,花費較多時間和 token,以便在多步驟問題上給出更仔細的結果。Qwen3 和 Gemma 4 都是在同一個模型中提供切換功能,而不是另外提供一個推理模型。
這個概念源自思維鏈提示。新一代小型模型經過推理訓練;以 Qwen3 為例,部分訓練方式是向較大型的模型學習。
這個切換功能是提示詞的一部分。Qwen3 1.7B 預設會進行思考,並在 <think>…</think> 區塊中輸出推理內容;開發者可使用 enable_thinking 設定關閉思考,使用者則可在訊息中加入 /think 或 /no_think,逐輪切換模式 7。Gemma 4 的系統提示詞以 <|think|> token 開頭時,思考模式便會啟用 8。
思考需要時間和上下文,因為推理 token 是模型輸出的一部分,也會占用上下文視窗。若模型設定為顯示推理內容,推理會出現在答案之前;但實際行為取決於模型和應用程式。
Qwen3 1.7B、Gemma 4 E2B 和 Gemma 4 E4B 有何差異?
三者的大小、輸入類型和上下文長度各不相同。Qwen3 1.7B 有 17 億個參數,只接受文字輸入;Google 列出的 Gemma 4 E2B 和 E4B 分別有 23 億和 45 億個有效參數,可接受文字、影像和音訊輸入。三者皆採用 Apache 2.0 授權發布。
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| 開發者 | Alibaba(Qwen 團隊) | Google DeepMind | Google DeepMind |
| 參數 | 1.7B,其中 1.4B 位於嵌入之外 | 有效參數 2.3B,含嵌入共 5.1B | 有效參數 4.5B,含嵌入共 8B |
| 層數 | 28 | 35 | 42 |
| 上下文長度 | 32,768 個 token | 128K 個 token | 128K 個 token |
| 輸入 | 文字 | 文字、影像、音訊 | 文字、影像、音訊 |
| 思考模式 | 有,預設開啟 | 有 | 有 |
| 授權 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
表 1. 規格取自 Qwen 的 Qwen3-1.7B 模型卡和 Google 的 Gemma 4 模型卡,查閱日期為 2026 年 10 月 5 日 7 8。
參考資料
- Qwen。「Qwen3-1.7B」。模型卡與設定,Hugging Face。查閱日期:2026 年 10 月 5 日。huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind。「Gemma 4 模型卡」。Google AI for Developers。查閱日期:2026 年 10 月 5 日。ai.google.dev/gemma/docs/core/model_card_4
使用 Ailoot 將本指南付諸實踐
透過單一 Ailoot API,將 AI 模型連接至您的應用程式、代理程式和自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。