# 小型語言模型解析

> 說明什麼讓語言模型成為小型模型、參數與有效參數的意義、小型模型為何能在手機上運作，以及它們在能力上有所取捨之處。

Source: https://ailoot.ai/blog/zh-hant-tw/small-language-models-explained/
Canonical: https://ailoot.ai/blog/zh-hant-tw/small-language-models-explained/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-70d9faa8c09ab2afa002cd206381d9d5a418754c4fbfaa3c10271d93723ed721


## 什麼是小型語言模型？

小型語言模型（SLM）是精簡到足以在手機或筆記型電腦等一般硬體上執行的語言模型，不需要資料中心。小型模型沒有公認的門檻：通常會把參數不超過數十億個的模型稱為小型模型，而一份 2024 年的調查採用 1 億至 50 億個參數的範圍。

小型和大型語言模型的運作方式相同。兩者都是神經網路，幾乎總是 Transformer，經過訓練來預測文字中的下一個 token，並在預訓練後調整為遵循指令；前述調查涵蓋的正是這類僅含解碼器的 Transformer。差異在於規模。適合手機執行的模型有數十億個參數，而前沿雲端模型的規模大得多，因此小型模型能掌握的知識較少，推理能力也較弱（請參閱「小型模型有哪些不足？」）。小型模型讓裝置端 AI 得以實用化。

品質不只受規模影響。因此，小型模型的品質與其訓練方式同樣密切相關。它可以透過蒸餾向大型模型學習，也就是訓練它模仿大型模型的輸出；精心挑選的資料也有幫助：phi-1 是一個有 13 億個參數的程式碼模型，主要使用「教科書品質」的資料訓練，在 HumanEval 程式設計基準測試中的 pass@1 達到 50.6%。

## 「參數」與「有效參數」是什麼意思？

參數是模型在訓練期間學到的數值，參數數量是衡量模型大小的常用方式：Qwen3 1.7B 中的「1.7B」代表約 17 億個參數。Google 的 Gemma 4 E2B 和 E4B 中的「E」代表「有效參數」，計算模型實際進行運算的參數，並排除只供查表使用的大型嵌入表。

大多數參數位於 Transformer 注意力層和前饋層的權重矩陣中，每個 token 都會經過這些層。嵌入則是另一個區塊，會把詞彙表中的每個 token 對應到一個向量；在小型模型中，嵌入可能占總數相當大的比例。Qwen3 1.7B 的嵌入表有 151,936 列（這是模型設定的詞彙表大小，經填補後超過 tokenizer 的 151,669 個項目），每列 2,048 個維度，約有 3.11 億個嵌入參數；這與模型卡相符，模型卡列出總計 17 億個參數，其中 14 億個位於嵌入之外 7。擴展研究通常只計算非嵌入參數。

Gemma 4 的 E 系列進一步延伸了這個概念。Google 的模型卡說明：「E2B 和 E4B 中的『E』代表『有效』參數」：這些模型使用逐層嵌入（PLE），讓「每個解碼器層都為每個 token 配備自己的小型嵌入」，而且「這些嵌入表很大，但只用於快速查詢，因此有效參數數量遠小於參數總數」 8。模型卡列出 Gemma 4 E2B 有 23 億個有效參數，含嵌入時共 51 億個；E4B 則有 45 億個有效參數，含嵌入時共 80 億個。

這項差異對手機很重要，因為查表需要記憶體，但只需少量運算，而且執行環境可以讓表格留在儲存空間中。「有效」也不同於「啟用」：Gemma 4 26B A4B 是混合專家模型，有 252 億個參數，其中 38 億個會在推論期間啟用 8。

## 小型模型為何能在手機上運作？

模型權重大約需要的空間，是參數數量乘以每個參數的儲存位元數，再除以 8。以 4 位元儲存時，17 億個參數約需 0.85 GB；在配備 4 GB RAM 的手機上，仍有空間供 Android 和其他應用程式使用。

參數數量和精度是兩個可調整的因素。圖 1 以 Qwen3 1.7B 為例，逐步計算從 32 位元浮點數到 4 位元模型檔案的記憶體需求。

<figure id="la-fit">
<ol>
<li><strong>以 32 位元浮點數儲存時，17 億個參數需要 6.8 GB。</strong></li>
<li><strong>以 16 位元儲存時，需要 3.4 GB。</strong></li>
<li><strong>以 8 位元儲存時，需要 1.7 GB。</strong>每個權重的位元數減半，權重所需的記憶體也會減半。</li>
<li><strong>以 4 位元儲存時，約需 0.85 GB。</strong>每個權重只占半個位元組，讓這種大小的模型能在 4 GB 手機上實際使用。</li>
<li><strong>4 位元模型檔案可能比原始權重更大。</strong>區塊縮放值和其他儲存資料會增加檔案大小。</li>
</ol>
<figcaption>圖 1. 以十進位 GB 計算，儲存 Qwen3 1.7B 權重所需的記憶體。藍色長條是以 17 億個參數計算「參數 × 位元數 ÷ 8」所得，只計算權重；執行中的模型還需要記憶體來存放鍵值快取及執行環境。橘色長條代表下載的模型檔案。</figcaption>
</figure>

| 精度 | 每個參數的位元數 | 權重大約所需的記憶體 |
|---|---:|---:|
| 32 位元浮點數 | 32 | 6.8 GB |
| 16 位元浮點數 | 16 | 3.4 GB |
| 8 位元整數 | 8 | 1.7 GB |
| 4 位元整數 | 4 | 0.85 GB |

因此，適合手機執行的模型會將數十億個參數與 4 位元或混合精度權重結合；量化可減少權重所需的儲存空間。

記憶體占用不只有權重。執行中的模型還需要記憶體來存放鍵值快取，其大小會隨著上下文視窗長度增加；執行環境本身也需要記憶體。速度也遵循相同的原理：每產生一個新 token，都必須從記憶體讀取模型權重，因此在同一支手機上，權重越少、越小，回答速度就越快。

## 小型模型擅長什麼？

小型模型擅長處理所需資訊已包含在提示詞或常見知識中的任務，例如改寫、摘要、撰寫草稿、解釋，以及根據提供的段落回答問題。由於模型在裝置上執行，也可以在沒有網路連線時回答，且不必將提示詞傳送到伺服器。

Google 的模型卡稱 Gemma 4 系列「適合推理、代理式工作流程、程式設計和多模態理解」，其中 E2B 和 E4B 可接受文字、影像和音訊輸入 8。這些是開發者自己的描述與基準測試結果；特定模型在特定手機上執行特定任務的效果，仍須實際測試。

提供適當的文字內容，有助於補足小型模型不知道的資訊。檢索增強生成會在提問時加入檢索到的段落，讓模型根據來源而非記憶作答。小型模型的執行成本也容易預測：每個問題都不會產生伺服器費用，沒有排隊等待，而且下載後不依賴網路連線。

## 小型模型有哪些不足？

小型模型掌握的知識較少，處理長篇或多步驟推理的能力較弱，也不如大型模型擅長處理長上下文；而且和所有語言模型一樣，它們可能流暢地說出錯誤資訊。

同一系列的模型也呈現出這種趨勢。根據 Google 的模型卡，Gemma 4 E2B 在 MMLU Pro 知識與推理基準測試中得分 60.0%，E4B 得分 69.4%，而有 310 億個參數的 Gemma 4 模型得分 85.2%；在 GPQA Diamond 這組研究所程度的科學問題中，三者分別得分 43.4%、58.6% 和 84.3% 8。這些是 Google 對自家模型測得的結果。

小型模型也可能卡在反覆重複內容。Qwen 的模型卡警告，貪婪解碼「可能導致效能下降和無止盡的重複」 7。

## 小型模型為什麼會照著指令的形式回答？

小型模型往往不只遵循提示詞的內容，也會模仿提示詞的形式，因此冗長且結構化的系統提示詞，可能讓每個回答都出現相同的結構。

有個提示詞要求模型「先給出直接答案，再補充實用細節」，結果模型的回答開始使用粗體標籤「直接答案：」和「實用細節：」。這項指示原本是要建議內容安排方式，模型卻把它當成範本。

## 小型模型的思考模式如何運作？

思考模式會讓模型在最終答案之前寫出中間推理，花費較多時間和 token，以便在多步驟問題上給出更仔細的結果。Qwen3 和 Gemma 4 都是在同一個模型中提供切換功能，而不是另外提供一個推理模型。

這個概念源自思維鏈提示。新一代小型模型經過推理訓練；以 Qwen3 為例，部分訓練方式是向較大型的模型學習。

這個切換功能是提示詞的一部分。Qwen3 1.7B 預設會進行思考，並在 `<think>…</think>` 區塊中輸出推理內容；開發者可使用 `enable_thinking` 設定關閉思考，使用者則可在訊息中加入 `/think` 或 `/no_think`，逐輪切換模式 7。Gemma 4 的系統提示詞以 `<|think|>` token 開頭時，思考模式便會啟用 8。

思考需要時間和上下文，因為推理 token 是模型輸出的一部分，也會占用上下文視窗。若模型設定為顯示推理內容，推理會出現在答案之前；但實際行為取決於模型和應用程式。

## Qwen3 1.7B、Gemma 4 E2B 和 Gemma 4 E4B 有何差異？

三者的大小、輸入類型和上下文長度各不相同。Qwen3 1.7B 有 17 億個參數，只接受文字輸入；Google 列出的 Gemma 4 E2B 和 E4B 分別有 23 億和 45 億個有效參數，可接受文字、影像和音訊輸入。三者皆採用 Apache 2.0 授權發布。

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| 開發者 | Alibaba（Qwen 團隊） | Google DeepMind | Google DeepMind |
| 參數 | 1.7B，其中 1.4B 位於嵌入之外 | 有效參數 2.3B，含嵌入共 5.1B | 有效參數 4.5B，含嵌入共 8B |
| 層數 | 28 | 35 | 42 |
| 上下文長度 | 32,768 個 token | 128K 個 token | 128K 個 token |
| 輸入 | 文字 | 文字、影像、音訊 | 文字、影像、音訊 |
| 思考模式 | 有，預設開啟 | 有 | 有 |
| 授權 | Apache 2.0 | Apache 2.0 | Apache 2.0 |

表 1. 規格取自 Qwen 的 Qwen3-1.7B 模型卡和 Google 的 Gemma 4 模型卡，查閱日期為 2026 年 10 月 5 日 7 8。



## 參考資料

7. Qwen。「Qwen3-1.7B」。模型卡與設定，Hugging Face。查閱日期：2026 年 10 月 5 日。[huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind。「Gemma 4 模型卡」。Google AI for Developers。查閱日期：2026 年 10 月 5 日。[ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## 使用 Ailoot 將本指南付諸實踐

透過單一 Ailoot API，將 AI 模型連接至您的應用程式、代理程式和自動化流程。選擇適合任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。

## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
