# 小型語言模型（SLM）：完整概覽

> 小型語言模型（SLM）概覽，涵蓋其製作方式、優點與限制、實際用途、裝置端選項及微調方法。

Source: https://ailoot.ai/blog/zh-hant-tw/small-language-models-comprehensive-overview/
Canonical: https://ailoot.ai/blog/zh-hant-tw/small-language-models-comprehensive-overview/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100057
Revision: sha256-2a18480936454e75c875ac12788ce9d7a24e928eab33975b4909869c706082f7


過去幾年，人工智慧發展十分蓬勃，大型語言模型（LLM）以其能力令眾人驚豔，並為從聊天機器人到程式碼助理的各種應用提供支援。然而，並非所有應用都需要 LLM 龐大的規模與複雜性；其所需的運算能力，讓許多使用情境難以實際採用。因此，小型語言模型（SLM）應運而生，透過縮小模型尺寸，讓功能強大的 AI 模型更容易普及。

接下來，我們將介紹 SLM 是什麼、如何將模型縮小、它們的優點與限制、實際應用情境，以及如何在行動裝置與桌上型電腦上使用。

## 什麼是小型語言模型？

小型語言模型（SLM）是傳統語言模型的輕量版本，專為在資源受限的環境中高效率運作而設計，例如智慧型手機、嵌入式系統或低功耗電腦。大型語言模型具有數千億、甚至數兆個參數；SLM 的參數數量通常介於**100 萬至 100 億個參數**。它們的規模小得多，但仍保有文字生成、摘要、翻譯和問答等核心自然語言處理（NLP）能力。

> 有些實務工作者不喜歡「小型語言模型」這個名稱，因為 10 億個參數無論如何都稱不上小。他們偏好「小型大型語言模型」，但這聽起來相當拗口。不過，多數人採用「小型語言模型」，所以就稱為 SLM 吧。順帶一提，請注意，*它只是在與大型模型相比時才算小。*

## 如何縮小模型？

縮小語言模型的過程會運用多種技術，目標是在不大幅犧牲效能的前提下減少模型尺寸：

1. **知識蒸餾**：將大型「教師」模型的知識轉移給較小的「學生」模型，並以此訓練學生模型。
2. **剪枝**：移除神經網路架構中多餘或較不重要的參數。
3. **量化**：降低計算所用數值的精確度（例如，將浮點數轉換為整數）。

## 小型語言模型範例

已有多款體積小但功能強大的語言模型問世，證明大小並非一切。以下範例的 SLM 參數量介於 10 億至 40 億：

- **Llama3.2-1B** – Meta 開發的 *10 億參數*版本，針對邊緣裝置進行最佳化。
- [**Qwen2.5-1.5B**](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct) – 由 Alibaba 推出的模型，專為多語言應用設計，具有 *15 億個參數*。
- **DeepSeeek-R1-1.5B** - DeepSeek 第一代推理模型，從 Qwen2.5 蒸餾而來，具有 *15 億個參數*。
- **SmolLM2-1.7B** – 來自 HuggingFaceTB 的先進「小型」語言模型（*17 億個參數*），以專門的開放資料集（FineMath、Stack-Edu 和 SmolTalk）訓練而成。
- **Phi-3.5-Mini-3.8B** – Microsoft 推出的小巧卻強大的開放模型，具有 *38 億個參數*，並針對推理與程式碼生成進行最佳化。
- **Gemma3-4B** - 由 Google DeepMind 開發的輕量但強大的模型，具有 *40 億個參數*，支援多語言與多模態。

市面上還有其他功能更強大的小型語言模型，例如：**Mistral 7B**、**Gemma 9B** 和 **Phi-4 14B**（不過我不確定具有 140 億個參數的 Phi-4 是否還算「小型」，但它的能力確實很強 :)

## 小型語言模型的優點

- **運算需求低** – 可在一般消費型筆電、邊緣裝置和手機上執行。
- **耗能較低** – 高效率模型能減少用電，因此更環保。
- **推論速度更快** – 較小的模型能快速產生回應，適合即時應用。
- **裝置端 AI** – 不需要網路連線或雲端服務，有助於提升隱私與安全性。
- **部署成本較低** – 較低的硬體與雲端成本，讓新創公司和開發者更容易使用 AI。
- **可自訂性**：可輕鬆針對特定領域的工作進行微調（例如法律文件分析）。

## 小型語言模型的限制

SLM 優點不少，但也有一些取捨：

- **適用範圍狹窄**：在訓練領域以外的泛化能力有限（例如，醫療 SLM 不擅長程式設計）。
- **偏見風險**：如果資料集未經審慎整理，較小的資料集可能會放大偏見。
- **處理複雜問題的能力較弱**：需要深入理解上下文的高度細膩或複雜任務，可能讓較小的模型難以應付。
- **穩健性較低**：在模糊情境或面對對抗性輸入時，更容易出錯。

## 小型語言模型的實際應用

儘管有其限制，SLM 仍有廣泛的實際應用：

1. **聊天機器人與虛擬助理**：效率足以在行動裝置上執行，同時提供即時互動。
2. **程式碼生成**：Phi-3.5 Mini 等模型可協助開發者撰寫及偵錯程式碼。
3. **語言翻譯**：輕量模型可為旅客提供裝置端翻譯。
4. **摘要與內容生成**：企業使用 SLM 生成行銷文案、社群媒體貼文和報告。
5. **醫療應用**：利用裝置端 AI 協助檢查症狀和進行醫學研究。
6. **物聯網與邊緣運算**：在智慧家庭裝置上執行 AI，不必依賴雲端。
7. **教育工具**：輔導系統可運用 SLM，即時生成個人化解說、測驗和回饋。

## 在邊緣裝置上執行小型語言模型

SLM 能將 AI 的能力直接帶到智慧型手機（使用 PocketPal）或個人電腦（使用 Ollama），讓你能離線使用、提升隱私，並降低延遲。

### 使用 PocketPal 在行動裝置上執行 SLM

如果你想親自體驗 SLM，PocketPal AI 應用程式能讓你輕鬆地直接在智慧型手機上使用這些模型，不需要網路連線。無論你想草擬電子郵件、集思廣益，或快速取得問題解答，PocketPal 都能透過最佳化的 SLM 提供流暢的操作介面。離線功能可確保你的查詢內容保有隱私。

**功能**

- 離線 AI 助理：不必連上網路，就能直接在裝置上執行語言模型。
- 模型彈性選擇：下載多種 SLM 並在其中切換，例如 Phi、Gemma、Qwen 等模型。
- 自動卸載／載入：應用程式在背景執行時，自動卸載模型以管理記憶體。
- 推論設定：自訂系統提示詞、溫度、BOS token 和聊天範本等模型參數。
- 即時效能指標：在 AI 生成回應時查看每秒 token 數和每個 token 所需的毫秒數。

在 [iOS](https://apps.apple.com/us/app/pocketpal-ai/id6502579498) 和 Android 上下載 PocketPal AI。

### 使用 Ollama 在個人電腦上執行 SLM

Ollama 是一款開源工具，可簡化在個人電腦上部署 SLM 的流程：

- **本機管理**：只需最低限度的設定，即可執行 Llama3.2-1B 或 Phi-3.5 Mini 等模型。
- **GPU 最佳化**：運用消費級 GPU 加快推論速度。
- **自訂工作流程**：將 SLM 整合至資料管線或創意工具（例如自動化程式碼審查）。

**開始使用 Ollama：**

1. 從 [ollama.com](https://ollama.com) 安裝 Ollama
2. 開啟終端機並下載模型：

```
ollama pull qwen2.5:1.5b
```

3. 以互動方式執行模型：

```
ollama run qwen2.5:1.5b
```

這項設定可讓你在本機執行 AI 聊天機器人、程式碼助理和文件摘要工具，不必使用雲端服務。

## 微調小型語言模型

SLM 最令人期待的特點之一，是能透過微調來適應不同需求。只要讓 SLM 接觸特定領域的資料集，就能提升它在利基應用上的效能。

例如：

- 使用法律文件微調模型，打造合約分析助理。
- 使用技術手冊訓練 SLM，為工程師建立疑難排解指南。

微調 SLM 的方式有幾種：

1. 完整微調 – 使用新資料重新訓練所有參數（需要大量運算資源）。
2. LoRA（低秩適配） – 只微調少數幾個層，使其更輕量、更有效率。
3. Adapter 與提示詞調校 – 新增額外層，或最佳化提示詞來引導模型回應。

範例：使用 Hugging Face 的 `peft` 函式庫以 LoRA 進行微調：

```
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...
```

微調不只能提升準確度，也能確保模型更貼合你的獨特需求。

## 結論

小型語言模型（SLM）是邁向高效率、易於使用且符合成本效益的 AI 的重要一步。對於想要強大 AI，卻不想承受 LLM 沉重運算負擔的企業、開發者和研究人員而言，SLM 提供了實用的解決方案。

透過適用於個人電腦的 **Ollama**，以及用於自訂模型的**微調選項**等工具，SLM 正在改變 AI 的發展樣貌，讓 AI 更貼近個人、更重視隱私，並且人人都能使用。

一起來看看精巧的 AI 如何改變我們的專案。

### 參考資料

小型語言模型調查（研究論文）

## 透過 Ailoot 實際運用本指南

透過單一 Ailoot API，將 AI 模型連接至你的應用程式、代理程式和自動化流程。選擇適合任務的模型，並依照 [Ailoot 文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
