部落格

小型語言模型(SLM):完整概覽

Markdown

小型語言模型(SLM)概覽,涵蓋其製作方式、優點與限制、實際用途、裝置端選項及微調方法。

過去幾年,人工智慧發展十分蓬勃,大型語言模型(LLM)以其能力令眾人驚豔,並為從聊天機器人到程式碼助理的各種應用提供支援。然而,並非所有應用都需要 LLM 龐大的規模與複雜性;其所需的運算能力,讓許多使用情境難以實際採用。因此,小型語言模型(SLM)應運而生,透過縮小模型尺寸,讓功能強大的 AI 模型更容易普及。

接下來,我們將介紹 SLM 是什麼、如何將模型縮小、它們的優點與限制、實際應用情境,以及如何在行動裝置與桌上型電腦上使用。

什麼是小型語言模型?

小型語言模型(SLM)是傳統語言模型的輕量版本,專為在資源受限的環境中高效率運作而設計,例如智慧型手機、嵌入式系統或低功耗電腦。大型語言模型具有數千億、甚至數兆個參數;SLM 的參數數量通常介於100 萬至 100 億個參數。它們的規模小得多,但仍保有文字生成、摘要、翻譯和問答等核心自然語言處理(NLP)能力。

有些實務工作者不喜歡「小型語言模型」這個名稱,因為 10 億個參數無論如何都稱不上小。他們偏好「小型大型語言模型」,但這聽起來相當拗口。不過,多數人採用「小型語言模型」,所以就稱為 SLM 吧。順帶一提,請注意,它只是在與大型模型相比時才算小。

如何縮小模型?

縮小語言模型的過程會運用多種技術,目標是在不大幅犧牲效能的前提下減少模型尺寸:

  1. 知識蒸餾:將大型「教師」模型的知識轉移給較小的「學生」模型,並以此訓練學生模型。
  2. 剪枝:移除神經網路架構中多餘或較不重要的參數。
  3. 量化:降低計算所用數值的精確度(例如,將浮點數轉換為整數)。

小型語言模型範例

已有多款體積小但功能強大的語言模型問世,證明大小並非一切。以下範例的 SLM 參數量介於 10 億至 40 億:

  • Llama3.2-1B – Meta 開發的 10 億參數版本,針對邊緣裝置進行最佳化。
  • Qwen2.5-1.5B – 由 Alibaba 推出的模型,專為多語言應用設計,具有 15 億個參數。
  • DeepSeeek-R1-1.5B - DeepSeek 第一代推理模型,從 Qwen2.5 蒸餾而來,具有 15 億個參數。
  • SmolLM2-1.7B – 來自 HuggingFaceTB 的先進「小型」語言模型(17 億個參數),以專門的開放資料集(FineMath、Stack-Edu 和 SmolTalk)訓練而成。
  • Phi-3.5-Mini-3.8B – Microsoft 推出的小巧卻強大的開放模型,具有 38 億個參數,並針對推理與程式碼生成進行最佳化。
  • Gemma3-4B - 由 Google DeepMind 開發的輕量但強大的模型,具有 40 億個參數,支援多語言與多模態。

市面上還有其他功能更強大的小型語言模型,例如:Mistral 7B、Gemma 9B 和 Phi-4 14B(不過我不確定具有 140 億個參數的 Phi-4 是否還算「小型」,但它的能力確實很強 :)

小型語言模型的優點

  • 運算需求低 – 可在一般消費型筆電、邊緣裝置和手機上執行。
  • 耗能較低 – 高效率模型能減少用電,因此更環保。
  • 推論速度更快 – 較小的模型能快速產生回應,適合即時應用。
  • 裝置端 AI – 不需要網路連線或雲端服務,有助於提升隱私與安全性。
  • 部署成本較低 – 較低的硬體與雲端成本,讓新創公司和開發者更容易使用 AI。
  • 可自訂性:可輕鬆針對特定領域的工作進行微調(例如法律文件分析)。

小型語言模型的限制

SLM 優點不少,但也有一些取捨:

  • 適用範圍狹窄:在訓練領域以外的泛化能力有限(例如,醫療 SLM 不擅長程式設計)。
  • 偏見風險:如果資料集未經審慎整理,較小的資料集可能會放大偏見。
  • 處理複雜問題的能力較弱:需要深入理解上下文的高度細膩或複雜任務,可能讓較小的模型難以應付。
  • 穩健性較低:在模糊情境或面對對抗性輸入時,更容易出錯。

小型語言模型的實際應用

儘管有其限制,SLM 仍有廣泛的實際應用:

  1. 聊天機器人與虛擬助理:效率足以在行動裝置上執行,同時提供即時互動。
  2. 程式碼生成:Phi-3.5 Mini 等模型可協助開發者撰寫及偵錯程式碼。
  3. 語言翻譯:輕量模型可為旅客提供裝置端翻譯。
  4. 摘要與內容生成:企業使用 SLM 生成行銷文案、社群媒體貼文和報告。
  5. 醫療應用:利用裝置端 AI 協助檢查症狀和進行醫學研究。
  6. 物聯網與邊緣運算:在智慧家庭裝置上執行 AI,不必依賴雲端。
  7. 教育工具:輔導系統可運用 SLM,即時生成個人化解說、測驗和回饋。

在邊緣裝置上執行小型語言模型

SLM 能將 AI 的能力直接帶到智慧型手機(使用 PocketPal)或個人電腦(使用 Ollama),讓你能離線使用、提升隱私,並降低延遲。

使用 PocketPal 在行動裝置上執行 SLM

如果你想親自體驗 SLM,PocketPal AI 應用程式能讓你輕鬆地直接在智慧型手機上使用這些模型,不需要網路連線。無論你想草擬電子郵件、集思廣益,或快速取得問題解答,PocketPal 都能透過最佳化的 SLM 提供流暢的操作介面。離線功能可確保你的查詢內容保有隱私。

功能

  • 離線 AI 助理:不必連上網路,就能直接在裝置上執行語言模型。
  • 模型彈性選擇:下載多種 SLM 並在其中切換,例如 Phi、Gemma、Qwen 等模型。
  • 自動卸載/載入:應用程式在背景執行時,自動卸載模型以管理記憶體。
  • 推論設定:自訂系統提示詞、溫度、BOS token 和聊天範本等模型參數。
  • 即時效能指標:在 AI 生成回應時查看每秒 token 數和每個 token 所需的毫秒數。

在 iOS 和 Android 上下載 PocketPal AI。

使用 Ollama 在個人電腦上執行 SLM

Ollama 是一款開源工具,可簡化在個人電腦上部署 SLM 的流程:

  • 本機管理:只需最低限度的設定,即可執行 Llama3.2-1B 或 Phi-3.5 Mini 等模型。
  • GPU 最佳化:運用消費級 GPU 加快推論速度。
  • 自訂工作流程:將 SLM 整合至資料管線或創意工具(例如自動化程式碼審查)。

開始使用 Ollama:

  1. 從 ollama.com 安裝 Ollama
  2. 開啟終端機並下載模型:
ollama pull qwen2.5:1.5b
  1. 以互動方式執行模型:
ollama run qwen2.5:1.5b

這項設定可讓你在本機執行 AI 聊天機器人、程式碼助理和文件摘要工具,不必使用雲端服務。

微調小型語言模型

SLM 最令人期待的特點之一,是能透過微調來適應不同需求。只要讓 SLM 接觸特定領域的資料集,就能提升它在利基應用上的效能。

例如:

  • 使用法律文件微調模型,打造合約分析助理。
  • 使用技術手冊訓練 SLM,為工程師建立疑難排解指南。

微調 SLM 的方式有幾種:

  1. 完整微調 – 使用新資料重新訓練所有參數(需要大量運算資源)。
  2. LoRA(低秩適配) – 只微調少數幾個層,使其更輕量、更有效率。
  3. Adapter 與提示詞調校 – 新增額外層,或最佳化提示詞來引導模型回應。

範例:使用 Hugging Face 的 peft 函式庫以 LoRA 進行微調:

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...

微調不只能提升準確度,也能確保模型更貼合你的獨特需求。

結論

小型語言模型(SLM)是邁向高效率、易於使用且符合成本效益的 AI 的重要一步。對於想要強大 AI,卻不想承受 LLM 沉重運算負擔的企業、開發者和研究人員而言,SLM 提供了實用的解決方案。

透過適用於個人電腦的 Ollama,以及用於自訂模型的微調選項等工具,SLM 正在改變 AI 的發展樣貌,讓 AI 更貼近個人、更重視隱私,並且人人都能使用。

一起來看看精巧的 AI 如何改變我們的專案。

參考資料

小型語言模型調查(研究論文)

透過 Ailoot 實際運用本指南

透過單一 Ailoot API,將 AI 模型連接至你的應用程式、代理程式和自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。