部落格

在本機執行的最佳小型 LLM:完整指南

Markdown

2026 年最適合在本機執行的小型 LLM——Qwen3、Gemma 3、Llama 3.2 和 Phi-4-mini——以及所需的 RAM 和使用 Ollama 執行它們的方法。

小型語言模型悄然成為開發者能在自己的電腦上使用的最實用工具之一。現在,你不再需要一整櫃 GPU 或雲端帳單,就能讓能力出色的模型完全離線地回答問題、撰寫程式碼及摘要文件。

自從早期開放權重模型 LLaMA、Alpaca 和 GPT-J 問世以來,情況已經改變許多。到了 2026 年,筆電上的 40 億參數模型就能完成過去需要其十倍規模模型才能處理的工作。本指南介紹今天最適合在本機執行的小型 LLM、所需硬體,以及讓它們開始運作的最簡單方法。

快速解答。 2026 年最適合在本機執行的小型 LLM 是 Qwen3(1.7B–14B)、Google Gemma 3(1B–12B)、Meta Llama 3.2(1B/3B)和 Microsoft Phi-4-mini(3.8B)。Qwen3 是最穩妥的全方位預設選擇。使用 Ollama 或 LM Studio 執行;大多數只需要 8–16 GB RAM。

2026 年什麼樣的模型算是小型 LLM?

小型 LLM(有時稱為小型語言模型,或 SLM)是能在消費級硬體上執行,而非需要雲端 GPU 叢集的精簡模型。雖然沒有官方界線,但目前的小型模型實際上共有三項特徵:

  • 約 0.5B 到 14B 個參數——小到量化版本可放進一般筆電或單張中階 GPU 的記憶體。
  • 經過 4 位元量化後仍能良好運作,記憶體使用量約減少 4 倍,品質則只略有取捨。
  • 以開放權重形式發布,因此你可以下載、執行,而且通常能在不需要 API 金鑰的情況下微調。

自 2023 年以來,關鍵轉變在於每個參數所帶來的品質。現代 3–4B 模型經過指令微調、支援多語言,而且推理能力往往勝過兩年前的 13B 模型。因此,過去常用的模型——原版 LLaMA 7B、Alpaca、Vicuna、GPT-J、GPT-Neo、Falcon 7B——如今已被下列系列取代。

為什麼要在本機執行小型 LLM?

在自己的電腦上執行模型,能帶來託管 API 無法提供的幾項好處:

  • 隱私。 提示詞和資料不會離開你的裝置——對專有程式碼、法律或醫療工作尤其重要。
  • 成本。 不按 token 計費。模型下載完成後,推論免費。
  • 離線使用。 在飛機上、安全網路內,或任何沒有可靠網路的地方都能運作。
  • 延遲與控制。 沒有網路往返延遲、沒有速率限制,而且你可以固定使用特定版本,讓行為不會在你不知情時改變。
  • 客製化。 你可以微調或加入檢索功能,讓模型適應自己的領域。

2026 年最適合在本機執行的小型 LLM 有哪些?

以下是 2026 年值得下載的模型系列,依製造商及最適合的用途分類。

Qwen3——全方位預設首選

阿里巴巴的 Qwen3 系列悄然成為多數開發者對「我該在本機執行什麼?」的答案。它涵蓋多種規模——密集模型包含 0.6B、1.7B、4B、8B 和 14B——全都採用寬鬆的 Apache 2.0 授權,沒有商業限制。

  • 最適合: 一般聊天、程式設計協助、重構、多語言工作。
  • 最佳平衡點: Qwen3 8B 普遍被視為 8 GB GPU 上的最佳整體選擇;Qwen3 4B 則是僅使用 CPU 的筆電的可靠選擇。
  • 勝出原因: 每個參數所帶來的品質出色、授權清楚,而且工具支援完善。

Google Gemma 3——效能強且支援多模態

Google 的 Gemma 3 提供 1B、4B、12B 和 27B 規模。4B 及更大型版本支援多模態(能讀取圖像)並支援 140+ 種語言,因此當你需要在裝置上處理視覺內容或涵蓋多種語言時,Gemma 是理想選擇。

  • 最適合: 多模態輸入、多語言任務,以及在 16 GB 裝置上一般用途(Gemma 3 12B)。
  • 注意: Gemma 採用 Google 自家的授權;商業用途請先確認條款。

Meta Llama 3.2——最容易上手的選擇

Meta 的小型 Llama 模型——Llama 3.2 1B 和 3B——是最無門檻的入門方式。它們體積小、文件完善、支援廣泛,且適合摘要和簡單聊天等裝置端任務。

  • 最適合: 第一個本機模型、摘要、裝置端助理。
  • 取捨: 在艱深推理方面,1B/3B 規模不及 Qwen3 和 Phi-4,但在速度和簡潔性上很難被超越。

Microsoft Phi-4 和 Phi-4-mini——小身材,大推理

Microsoft 的 Phi 模型大量使用精選及合成資料訓練,因此在數學、邏輯和結構化問題解決方面,表現超越其規模。Phi-4 是一款 14B 模型,在推理任務上經常能與大得多的模型一較高下;而 Phi-4-mini(3.8B) 可以說是低配硬體能執行的最佳小型推理模型——在 4 位元下約需 3 GB VRAM。兩者都採用寬鬆的 MIT 授權。

  • 最適合: 在中階硬體上處理數學、邏輯及逐步推理。

Mistral 7B——成熟、以程式碼為先的選擇

Mistral 7B 仍是可靠的主力模型,擁有大型微調模型及整合工具生態系之一。它採用 Apache 2.0 授權,在 8 GB GPU 上可輕鬆執行,至今仍是以程式碼為先的本機配置常用選擇。Mistral 較小的 Ministral 模型(3B 和 8B)則將此系列延伸至邊緣裝置用途。

  • 最適合: 程式設計、支援完善的一般模型、輕鬆微調。

DeepSeek-R1 蒸餾模型——適用於邏輯密集工作

DeepSeek 發布了以 Qwen 和 Llama 為基礎的蒸餾推理模型(常見規模為 7B、8B 和 14B)。這些模型讓思維鏈風格的推理能力下放到能在本機執行的規模,逐步解題能力也很出色。它們採用 MIT 授權,並可在 Ollama 中取得。

  • 最適合: 推理、數學,以及能受益於可見思考步驟的問題。

SmolLM2——需要極小模型時

Hugging Face 的 SmolLM2 提供 135M、360M 和 1.7B 規模。硬體資源最有限、需要在瀏覽器或邊緣裝置上執行時,可以選用這些模型。它們能處理摘要和簡單指令,但並非為複雜推理而設計。

  • 最適合: 極低 RAM、嵌入式及邊緣用途、實驗。

小型 LLM 比較表

以下為 4 位元(Q4)量化版本的近似數值。實際記憶體使用量會隨上下文長度及執行環境而異。

模型參數近似 RAM/VRAM(Q4)最適用途授權
Qwen3 1.7B1.7B~2 GB在任何筆電上快速聊天Apache 2.0
Qwen3 4B4B~3–4 GB均衡聊天與輕量程式設計Apache 2.0
Qwen3 8B8B~6–8 GB8 GB GPU 上的最佳全方位選擇Apache 2.0
Qwen3 14B14B~10–12 GB程式設計、重構、推理Apache 2.0
Gemma 3 4B4B~3–4 GB多模態 / 140+ 種語言Gemma
Gemma 3 12B12B~9–10 GB在 16 GB 裝置上強大的通用效能Gemma
Llama 3.2 3B3B~3 GB輕鬆入門Llama
Phi-4-mini3.8B~3 GB小型硬體上的推理/數學MIT
Phi-414B~10–12 GB小身材、大數學與邏輯能力MIT
Mistral 7B7B~5–6 GB以程式碼為先、成熟的生態系Apache 2.0
DeepSeek-R1 distill 8B8B~6–8 GB邏輯密集、逐步推理MIT
SmolLM2 1.7B1.7B~1.5 GB邊緣裝置 / 極低 RAMApache 2.0

需要多少 RAM 和硬體?

一個實用的經驗法則:4 位元量化模型每 10 億個參數約需 0.6–0.75 GB 記憶體,另外還要為上下文預留一些空間。因此,7B 模型約需 5–6 GB,14B 模型約需 10–12 GB。可執行的模型規模會隨可用記憶體而變:

你有舒適執行的模型規模推薦選擇
8 GB RAM,無 GPU1–4BQwen3 4B、Phi-4-mini、Gemma 3 1B、Llama 3.2 3B
8 GB GPU(VRAM)7–8BQwen3 8B、Mistral 7B、DeepSeek-R1 distill 8B
16 GB RAM / VRAM12–14BGemma 3 12B、Qwen3 14B、Phi-4
24 GB+ GPU14–32BQwen3 32B、較大型的 DeepSeek 版本

Apple Silicon Mac 是個特例:其統一記憶體讓 GPU 能使用大部分系統 RAM,因此配備 16–32 GB 的 M 系列 MacBook,能執行在 PC 上需要獨立 GPU 才能執行的模型。

黃金法則: 別從最大型的模型開始。先選擇硬體能輕鬆執行的最佳模型。快速的 4B 模型,勝過會交換記憶體、每秒只輸出一個 token 的 14B 模型。

如何在本機執行小型 LLM?

入門不需要碰 Python。三種工具幾乎能涵蓋所有用途:

  • Ollama——最簡單的途徑。安裝後,只需一個指令就能下載並執行模型。它會處理下載、量化,並在 localhost:11434 提供相容於 OpenAI 的 API。
  • LM Studio——精緻的桌面應用程式,具備聊天介面、模型瀏覽器及一鍵下載功能。偏好圖形介面時最適合。
  • llama.cpp——為許多生態系提供動力的底層 C/C++ 引擎。需要最大控制權,或想直接在 CPU 或 Apple Silicon 上執行 GGUF 檔案時可選用。

使用 Ollama 的首次執行方式如下:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

模型執行後,Ollama 和 LM Studio 都會提供相容於 OpenAI 的端點,因此只要變更 base URL,就能讓現有工具和指令碼連接本機模型。

如何挑選適合的小型 LLM?

依照工作選模型,而非追逐排行榜:

  • 一般聊天和日常任務: Qwen3(4B 或 8B)——最穩妥的預設選擇。
  • 程式設計和重構: Qwen3 14B、Mistral,或在 12–16 GB GPU 上執行的 DeepSeek-R1 蒸餾模型。
  • 小型硬體上的數學、邏輯和推理: Phi-4-mini;若有 16 GB,則選 Phi-4。
  • 圖像或多種語言: Gemma 3 4B 或 12B。
  • 極小的資源占用: Llama 3.2 1B、Gemma 3 1B 或 SmolLM2。

小型本機 LLM 有哪些限制?

小型模型確實很實用,但也要了解它們的能力界線:

  • 世界知識較少。 它們的知識不如前沿雲端模型,也可能信心十足地給出錯誤答案,因此重要資訊務必查證。
  • 艱深推理能力較弱。 3B 模型無法在複雜的多步驟問題上媲美大型託管模型。
  • 上下文與速度的取捨。 長上下文會占用更多記憶體;使用 CPU 時,大型模型可能執行緩慢。
  • 品質因任務而異。 擅長聊天的模型,程式碼能力可能平平。在確定使用前先測試幾款。

許多工作流程可透過檢索(RAG)或快速微調來解決,讓模型使用你自己的資料——這兩種方式在本機執行的成本都比聽起來低得多。

常見問題

2026 年最適合在本機執行的小型 LLM 是哪一款?

對多數人來說,Qwen3 8B 是 8 GB GPU 上的最佳全方位選擇;Qwen3 4B 或 Llama 3.2 3B 則適合僅使用 CPU 的筆電。請選擇硬體能輕鬆執行的最大模型,而非可用的最大型號。

能在本機執行的最小 LLM 是什麼?

SmolLM2(135M–1.7B)、Llama 3.2 1B、Gemma 3 1B 和 Qwen3 0.6B 等模型幾乎能在任何現代筆電上執行;採用 4 位元量化時,通常不到 2 GB RAM。它們能處理摘要和簡單聊天,但複雜推理能力較弱。

在本機執行小型 LLM 需要多少 RAM?

4 位元量化的 3–4B 模型約需 3–4 GB 可用 RAM 或 VRAM,7–8B 模型約需 6–8 GB,12–14B 模型則需 10–16 GB。16 GB 系統 RAM 是大多數小型模型的舒適基準。

在本機執行小型 LLM 最簡單的方法是什麼?

安裝 Ollama 或 LM Studio,再用一個指令下載模型(例如 ollama pull qwen3:8b)。兩者都會處理下載、量化和本機聊天介面,並提供相容於 OpenAI 的 API,供你的應用程式使用。

沒有 GPU 也能執行小型 LLM 嗎?

可以。採用 4 位元量化時,最高約 7–8B 的模型可在現代 CPU 上執行;受惠於統一記憶體,它們在 Apple Silicon Mac 上的速度會明顯更快。輸出 token 的速度會比獨立 GPU 慢,但仍適合聊天和草擬文字。

小型本機 LLM 適合寫程式嗎?

可以。以小型模型來說,Qwen3 和 DeepSeek-R1 蒸餾模型的程式碼能力很強,而 Mistral 擁有成熟、以程式碼為先的生態系。若要進行較重度的重構,在 12–16 GB GPU 上執行 14B 模型,能提供本機可得的最佳品質。

總結

小型本機 LLM 已從業餘愛好者的實驗,成為日常實用工具。以 Qwen3 作為均衡的預設選擇;需要在輕量硬體上推理時,選 Phi-4-mini;需要視覺功能或多種語言時,選 Gemma 3——透過 Ollama 或 LM Studio,只需幾分鐘即可開始使用。若需要 Ailoot 文件的使用協助,請參閱 Ailoot 文件。