部落格

2026 年本機編碼 LLM

Markdown

2026 年最值得推薦的 8 款本機編碼 LLM — HumanEval 分數、檔案大小,以及可在 Mac 或電競 PC 上執行的模型實測評價。

← 返回部落格 Roundup

我們所說的「本機編碼 LLM」,是指可在自己的筆記型電腦、Mac 或電競 PC 上執行的模型——不呼叫 API、不使用雲端,也不會把專有程式碼庫傳送給第三方。

跳至表格。想透過 Claude Code CLI 使用這些模型嗎?請參閱「搭配本機模型使用 Claude Code」。

以下是完整的基準測試結果。

PocketLLM 即將推出。 私密的裝置端 AI,將先支援 iPhone 和 iPad,並計畫支援更多平台。不需要帳戶、不會在應用程式內追蹤,聊天處理也會留在你的裝置上。加入上市通知名單,搶先取得消息。

比較方式

下列基準測試數據、檔案大小和授權條款,都是各模型自行公布的資料,並已追溯至其模型卡或儲存庫。

這只是粗略的分級指標,不能取代在自己的程式碼上實際試用。

  • 檔案大小: 採用 Q4 量化時的大小。本機執行的重點就是「能在你的機器上跑得動」。
  • 授權: Apache 和 MIT 授權評價最高,非商用授權則較低。
  • 生態系: 是否有可用的 llama.cpp、Ollama、MLX 和 Core ML 轉換版本,這會決定你能否實際執行模型。

2026 年本機編碼 LLM

Qwen 2.5 Coder 32B

需要工作站(Mac Studio、多 GPU PC,或配備 48 GB 記憶體的 MacBook Pro M3 Max),但投入這筆成本,就能獲得接近 Claude 3.5 Sonnet 的編碼協助。如果你的程式碼屬於機密,而且預算足以負擔工作站級硬體,這就是合適的選擇。

DeepSeek Coder V2 Lite 16B

Q4 量化時需要約 10 GB RAM。對配備 16 GB 記憶體的 MacBook Pro 來說,這款最合適。它採用 DeepSeek 自訂條款授權——對大多數用途都相當寬鬆,但商用前請先詳閱。

Qwen 2.5 Coder 14B

Qwen 2.5 Coder 系列的中階選項。可在配備 16 GB 記憶體的筆電上執行,還有不少餘裕。基準測試表現略遜於 DeepSeek V2 Lite,但授權條款更明確,而且採用更簡單的密集型 Transformer 架構。

Qwen 2.5 Coder 7B

可在配備 8 GB 記憶體的 MacBook Air 上執行(空間相當吃緊),或在 16 GB 記憶體的裝置上輕鬆執行。如果你有 M2 Air,並想在本機進行實際的程式編碼工作,這就是適合你的模型。

Mistral Codestral 22B

Mistral 專用的編碼模型。擅長 Python 和 TypeScript,對其他語言也有不錯的表現。Mistral Non-Commercial 授權限制較多——若要用於工作成果,請仔細確認。Q4 量化時約需 14 GB,可在配備 24 GB 以上記憶體的 Mac 上執行。

StarCoder 2 15B

由 Hugging Face、ServiceNow 和 NVIDIA 共同開發的編碼模型。使用寬鬆授權的程式碼訓練;如果你在意「這個模型是從什麼資料學來的」等來源問題,這點就很重要。

Phi-3.5 Mini 3.8B

採用 MIT 授權,Q4 量化時為 2.4 GB,小到能在手機上執行。PocketLLM 正是為了將它封裝成點一下就能下載的形式而打造(即將推出)——歡迎加入上市通知名單。

Qwen 2.5 Coder 1.5B

值得執行的最小型專用編碼模型。採用 Apache 2.0 授權。Q4 量化時為 900 MB。非常適合做為快速的本機程式碼補全模型,提供行內建議;也適合做為草稿模型,在較大型的編碼模型前進行推測解碼。

摘要表

模型大小 (Q4)最低 RAM授權
Qwen 2.5 Coder 32B20 GB32 GBApache 2.0
DeepSeek Coder V2 Lite 16B10 GB16 GBDeepSeek
Qwen 2.5 Coder 14B9 GB16 GBApache 2.0
Qwen 2.5 Coder 7B4.5 GB8 GBApache 2.0
Mistral Codestral 22B14 GB24 GBMistral NC
StarCoder 2 15B9 GB16 GBBigCode OpenRAIL
Phi-3.5 Mini 3.8B2.4 GB4 GBMIT
Qwen 2.5 Coder 1.5B0.9 GB2 GBApache 2.0

如何挑選本機編碼模型

Mac Studio / 工作站 PC(32 GB 以上): Qwen 2.5 Coder 32B。毫不妥協。

16 GB MacBook Pro / 電競筆電: DeepSeek Coder V2 Lite 16B。MoE 架構讓它實際使用起來比參數量看起來輕巧許多。

8 GB MacBook Air: Qwen 2.5 Coder 7B。空間吃緊,但仍可使用。執行時請關閉其他所有程式。

iPhone 或較舊的 Mac: Phi-3.5 Mini 或 Qwen 2.5 Coder 1.5B。你無法一次就產生完整的 Rails 應用程式,但絕對能獲得理解和修改現有程式碼的協助。PocketLLM 會內建這兩款模型。

對授權較敏感的商用部署: 選擇 Qwen 2.5 Coder 系列——目前 Apache 2.0 是本機編碼領域中最清楚明確的授權。

實際執行方式

在 Mac 上:安裝 LM Studio 或 Ollama,從目錄中選擇模型,再按一下 Download。另請參閱「Ollama、LM Studio 與 PocketLLM 比較」。在搭載 GPU 的 Linux 上:使用從原始碼編譯的 llama.cpp,或 Ollama。在 iPhone 上:使用原生裝置端應用程式——請參閱我們的 iPhone 應用程式整理。

將這些模型整合到編輯器是另一個值得獨立撰文的主題。簡單來說:Continue.dev、Cody 和 Cursor 類型的外掛都支援 Ollama 或相容 OpenAI 的 localhost 端點,因此本清單中的每個模型都適用。

總結

有工作站就選 32B,電競筆電選 14B,平價筆電選 7B,手機則選 1.5B。DeepSeek Coder V2 Lite 是唯一的例外:如果你的 RAM 剛好是 16 GB,DeepSeek 的 MoE 架構能以大致相同的記憶體用量,提供明顯優於 Qwen 14B 的品質。本清單中的其他模型各有專長。

在 iPhone 上取得本機編碼協助。

PocketLLM 將 Phi-3.5 Mini 和 Qwen 2.5 Coder 1.5B 封裝成點一下就能下載的形式。私密、快速、不需要帳戶。即將推出——歡迎加入上市通知名單。

使用 Ailoot 實踐本指南

透過單一 Ailoot API,將 AI 模型連接到你的應用程式、代理程式和自動化流程。選擇符合任務需求的模型,並依照 Ailoot 文件開始使用。