部落格

2026 年最佳程式設計 LLM:模型比較

Markdown

比較優秀的程式設計 LLM,包括可在本機執行的專有模型與開放權重模型。

模型與程式設計助理

程式設計 LLM 是讀取提示並產生 token 的模型;程式設計助理則是負責提供檔案、執行命令並顯示差異的框架。

Claude Code、Codex、Cursor、GitHub Copilot 和 Windsurf 都是框架。Claude Opus 5.5、GPT-6 Astra 和 Qwen3.8-27B 則是模型;框架會提供檔案、執行工具並呈現變更。

Anthropic 自家的 Claude Opus 4.8 發布文章在註腳中具體說明了這一點。

雲端前沿模型介紹

Claude Opus 5.5 (Anthropic)

主要功能:

  • 1M-token context、128K 輸出、無法關閉的自適應思考,以及預設為 medium 而非 high 的 effort 等級
  • 可透過 Claude API 以 claude-opus-5-5 使用,也可透過 Amazon Bedrock、Google Cloud 和 Microsoft Foundry 使用

Claude Fable 5.1 (Anthropic)

Claude Fable 5.1 是 Anthropic Mythos 級模型的公開版本,於 2026 年 9 月 1 日發布。Anthropic 的發布頁面指出,Fable 5.1 和 Claude Mythos 5.1 是同一個模型,只是安全防護措施不同。

主要功能:

  • 1M-token context window 和 128K 輸出 token
  • 自適應思考一律啟用
  • 擅長跨多個檔案規劃,思考範圍更廣,工具使用也更出色

GPT-6 Astra (OpenAI)

模型頁面列出 1,050,000-token context window、128,000 輸出 token、2026 年 4 月 30 日的知識截止日期,以及從 none 到 max 的 effort 等級。價格為每百萬輸入 token $10、快取輸入 $1,以及每百萬輸出 token $50。

主要功能:

  • Responses API 提供 hosted_shell、apply_patch、computer_use 和 tool_search,這正是 Codex 本身使用的工具組。
  • 快取輸入每百萬 token $1,只有基本價格的十分之一;對於會反覆讀取同一個程式碼庫的代理循環來說,這點很重要。
  • Astra 是第一個達到 Preparedness Framework 網路安全最高級別的 OpenAI 模型,因此某些與安全相關的提示會受到限制。

Gemini 3.8 Flash (Google)

Gemini API 價格頁面顯示,價格至 2026 年 12 月 31 日為每百萬輸入 token $0.75、每百萬輸出 token $3.75;自 2027 年 1 月 1 日起則為 $1.50 和 $7.50。即使按 2027 年的價格計算,輸出費率也只略高於 Opus 5.5 的三分之一。Context window 為 1M 輸入 token 和 64K 輸出 token。

主要功能:

  • 原生多模態輸入,因此你可以將架構圖或故障 UI 的螢幕截圖與程式碼一起交給它。
  • Google 將它定位為適合大量代理式工作的模型,並據此訂價。

雲端模型介紹到此為止。清單中的其他模型都可以下載。

此處的「開放權重」是指權重可供下載。實際授權條款從 MIT 和 Apache 2.0 到自訂條款都有。

DeepSeek V4.1 Flash (DeepSeek)

主要功能:

  • DeepSeek 的價格頁面列出的 API 價格為離峰時每百萬輸入 token $0.15、每百萬輸出 token $0.60;平日尖峰時段(UTC 01:00 至 04:00,以及 06:00 至 10:00)價格加倍為 $0.30 和 $1.20。離峰時的快取命中費用為每百萬 token $0.003。
  • 它透過相容 OpenAI 的 API,以 deepseek-flash 提供服務,因此只要更改 base URL,本文稍後的 ask_coding_model.py 指令碼就能使用。
  • KV cache 的大小約為 V4 Flash 的四分之一,這讓 DeepSeek 得以將長 context 工作的價格訂得這麼低。

Kimi K3 (Moonshot AI)

主要功能:

  • 具備原生視覺能力的 1M-token context。
  • 採用 Kimi K3 License,這是一種自訂授權,而非 MIT 或 Apache;商業使用前請先閱讀。
  • 建議的推論堆疊為 vLLM、SGLang 和 TokenSpeed。

Qwen3.8-27B (Alibaba)

Qwen3.8-27B 是一款密集型 270 億參數模型,於 2026 年 8 月以 Apache 2.0 授權發布。

主要功能:

  • Unsloth 社群版 UD-Q4_K_M GGUF 是單一 16.5 GB 檔案,可在 24 GB 顯示卡上保留空間來使用 32K context。UD-Q4_K_XL 則為 17.6 GB。
  • 密集型架構。
  • 採用 Apache 2.0 授權,因此用於商業產品不受使用限制。

Laguna S 2.1 (Poolside)

Laguna S 2.1 是 Poolside 推出的 118B 參數混合專家式程式設計模型,具有 8B 個活躍參數,於 2026 年 7 月 21 日發布。

此模型以 4,096 顆 H200,在不到 9 週內,使用 409,000 個環境進行訓練,其中包括 83,000 個終端任務和 168,000 個軟體工程工作流程。

主要功能:

  • 1M-token context window,以此模型規模來說相當少見。
  • OpenMDW-1.1 授權條款寬鬆,但仍值得請法務團隊閱讀。

取捨:118B 參數模型在 4-bit 下的權重約為 60 至 70 GB,還未計入 KV cache,因此 24 GB GPU 無法勝任。

Qwen3-Coder-Next (Alibaba)

主要功能:

  • 官方的 Q4_K_M GGUF 約為 48 GB,比起單張消費級 GPU,更適合搭配 64 GB Mac 或 CPU offload 設定使用。
  • 混合式 attention(每個標準 attention layer 配置 3 個 Gated DeltaNet layers)能降低長 context 的記憶體用量。
  • 根據模型卡,它支援 vLLM、SGLang、Ollama、LM Studio、MLX-LM、llama.cpp 和 KTransformers。

如何在本機執行開放權重程式設計模型?

首先,下載模型。huggingface_hub 程式庫可處理可續傳下載和快取,這有助於處理較大的檔案:

"""Download a quantized coding model from Hugging Face.
 
Qwen3.8-27B at UD-Q4_K_M is a single 16.5 GB file, which leaves room for
a 32K context on a 24 GB GPU. Swap FILENAME for the UD-Q4_K_XL build if you
have the extra 1 GB to spare.
"""
 
from huggingface_hub import hf_hub_download
 
REPO_ID = "unsloth/Qwen3.8-27B-GGUF"
FILENAME = "Qwen3.8-27B-UD-Q4_K_M.gguf"
 
 
def fetch(repo_id: str = REPO_ID, filename: str = FILENAME) -> str:
    """Download one file from the Hub and return its local path."""
    path = hf_hub_download(repo_id=repo_id, filename=filename)
    print(f"Saved to {path}")
    return path
 
 
if __name__ == "__main__":
    fetch()

將它儲存為 download_gguf.py,並執行 uv run --with huggingface_hub python download_gguf.py。在 Windows 上,如果未啟用開發人員模式,你會看到關於 symlinks 的警告。

第二步,提供模型服務。

llama.cpp 的 llama-server、LM Studio 或 Ollama 都會提供相容 OpenAI 的 /v1 endpoint。使用 llama.cpp 時,命令只有一行,2 個旗標就能完成設定:-ngl 99 會將所有層 offload 至 GPU,而 -c 32768 會將 context 設為 32K。

llama-server -m Qwen3.8-27B-UD-Q4_K_M.gguf -c 32768 -ngl 99 --port 8080

第三步,設定用戶端。我會為每個評估的模型各使用一個指令碼,無論模型在本機執行或由遠端託管,並透過 3 個環境變數切換目標。同一個檔案可以連線到上面的本機伺服器、DeepSeek API 或 OpenAI API:

"""Send one coding prompt to any OpenAI-compatible endpoint.
 
The same script talks to a local llama.cpp or vLLM server, to DeepSeek's
API, or to OpenAI itself. Only three environment variables change:
 
    LLM_BASE_URL   e.g. http://localhost:8080/v1  or  https://api.deepseek.com
    LLM_MODEL      e.g. qwen3.8-27b  or  deepseek-flash
    LLM_API_KEY    anything non-empty for a local server
"""
 
import os
 
from openai import OpenAI
 
PROMPT = (
    "Write a Python function top_n(df, col, n) that returns the n largest "
    "rows of a pandas DataFrame by column col, with a docstring and a "
    "ValueError if col is missing."
)
 
 
def ask(prompt: str = PROMPT) -> str:
    """Return the model's reply for a single-turn coding request."""
    client = OpenAI(
        base_url=os.environ["LLM_BASE_URL"],
        api_key=os.environ.get("LLM_API_KEY", "local"),
    )
    response = client.chat.completions.create(
        model=os.environ["LLM_MODEL"],
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,  # keep code generation close to deterministic
    )
    return response.choices[0].message.content
 
 
if __name__ == "__main__":
    print(ask())

將它儲存為 ask_coding_model.py,然後執行 LLM_BASE_URL=http://localhost:8080/v1 LLM_MODEL=qwen3.8-27b uv run --with openai python ask_coding_model.py。

搭配 Ailoot 使用本指南

透過單一 Ailoot API,將 AI 模型連接到你的應用程式、代理和自動化流程。選擇適合任務的模型,並依照 Ailoot 文件開始使用。