Blog

Các mô hình LLM nhỏ tốt nhất để chạy cục bộ: Hướng dẫn toàn diện

Markdown

Các mô hình LLM nhỏ tốt nhất để chạy cục bộ năm 2026 — Qwen3, Gemma 3, Llama 3.2 và Phi-4-mini — cùng mức RAM cần thiết và cách chạy chúng bằng Ollama.

Các mô hình ngôn ngữ nhỏ đã âm thầm trở thành một trong những công cụ hữu ích nhất mà nhà phát triển có thể giữ trên máy của mình. Bạn không còn cần một giá GPU hay hóa đơn đám mây để có một mô hình đủ năng lực trả lời câu hỏi, viết bản nháp mã và tóm tắt tài liệu hoàn toàn ngoại tuyến.

Bức tranh đã thay đổi rất nhiều kể từ những ngày đầu của các mô hình có trọng số mở như LLaMA, Alpaca và GPT-J nguyên bản. Năm 2026, một mô hình 4 tỷ tham số trên máy tính xách tay có thể làm những việc trước đây cần đến một mô hình lớn hơn gấp mười lần. Hướng dẫn này giới thiệu các mô hình LLM nhỏ tốt nhất để chạy cục bộ hiện nay, phần cứng cần có và những cách đơn giản nhất để khởi chạy chúng.

Câu trả lời nhanh. Các mô hình LLM nhỏ tốt nhất để chạy cục bộ năm 2026 là Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) và Microsoft Phi-4-mini (3.8B). Qwen3 là lựa chọn mặc định an toàn nhất cho mục đích tổng quát. Hãy chạy chúng bằng Ollama hoặc LM Studio; hầu hết chỉ cần 8–16 GB RAM.

Thế nào là một LLM nhỏ trong năm 2026?

LLM nhỏ (đôi khi còn được gọi là mô hình ngôn ngữ nhỏ, hay SLM) là mô hình gọn nhẹ có thể chạy trên phần cứng phổ thông thay vì cụm GPU trên đám mây. Không có ngưỡng chính thức, nhưng trên thực tế, các mô hình nhỏ hiện nay có ba đặc điểm chung:

  • Khoảng 0.5B đến 14B tham số — đủ nhỏ để phiên bản đã lượng tử hóa vừa với bộ nhớ của một máy tính xách tay thông thường hoặc một GPU tầm trung.
  • Chạy tốt sau khi lượng tử hóa 4 bit, giúp giảm mức sử dụng bộ nhớ khoảng 4 lần với mức đánh đổi nhỏ về chất lượng.
  • Được phát hành dưới dạng trọng số mở, vì vậy bạn có thể tải xuống, chạy và thường là tinh chỉnh chúng mà không cần khóa API.

Thay đổi lớn kể từ năm 2023 là chất lượng trên mỗi tham số. Một mô hình 3–4B hiện đại được tinh chỉnh theo chỉ dẫn, hỗ trợ đa ngôn ngữ và thường suy luận tốt hơn mô hình 13B của hai năm trước. Đó là lý do những lựa chọn quen thuộc ngày trước — LLaMA 7B nguyên bản, Alpaca, Vicuna, GPT-J, GPT-Neo và Falcon 7B — đã nhường chỗ cho các dòng mô hình dưới đây.

Vì sao nên chạy LLM nhỏ cục bộ?

Chạy mô hình trên máy của riêng bạn đem lại một số lợi ích mà API lưu trữ không thể có:

  • Quyền riêng tư. Prompt và dữ liệu không bao giờ rời khỏi thiết bị — điều quan trọng khi làm việc với mã độc quyền, tài liệu pháp lý hoặc y tế.
  • Chi phí. Không tính phí theo token. Sau khi tải mô hình, suy luận là miễn phí.
  • Sử dụng ngoại tuyến. Hoạt động trên máy bay, trong mạng bảo mật hoặc ở bất cứ nơi nào không có kết nối internet ổn định.
  • Độ trễ và khả năng kiểm soát. Không có lượt truyền qua mạng, không bị giới hạn tần suất, và bạn có thể cố định một phiên bản cụ thể để hành vi của mô hình không âm thầm thay đổi.
  • Tùy chỉnh. Bạn có thể tinh chỉnh hoặc bổ sung truy xuất thông tin để điều chỉnh mô hình cho lĩnh vực của mình.

Các mô hình LLM nhỏ tốt nhất để chạy cục bộ năm 2026 là gì?

Dưới đây là những dòng mô hình đáng tải xuống trong năm 2026, được nhóm theo nhà phát triển và thế mạnh.

Qwen3 — lựa chọn mặc định đa năng

Dòng Qwen3 của Alibaba đã âm thầm trở thành câu trả lời cho câu hỏi “nên chạy mô hình nào cục bộ?” đối với phần lớn nhà phát triển. Dòng này có nhiều kích cỡ — 0.6B, 1.7B, 4B, 8B và 14B ở các phiên bản dense — tất cả đều theo giấy phép Apache 2.0 dễ dãi, không có hạn chế thương mại.

  • Phù hợp nhất với: trò chuyện tổng quát, hỗ trợ lập trình, tái cấu trúc mã và công việc đa ngôn ngữ.
  • Lựa chọn lý tưởng: Qwen3 8B được nhiều người xem là lựa chọn tổng thể tốt nhất trên GPU 8 GB; Qwen3 4B là lựa chọn tốt cho máy tính xách tay chỉ dùng CPU.
  • Lý do nổi bật: chất lượng cao trên mỗi tham số, giấy phép rõ ràng và hỗ trợ công cụ xuất sắc.

Google Gemma 3 — mạnh mẽ và đa phương thức

Google Gemma 3 có các kích cỡ 1B, 4B, 12B và 27B. Các phiên bản 4B trở lên là đa phương thức (có thể đọc hình ảnh) và hỗ trợ hơn 140 ngôn ngữ, khiến Gemma trở thành lựa chọn phù hợp khi bạn cần khả năng thị giác hoặc phạm vi ngôn ngữ rộng ngay trên thiết bị.

  • Phù hợp nhất với: đầu vào đa phương thức, tác vụ đa ngôn ngữ và mục đích tổng quát trên máy 16 GB (Gemma 3 12B).
  • Lưu ý: Gemma được phát hành theo giấy phép riêng của Google — hãy kiểm tra các điều khoản sử dụng thương mại.

Meta Llama 3.2 — điểm khởi đầu dễ dàng

Các mô hình Llama nhỏ của Meta — Llama 3.2 1B và 3B — là cách bắt đầu đơn giản nhất. Chúng rất nhỏ, có tài liệu đầy đủ, được hỗ trợ rộng rãi và phù hợp với các tác vụ trên thiết bị như tóm tắt và trò chuyện đơn giản.

  • Phù hợp nhất với: mô hình cục bộ đầu tiên, tóm tắt và trợ lý trên thiết bị.
  • Đánh đổi: các kích cỡ 1B/3B kém Qwen3 và Phi-4 trong suy luận khó, nhưng rất khó tìm được mô hình nào vượt qua chúng về tốc độ và sự đơn giản.

Microsoft Phi-4 và Phi-4-mini — khả năng suy luận vượt trội so với kích cỡ

Các mô hình Phi của Microsoft được huấn luyện nhiều trên dữ liệu tuyển chọn và dữ liệu tổng hợp, nhờ đó thể hiện tốt hơn mong đợi so với kích cỡ trong toán học, logic và giải quyết vấn đề có cấu trúc. Phi-4 là mô hình 14B thường xuyên cạnh tranh với các mô hình lớn hơn nhiều trong các tác vụ suy luận, còn Phi-4-mini (3.8B) có lẽ là mô hình suy luận nhỏ tốt nhất có thể chạy trên phần cứng tối thiểu — cần khoảng 3 GB VRAM khi lượng tử hóa 4 bit. Cả hai được phát hành theo giấy phép MIT dễ dãi.

  • Phù hợp nhất với: toán học, logic và suy luận từng bước trên phần cứng khiêm tốn.

Mistral 7B — lựa chọn trưởng thành, ưu tiên mã

Mistral 7B vẫn là mô hình đáng tin cậy, với một trong những hệ sinh thái lớn nhất gồm các phiên bản tinh chỉnh và tích hợp. Mô hình dùng giấy phép Apache 2.0, chạy thoải mái trên GPU 8 GB và vẫn được ưa chuộng trong các thiết lập cục bộ ưu tiên mã. Các mô hình Ministral nhỏ hơn của Mistral (3B và 8B) mở rộng dòng sản phẩm sang các thiết bị biên.

  • Phù hợp nhất với: lập trình, mô hình tổng quát có hỗ trợ tốt và tinh chỉnh dễ dàng.

Các mô hình DeepSeek-R1 chưng cất — dành cho công việc nặng về logic

DeepSeek đã phát hành các mô hình suy luận chưng cất dựa trên nền tảng Qwen và Llama (thường là 7B, 8B và 14B). Chúng đưa kiểu suy luận chuỗi tư duy vào các kích cỡ có thể chạy cục bộ và xử lý tốt các bài toán cần giải từng bước. Các mô hình này dùng giấy phép MIT và có trên Ollama.

  • Phù hợp nhất với: suy luận, toán học và các vấn đề được hưởng lợi từ việc hiển thị các bước tư duy.

SmolLM2 — khi bạn cần mô hình nhỏ nhất có thể

SmolLM2 của Hugging Face có các kích cỡ 135M, 360M và 1.7B. Đây là những mô hình phù hợp với phần cứng hạn chế nhất, trình duyệt hoặc thiết bị biên. Chúng xử lý được việc tóm tắt và các chỉ dẫn đơn giản nhưng không được xây dựng cho suy luận phức tạp.

  • Phù hợp nhất với: RAM cực thấp, thiết bị nhúng và thiết bị biên, thử nghiệm.

Bảng so sánh LLM nhỏ

Các số liệu ước tính dành cho phiên bản lượng tử hóa 4 bit (Q4). Mức sử dụng bộ nhớ thực tế thay đổi tùy theo độ dài ngữ cảnh và môi trường chạy.

Mô hìnhTham sốRAM/VRAM ước tính (Q4)Phù hợp nhất vớiGiấy phép
Qwen3 1.7B1.7B~2 GBTrò chuyện nhanh trên mọi máy tính xách tayApache 2.0
Qwen3 4B4B~3–4 GBTrò chuyện cân bằng + lập trình nhẹApache 2.0
Qwen3 8B8B~6–8 GBĐa năng tốt nhất trên GPU 8 GBApache 2.0
Qwen3 14B14B~10–12 GBLập trình, tái cấu trúc mã, suy luậnApache 2.0
Gemma 3 4B4B~3–4 GBĐa phương thức / hơn 140 ngôn ngữGemma
Gemma 3 12B12B~9–10 GBMục đích tổng quát mạnh trên máy 16 GBGemma
Llama 3.2 3B3B~3 GBĐiểm khởi đầu dễ dàngLlama
Phi-4-mini3.8B~3 GBSuy luận/toán học trên phần cứng nhỏMIT
Phi-414B~10–12 GBToán học/logic vượt trội so với kích cỡMIT
Mistral 7B7B~5–6 GBƯu tiên mã, hệ sinh thái trưởng thànhApache 2.0
DeepSeek-R1 distill 8B8B~6–8 GBNặng về logic, suy luận từng bướcMIT
SmolLM2 1.7B1.7B~1.5 GBThiết bị biên / RAM cực thấpApache 2.0

Bạn cần bao nhiêu RAM và phần cứng như thế nào?

Một quy tắc hữu ích: mô hình được lượng tử hóa 4 bit cần khoảng 0.6–0.75 GB bộ nhớ cho mỗi tỷ tham số, cộng thêm một ít dung lượng dự phòng cho ngữ cảnh. Vì vậy, mô hình 7B cần khoảng 5–6 GB và mô hình 14B cần khoảng 10–12 GB. Các lựa chọn tùy thuộc vào lượng bộ nhớ bạn có:

Bạn cóKích cỡ mô hình chạy thoải máiLựa chọn phù hợp
RAM 8 GB, không có GPU1–4BQwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B
GPU 8 GB (VRAM)7–8BQwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B
RAM / VRAM 16 GB12–14BGemma 3 12B, Qwen3 14B, Phi-4
GPU 24 GB trở lên14–32BQwen3 32B, các phiên bản DeepSeek lớn hơn

Máy Mac dùng Apple Silicon là trường hợp đặc biệt: bộ nhớ hợp nhất cho phép GPU sử dụng phần lớn RAM hệ thống, vì vậy MacBook dòng M có 16–32 GB có thể chạy các mô hình vốn cần GPU chuyên dụng trên PC.

Quy tắc vàng: đừng bắt đầu với mô hình lớn nhất. Hãy bắt đầu với mô hình tốt nhất mà phần cứng của bạn chạy thoải mái. Một mô hình 4B chạy nhanh tốt hơn mô hình 14B phải hoán đổi bộ nhớ và trả lời với tốc độ một token mỗi giây.

Cách chạy LLM nhỏ cục bộ

Bạn không cần đụng đến Python để bắt đầu. Ba công cụ sau đáp ứng gần như mọi nhu cầu:

  • Ollama — cách đơn giản nhất. Cài đặt, sau đó tải và chạy mô hình bằng một lệnh. Công cụ này xử lý việc tải xuống, lượng tử hóa và cung cấp API tương thích OpenAI tại localhost:11434.
  • LM Studio — ứng dụng máy tính để bàn được hoàn thiện tốt, có giao diện trò chuyện, trình duyệt mô hình và tải xuống chỉ bằng một cú nhấp. Phù hợp nhất nếu bạn thích giao diện đồ họa.
  • llama.cpp — công cụ C/C++ nền tảng hỗ trợ phần lớn hệ sinh thái. Hãy dùng công cụ này khi bạn muốn kiểm soát tối đa hoặc chạy trực tiếp các tệp GGUF trên CPU hay Apple Silicon.

Lần chạy đầu tiên với Ollama sẽ như sau:

# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b

# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b

Khi mô hình đang chạy, cả Ollama và LM Studio đều cung cấp endpoint tương thích OpenAI, vì vậy bạn chỉ cần thay URL cơ sở để trỏ các công cụ và tập lệnh hiện có đến mô hình cục bộ.

Chọn LLM nhỏ phù hợp như thế nào?

Hãy chọn mô hình theo công việc thay vì chạy theo bảng xếp hạng:

  • Trò chuyện tổng quát và công việc hằng ngày: Qwen3 (4B hoặc 8B) — lựa chọn mặc định an toàn nhất.
  • Lập trình và tái cấu trúc mã: Qwen3 14B, Mistral hoặc DeepSeek-R1 distill trên GPU 12–16 GB.
  • Toán học, logic và suy luận trên phần cứng nhỏ: Phi-4-mini, sau đó là Phi-4 nếu bạn có 16 GB.
  • Hình ảnh hoặc nhiều ngôn ngữ: Gemma 3 4B hoặc 12B.
  • Dung lượng nhỏ nhất có thể: Llama 3.2 1B, Gemma 3 1B hoặc SmolLM2.

LLM nhỏ chạy cục bộ có những hạn chế gì?

Các mô hình nhỏ thực sự hữu ích, nhưng bạn nên biết giới hạn của chúng:

  • Ít kiến thức thế giới hơn. Chúng biết ít hơn các mô hình đám mây hàng đầu và có thể trả lời sai một cách tự tin, vì vậy hãy kiểm chứng thông tin cho mọi việc quan trọng.
  • Yếu hơn trong suy luận rất khó. Mô hình 3B không thể sánh với mô hình lưu trữ lớn trong các bài toán phức tạp, nhiều bước.
  • Đánh đổi giữa ngữ cảnh và tốc độ. Ngữ cảnh dài sử dụng nhiều bộ nhớ hơn; mô hình lớn có thể chạy chậm trên CPU.
  • Chất lượng thay đổi tùy theo tác vụ. Một mô hình trò chuyện tốt có thể chỉ ở mức trung bình khi viết mã. Hãy thử vài mô hình trước khi quyết định.

Với nhiều quy trình làm việc, giải pháp là truy xuất thông tin (RAG) hoặc tinh chỉnh nhanh để cung cấp dữ liệu riêng cho mô hình — cả hai cách đều rẻ hơn nhiều khi chạy cục bộ so với mức bạn nghĩ.

Câu hỏi thường gặp

LLM nhỏ tốt nhất để chạy cục bộ năm 2026 là gì?

Với phần lớn mọi người, Qwen3 8B là lựa chọn đa năng tốt nhất trên GPU 8 GB, còn Qwen3 4B hoặc Llama 3.2 3B hoạt động tốt trên máy tính xách tay chỉ có CPU. Hãy chọn mô hình lớn nhất mà phần cứng chạy thoải mái thay vì chọn mô hình lớn nhất hiện có.

LLM nhỏ nhất có thể chạy cục bộ là gì?

Các mô hình như SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B và Qwen3 0.6B chạy được trên gần như mọi máy tính xách tay hiện đại, thường cần chưa đến 2 GB RAM khi được lượng tử hóa 4 bit. Chúng xử lý được việc tóm tắt và trò chuyện đơn giản nhưng yếu trong suy luận phức tạp.

Tôi cần bao nhiêu RAM để chạy LLM nhỏ cục bộ?

Mô hình 3–4B được lượng tử hóa 4 bit cần khoảng 3–4 GB RAM hoặc VRAM còn trống, mô hình 7–8B cần khoảng 6–8 GB, và mô hình 12–14B cần 10–16 GB. RAM hệ thống 16 GB là mức cơ bản thoải mái cho phần lớn mô hình nhỏ.

Cách dễ nhất để chạy LLM nhỏ cục bộ là gì?

Cài đặt Ollama hoặc LM Studio, sau đó tải mô hình bằng một lệnh (ví dụ ollama pull qwen3:8b). Cả hai đều xử lý việc tải xuống và lượng tử hóa, có giao diện trò chuyện cục bộ và cung cấp API tương thích OpenAI cho ứng dụng của bạn.

Tôi có thể chạy LLM nhỏ mà không cần GPU không?

Có. Khi được lượng tử hóa 4 bit, các mô hình lên đến khoảng 7–8B chạy được trên CPU hiện đại và nhanh hơn đáng kể trên máy Mac dùng Apple Silicon nhờ bộ nhớ hợp nhất. Tốc độ tạo token sẽ chậm hơn GPU chuyên dụng, nhưng vẫn đủ dùng cho trò chuyện và viết bản nháp.

LLM nhỏ chạy cục bộ có tốt cho việc lập trình không?

Có thể. Qwen3 và các mô hình DeepSeek-R1 chưng cất có khả năng viết mã tốt trong nhóm mô hình nhỏ, còn Mistral có hệ sinh thái trưởng thành, ưu tiên mã. Đối với tác vụ tái cấu trúc phức tạp hơn, mô hình 14B trên GPU 12–16 GB cho chất lượng tốt nhất có thể đạt được khi chạy cục bộ.

Tóm lại

LLM nhỏ chạy cục bộ đã chuyển từ một thử nghiệm dành cho người đam mê thành công cụ hữu ích hằng ngày. Hãy bắt đầu với Qwen3 làm lựa chọn mặc định cân bằng, chọn Phi-4-mini khi cần suy luận trên phần cứng nhẹ và chọn Gemma 3 khi cần khả năng thị giác hoặc nhiều ngôn ngữ — tất cả đều có thể chạy bằng Ollama hoặc LM Studio chỉ trong vài phút. Để được trợ giúp sử dụng tài liệu Ailoot, hãy xem tài liệu Ailoot.