# Giải thích về các mô hình ngôn ngữ nhỏ

> Điều gì khiến một mô hình ngôn ngữ trở nên nhỏ, tham số và tham số hiệu dụng có nghĩa là gì, vì sao mô hình nhỏ chạy được trên điện thoại và chúng phải đánh đổi những gì về năng lực.

Source: https://ailoot.ai/blog/vi/small-language-models-explained/
Canonical: https://ailoot.ai/blog/vi/small-language-models-explained/
Language: vi
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-d0441c82dc6d053fe8c49c2994851c26d7aa0514045754060dcdb8bbde67c964


## Mô hình ngôn ngữ nhỏ là gì?

Mô hình ngôn ngữ nhỏ (SLM) là mô hình ngôn ngữ đủ gọn để chạy trên phần cứng thông dụng, chẳng hạn như điện thoại hoặc máy tính xách tay, thay vì trung tâm dữ liệu. Chưa có ngưỡng thống nhất: các mô hình có vài tỷ tham số trở xuống thường được gọi là nhỏ, và một khảo sát năm 2024 dùng khoảng từ 100 triệu đến 5 tỷ.

Mô hình ngôn ngữ nhỏ và lớn hoạt động theo cùng một cách. Cả hai đều là mạng nơ-ron, hầu như luôn là transformer, được huấn luyện để dự đoán token văn bản tiếp theo; cả hai đều được điều chỉnh sau giai đoạn tiền huấn luyện để làm theo chỉ dẫn. Khảo sát nói trên tập trung vào các transformer chỉ có bộ giải mã thuộc đúng loại này. Khác biệt nằm ở quy mô. Mô hình cỡ điện thoại có vài tỷ tham số, còn các mô hình đám mây tiên tiến lớn hơn nhiều, vì vậy mô hình nhỏ chứa ít kiến thức hơn và có năng lực suy luận hạn chế hơn (xem “Mô hình nhỏ còn yếu ở điểm nào?”). Mô hình nhỏ là yếu tố giúp AI chạy trên thiết bị trở nên khả thi.

Kích thước không phải đòn bẩy duy nhất quyết định chất lượng. Vì vậy, chất lượng của mô hình nhỏ phụ thuộc vào quá trình huấn luyện cũng nhiều như vào kích thước. Mô hình có thể học từ một mô hình lớn hơn thông qua chưng cất, trong đó nó được huấn luyện để bắt chước đầu ra của mô hình lớn hơn; mô hình cũng được hưởng lợi từ dữ liệu được chọn lọc cẩn thận: phi-1, mô hình mã 1,3 tỷ tham số được huấn luyện phần lớn bằng dữ liệu “chất lượng như sách giáo khoa”, đạt 50,6% pass@1 trên chuẩn đánh giá lập trình HumanEval.

## “Tham số” và “tham số hiệu dụng” có nghĩa là gì?

Tham số là các con số mà mô hình học được trong quá trình huấn luyện; số lượng tham số thường được dùng để đo kích thước mô hình: “1.7B” trong Qwen3 1.7B có nghĩa là khoảng 1,7 tỷ. “Tham số hiệu dụng”, tức chữ “E” trong Gemma 4 E2B và E4B của Google, là số tham số mà mô hình thực hiện phép tính trên; con số này không tính các bảng nhúng lớn mà mô hình chỉ tra cứu.

Phần lớn tham số nằm trong các ma trận trọng số của lớp chú ý và lớp truyền thẳng trong transformer; mọi token đều đi qua các lớp này. Một khối riêng biệt là lớp nhúng, ánh xạ mỗi token trong từ vựng thành một vectơ; ở mô hình nhỏ, khối này có thể chiếm tỷ trọng lớn trong tổng số tham số. Bảng nhúng của Qwen3 1.7B có 151,936 hàng (từ vựng được cấu hình, có đệm thêm so với 151,669 mục của bộ mã hóa token) với 2,048 chiều, tức khoảng 311 triệu tham số nhúng. Con số này phù hợp với thẻ mô hình, trong đó ghi tổng cộng 1,7 tỷ tham số và 1,4 tỷ tham số nằm ngoài phần nhúng 7. Các nghiên cứu về mở rộng quy mô thường chỉ tính các tham số không thuộc phần nhúng.

Dòng E của Gemma 4 đẩy ý tưởng này đi xa hơn. Thẻ mô hình của Google giải thích: “Chữ ‘E’ trong E2B và E4B là viết tắt của ‘effective’ (hiệu dụng)”: các mô hình dùng Per-Layer Embeddings (PLE), cung cấp “một lớp nhúng nhỏ riêng cho mỗi token ở từng lớp giải mã”, và “Các bảng nhúng này có kích thước lớn nhưng chỉ được dùng để tra cứu nhanh, đó là lý do số tham số hiệu dụng nhỏ hơn nhiều so với tổng số tham số” 8. Thẻ mô hình ghi Gemma 4 E2B có 2,3 tỷ tham số hiệu dụng và 5,1 tỷ tham số tính cả phần nhúng; E4B có lần lượt 4,5 tỷ tham số hiệu dụng và 8 tỷ tham số tính cả phần nhúng.

Sự khác biệt này quan trọng trên điện thoại vì thao tác tra cứu cần bộ nhớ nhưng ít phép tính; môi trường chạy cũng có thể giữ các bảng trong bộ nhớ lưu trữ. “Hiệu dụng” lại khác với “đang hoạt động”: Gemma 4 26B A4B là mô hình hỗn hợp chuyên gia có 25,2 tỷ tham số, trong đó 3,8 tỷ tham số hoạt động khi suy luận 8.

## Vì sao mô hình nhỏ chạy được trên điện thoại?

Trọng số của mô hình chiếm xấp xỉ số tham số nhân với số bit lưu trữ cho mỗi tham số, rồi chia cho tám. Ở mức 4 bit, 1,7 tỷ tham số cần khoảng 0,85 GB, vẫn chừa đủ chỗ cho Android và các ứng dụng khác trên điện thoại có 4 GB RAM.

Số lượng tham số và độ chính xác là hai đòn bẩy. Hình 1 trình bày phép tính cho Qwen3 1.7B, từ số thực dấu phẩy động 32 bit đến tệp mô hình 4 bit.

<figure id="la-fit">
<ol>
<li><strong>Lưu dưới dạng số thực 32 bit, 1,7 tỷ tham số chiếm 6,8 GB.</strong></li>
<li><strong>Ở mức 16 bit, chúng chiếm 3,4 GB.</strong></li>
<li><strong>Ở mức 8 bit, chúng chiếm 1,7 GB.</strong> Mỗi lần giảm một nửa số bit trên mỗi trọng số sẽ giảm một nửa bộ nhớ cần cho trọng số.</li>
<li><strong>Ở mức 4 bit, chúng chiếm khoảng 0,85 GB.</strong> Nửa byte cho mỗi trọng số giúp mô hình cỡ này chạy thực tế trên điện thoại 4 GB.</li>
<li><strong>Tệp mô hình 4 bit có thể lớn hơn phần trọng số thô.</strong> Các hệ số tỷ lệ theo khối và dữ liệu được lưu khác làm tăng kích thước tệp.</li>
</ol>
<figcaption>Hình 1. Bộ nhớ cần để lưu trọng số của Qwen3 1.7B, tính bằng gigabyte thập phân. Các cột màu xanh được tính bằng số tham số × số bit ÷ 8 cho 1,7 tỷ tham số và chỉ tính trọng số; mô hình đang chạy cũng cần bộ nhớ cho bộ đệm khóa–giá trị và môi trường chạy. Cột màu cam là tệp mô hình đã tải xuống.</figcaption>
</figure>

| Độ chính xác | Số bit trên mỗi tham số | Bộ nhớ trọng số xấp xỉ |
|---|---:|---:|
| Số thực 32 bit | 32 | 6,8 GB |
| Số thực 16 bit | 16 | 3,4 GB |
| Số nguyên 8 bit | 8 | 1,7 GB |
| Số nguyên 4 bit | 4 | 0,85 GB |

Vì lý do này, mô hình cỡ điện thoại kết hợp vài tỷ tham số với trọng số 4 bit hoặc độ chính xác hỗn hợp; lượng tử hóa giảm dung lượng lưu trữ cần cho trọng số.

Trọng số không phải toàn bộ dung lượng bộ nhớ. Mô hình đang chạy cũng cần bộ nhớ cho bộ đệm khóa–giá trị, bộ đệm này tăng theo độ dài cửa sổ ngữ cảnh, và cho chính môi trường chạy. Tốc độ cũng tuân theo phép tính tương tự: mỗi token mới đòi hỏi đọc trọng số của mô hình từ bộ nhớ, vì vậy ít trọng số hơn và trọng số nhỏ hơn giúp trả lời nhanh hơn trên cùng một điện thoại.

## Mô hình nhỏ làm tốt những việc gì?

Mô hình nhỏ phù hợp với các tác vụ mà thông tin cần thiết có sẵn trong câu lệnh hoặc thuộc kiến thức phổ thông: viết lại, tóm tắt, soạn thảo, giải thích và trả lời dựa trên các đoạn văn được cung cấp. Vì chạy trên thiết bị, chúng cũng có thể trả lời mà không cần kết nối mạng và không gửi câu lệnh lên máy chủ.

Thẻ mô hình của Google mô tả dòng Gemma 4 là “phù hợp cho suy luận, quy trình làm việc kiểu tác tử, lập trình và hiểu đa phương thức”; E2B và E4B nhận đầu vào văn bản, hình ảnh và âm thanh 8. Đây là mô tả và kết quả chuẩn đánh giá do nhà phát triển công bố; vẫn cần thử nghiệm để biết một tác vụ cụ thể hoạt động tốt đến đâu trên một điện thoại cụ thể.

Cung cấp đúng văn bản sẽ giúp bù đắp những gì mô hình nhỏ chưa biết. Tạo sinh tăng cường truy xuất bổ sung các đoạn văn được tìm nạp tại thời điểm đặt câu hỏi, để mô hình dựa vào nguồn tài liệu thay vì trí nhớ. Mô hình nhỏ cũng có chi phí vận hành dễ dự đoán: không mất phí máy chủ theo từng câu hỏi, không phải chờ hàng đợi và sau khi tải xuống thì không phụ thuộc vào kết nối.

## Mô hình nhỏ còn yếu ở điểm nào?

Mô hình nhỏ chứa ít kiến thức hơn, suy luận dài hoặc nhiều bước kém hơn, xử lý ngữ cảnh dài kém hơn các mô hình lớn; giống mọi mô hình ngôn ngữ khác, chúng cũng có thể nói điều sai một cách trôi chảy.

Có thể thấy xu hướng này trong cùng một dòng mô hình. Theo thẻ mô hình của Google, Gemma 4 E2B đạt 60,0% trên chuẩn đánh giá kiến thức và suy luận MMLU Pro, còn E4B đạt 69,4%; mô hình Gemma 4 31 tỷ tham số đạt 85,2%. Trên GPQA Diamond, bộ câu hỏi khoa học ở trình độ sau đại học, các điểm số lần lượt là 43,4%, 58,6% và 84,3% 8. Đây là kết quả của Google cho các mô hình của họ.

Mô hình nhỏ cũng có thể mắc kẹt trong việc lặp lại chính mình. Thẻ mô hình của Qwen cảnh báo rằng giải mã tham lam “có thể làm giảm hiệu năng và dẫn đến lặp vô tận” 7.

## Vì sao mô hình nhỏ bắt chước hình thức của chỉ dẫn?

Mô hình nhỏ thường bắt chước hình thức của câu lệnh cũng như làm theo nội dung, vì vậy một câu lệnh hệ thống dài, có cấu trúc có thể khiến mọi câu trả lời đều mang cấu trúc đó.

Một câu lệnh yêu cầu mô hình “nêu câu trả lời trực tiếp trước, rồi đến thông tin hữu ích” đã khiến câu trả lời xuất hiện các nhãn in đậm “Câu trả lời trực tiếp:” và “Thông tin hữu ích:”. Chỉ dẫn vốn nhằm gợi ý về nội dung, nhưng mô hình lại coi đó là mẫu trình bày.

## Chế độ suy nghĩ hoạt động thế nào trong mô hình nhỏ?

Chế độ suy nghĩ khiến mô hình viết ra các bước suy luận trung gian trước câu trả lời cuối cùng, dùng thêm thời gian và token để đưa ra kết quả cẩn trọng hơn cho các bài toán nhiều bước. Qwen3 và Gemma 4 đều cung cấp chế độ này như một công tắc trong cùng một mô hình, thay vì dùng một mô hình suy luận riêng.

Ý tưởng này bắt nguồn từ kỹ thuật gợi nhắc chuỗi suy nghĩ. Các mô hình nhỏ mới hơn được huấn luyện để suy luận; trong trường hợp của Qwen3, một phần quá trình huấn luyện dựa trên việc học từ các mô hình lớn hơn của hãng.

Công tắc này là một phần của câu lệnh. Qwen3 1.7B mặc định suy nghĩ và ghi phần suy luận trong khối `<think>…</think>`; nhà phát triển tắt chế độ suy nghĩ bằng thiết lập `enable_thinking`, còn người dùng có thể thêm `/think` hoặc `/no_think` vào tin nhắn để đổi chế độ giữa các lượt 7. Gemma 4 bật chế độ suy nghĩ khi câu lệnh hệ thống bắt đầu bằng token `<|think|>` 8.

Suy nghĩ tốn thời gian và dung lượng ngữ cảnh, vì token suy luận là một phần đầu ra của mô hình và dùng chung cửa sổ ngữ cảnh. Khi mô hình được thiết lập để hiển thị phần suy luận, phần này xuất hiện trước câu trả lời; tuy nhiên, hành vi còn tùy thuộc vào mô hình và ứng dụng.

## Qwen3 1.7B, Gemma 4 E2B và Gemma 4 E4B khác nhau thế nào?

Ba mô hình khác nhau về kích thước, đầu vào và độ dài ngữ cảnh. Qwen3 1.7B có 1,7 tỷ tham số và chỉ nhận văn bản; Google ghi Gemma 4 E2B và E4B có lần lượt 2,3 và 4,5 tỷ tham số hiệu dụng, đồng thời nhận đầu vào văn bản, hình ảnh và âm thanh. Cả ba đều được phát hành theo giấy phép Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Nhà phát triển | Alibaba (nhóm Qwen) | Google DeepMind | Google DeepMind |
| Tham số | 1.7B, trong đó 1.4B nằm ngoài phần nhúng | 2.3B hiệu dụng, 5.1B tính cả phần nhúng | 4.5B hiệu dụng, 8B tính cả phần nhúng |
| Số lớp | 28 | 35 | 42 |
| Độ dài ngữ cảnh | 32,768 token | 128K token | 128K token |
| Đầu vào | Văn bản | Văn bản, hình ảnh, âm thanh | Văn bản, hình ảnh, âm thanh |
| Chế độ suy nghĩ | Có, bật mặc định | Có | Có |
| Giấy phép | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Bảng 1. Thông số được công bố trong thẻ mô hình Qwen3-1.7B của Qwen và thẻ mô hình Gemma 4 của Google, được kiểm tra ngày 5 tháng 10 năm 2026 7 8.



## Tài liệu tham khảo

7. Qwen. “Qwen3-1.7B.” Thẻ mô hình và cấu hình, Hugging Face. Truy cập ngày 5 tháng 10 năm 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. “Thẻ mô hình Gemma 4.” Google AI for Developers. Truy cập ngày 5 tháng 10 năm 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Áp dụng hướng dẫn này với Ailoot

Kết nối các mô hình AI với ứng dụng, tác nhân và quy trình tự động hóa của bạn thông qua một API Ailoot duy nhất. Chọn mô hình phù hợp với nhiệm vụ và làm theo [tài liệu Ailoot](https://ailoot.ai/docs/) để bắt đầu.

## Ailoot · Công ty và danh mục dự án của công ty

Ailoot dựa trên kinh nghiệm vận hành tích lũy, cơ sở khách hàng lớn, dịch vụ ổn định và việc kiểm soát KPI liên tục.

Công ty và danh mục dự án của công ty: hàng triệu khách hàng; doanh số hàng tỷ mỗi tháng.

Ailoot áp dụng kinh nghiệm vận hành này để cung cấp quyền truy cập API vào các tính năng AI trong sản phẩm của khách hàng, tác tử, ứng dụng và quy trình tự động hóa.
