LLM Kecil Terbaik untuk Dijalankan Secara Setempat: Panduan Komprehensif
MarkdownLLM kecil terbaik untuk dijalankan secara setempat pada 2026 — Qwen3, Gemma 3, Llama 3.2 dan Phi-4-mini — serta jumlah RAM yang diperlukan dan cara menjalankannya dengan Ollama.
Model bahasa kecil secara senyap-senyap telah menjadi antara alat paling berguna yang boleh digunakan oleh pembangun pada komputer sendiri. Anda tidak lagi memerlukan rak GPU atau bil awan untuk mendapatkan model berkeupayaan yang menjawab soalan, menyediakan draf kod dan meringkaskan dokumen sepenuhnya di luar talian.
Keadaannya banyak berubah sejak zaman awal pemberat terbuka LLaMA, Alpaca dan GPT-J yang asal. Pada 2026, model 4 bilion parameter pada komputer riba boleh melakukan kerja yang dahulu memerlukan model sepuluh kali lebih besar. Panduan ini membincangkan LLM kecil terbaik untuk dijalankan secara setempat hari ini, perkakasan yang diperlukan dan cara paling mudah untuk menggunakannya.
Jawapan ringkas. LLM kecil terbaik untuk dijalankan secara setempat pada 2026 ialah Qwen3 (1.7B–14B), Google Gemma 3 (1B–12B), Meta Llama 3.2 (1B/3B) dan Microsoft Phi-4-mini (3.8B). Qwen3 ialah pilihan lalai serba guna yang paling selamat. Jalankannya dengan Ollama atau LM Studio; kebanyakannya hanya memerlukan 8–16 GB RAM.
Apakah yang dianggap sebagai LLM kecil pada 2026?
LLM kecil (kadangkala disebut model bahasa kecil atau SLM) ialah model kompak yang boleh dijalankan pada perkakasan pengguna dan bukannya kluster GPU awan. Tiada had rasmi, tetapi model kecil hari ini lazimnya berkongsi tiga ciri:
- Kira-kira 0.5B hingga 14B parameter — cukup kecil untuk versi terkuantum dimuatkan dalam memori komputer riba biasa atau satu GPU kelas pertengahan.
- Berfungsi dengan baik selepas pengkuantuman 4-bit, yang mengurangkan penggunaan memori kira-kira 4x dengan sedikit sahaja pengurangan kualiti.
- Dikeluarkan dengan pemberat terbuka, supaya anda boleh memuat turun, menjalankan dan sering kali memperhalusinya tanpa kunci API.
Perubahan utama sejak 2023 ialah kualiti bagi setiap parameter. Model 3–4B moden ditala untuk arahan, berbilang bahasa dan selalunya lebih baik dalam penaakulan berbanding model 13B dari dua tahun lalu. Sebab itulah pilihan lama — LLaMA 7B vanilla, Alpaca, Vicuna, GPT-J, GPT-Neo, Falcon 7B — telah digantikan dengan keluarga model di bawah.
Mengapa menjalankan LLM kecil secara setempat?
Menjalankan model pada komputer sendiri memberikan beberapa kelebihan yang tidak dapat ditawarkan oleh API hos:
- Privasi. Prom dan data tidak pernah meninggalkan peranti anda — penting untuk kod proprietari serta kerja perundangan atau perubatan.
- Kos. Tiada caj bagi setiap token. Setelah model dimuat turun, inferens adalah percuma.
- Penggunaan luar talian. Berfungsi di dalam kapal terbang, pada rangkaian selamat atau di mana-mana sahaja tanpa internet yang boleh diharapkan.
- Kependaman dan kawalan. Tiada perjalanan pergi balik rangkaian, tiada had kadar, dan anda boleh menetapkan versi tertentu supaya tingkah lakunya tidak berubah tanpa disedari.
- Penyesuaian. Anda boleh memperhalusi model atau menyambungkan perolehan maklumat untuk menyesuaikannya dengan bidang anda sendiri.
Apakah LLM kecil terbaik untuk dijalankan secara setempat pada 2026?
Inilah keluarga model yang berbaloi dimuat turun pada 2026, dikelompokkan mengikut pembuat dan kegunaan terbaiknya.
Qwen3 — pilihan lalai serba guna
Keluarga Qwen3 daripada Alibaba secara senyap-senyap telah menjadi jawapan kepada soalan “apakah yang patut saya jalankan secara setempat?” bagi kebanyakan pembangun. Keluarga ini merangkumi pelbagai saiz — 0.6B, 1.7B, 4B, 8B dan 14B bagi model padat — semuanya di bawah lesen permisif Apache 2.0 tanpa sekatan komersial.
- Paling sesuai untuk: sembang umum, bantuan pengekodan, pemfaktoran semula dan kerja berbilang bahasa.
- Pilihan terbaik: Qwen3 8B secara meluas dianggap pilihan keseluruhan terbaik pada GPU 8 GB; Qwen3 4B ialah pilihan mantap untuk komputer riba yang hanya menggunakan CPU.
- Sebab ia unggul: kualiti tinggi bagi setiap parameter, lesen yang jelas dan sokongan alatan yang sangat baik.
Google Gemma 3 — berkuasa dan multimodal
Google Gemma 3 hadir dalam saiz 1B, 4B, 12B dan 27B. Varian 4B dan yang lebih besar bersifat multimodal (boleh membaca imej) serta menyokong 140+ bahasa, menjadikan Gemma pilihan sesuai apabila anda memerlukan keupayaan penglihatan atau liputan bahasa yang luas pada peranti.
- Paling sesuai untuk: input multimodal, tugasan berbilang bahasa dan kegunaan umum pada mesin 16 GB (Gemma 3 12B).
- Nota: Gemma menggunakan lesen Google sendiri — semak syarat penggunaan komersial.
Meta Llama 3.2 — permulaan yang mudah
Model Llama kecil daripada Meta — Llama 3.2 1B dan 3B — ialah cara paling mudah untuk bermula. Model ini kecil, didokumenkan dengan baik, disokong di mana-mana dan bagus untuk tugasan pada peranti seperti peringkasan dan sembang ringkas.
- Paling sesuai untuk: model setempat pertama, peringkasan dan pembantu pada peranti.
- Pertukaran: saiz 1B/3B ketinggalan berbanding Qwen3 dan Phi-4 dalam penaakulan sukar, tetapi sukar ditandingi dari segi kelajuan dan kemudahan.
Microsoft Phi-4 dan Phi-4-mini — keupayaan penaakulan melebihi jangkaan berdasarkan saiznya
Model Phi daripada Microsoft dilatih secara intensif dengan data terkurasi dan sintetik, membolehkannya mengatasi jangkaan berdasarkan saiznya dalam matematik, logik dan penyelesaian masalah berstruktur. Phi-4 ialah model 14B yang kerap bersaing dengan model jauh lebih besar dalam tugasan penaakulan, manakala Phi-4-mini (3.8B) boleh dikatakan model penaakulan kecil terbaik yang boleh dijalankan pada perkakasan minimum — kira-kira 3 GB VRAM pada 4-bit. Kedua-duanya dikeluarkan di bawah lesen permisif MIT.
- Paling sesuai untuk: matematik, logik dan penaakulan langkah demi langkah pada perkakasan sederhana.
Mistral 7B — pilihan matang yang mengutamakan kod
Mistral 7B masih menjadi model kerja yang boleh diharapkan, dengan salah satu ekosistem penalaan halus dan integrasi terbesar. Model ini menggunakan lesen Apache 2.0, berjalan dengan selesa pada GPU 8 GB dan kekal menjadi pilihan kegemaran untuk persediaan setempat yang mengutamakan kod. Model Ministral yang lebih kecil daripada Mistral (3B dan 8B) meluaskan keluarga ini ke arah penggunaan pada peranti pinggir.
- Paling sesuai untuk: pengekodan, model umum yang disokong dengan baik dan penalaan halus yang mudah.
Model distil DeepSeek-R1 — untuk kerja yang berat dari segi logik
DeepSeek mengeluarkan model penaakulan distil yang dibina berasaskan Qwen dan Llama (biasanya 7B, 8B dan 14B). Model ini membawa penaakulan gaya rantaian pemikiran kepada saiz yang boleh dijalankan secara setempat dan cekap menyelesaikan masalah langkah demi langkah. Model ini berlesen MIT dan tersedia dalam Ollama.
- Paling sesuai untuk: penaakulan, matematik dan masalah yang mendapat manfaat daripada langkah pemikiran yang jelas.
SmolLM2 — apabila anda memerlukan model sekecil mungkin
SmolLM2 daripada Hugging Face hadir dalam saiz 135M, 360M dan 1.7B. Inilah model yang sesuai untuk perkakasan paling terhad, pelayar atau peranti pinggir. Model ini boleh mengendalikan peringkasan dan arahan ringkas tetapi tidak dibina untuk penaakulan kompleks.
- Paling sesuai untuk: RAM yang sangat terhad, penggunaan terbenam dan pada peranti pinggir, serta eksperimen.
Jadual perbandingan LLM kecil
Anggaran angka untuk versi terkuantum 4-bit (Q4). Penggunaan memori sebenar berbeza mengikut panjang konteks dan persekitaran masa jalan.
| Model | Parameter | Anggaran RAM/VRAM (Q4) | Paling sesuai untuk | Lesen |
|---|---|---|---|---|
| Qwen3 1.7B | 1.7B | ~2 GB | Sembang pantas pada mana-mana komputer riba | Apache 2.0 |
| Qwen3 4B | 4B | ~3–4 GB | Sembang seimbang + pengekodan ringan | Apache 2.0 |
| Qwen3 8B | 8B | ~6–8 GB | Pilihan serba guna terbaik pada GPU 8 GB | Apache 2.0 |
| Qwen3 14B | 14B | ~10–12 GB | Pengekodan, pemfaktoran semula, penaakulan | Apache 2.0 |
| Gemma 3 4B | 4B | ~3–4 GB | Multimodal / 140+ bahasa | Gemma |
| Gemma 3 12B | 12B | ~9–10 GB | Penggunaan umum yang mantap pada 16 GB | Gemma |
| Llama 3.2 3B | 3B | ~3 GB | Permulaan yang mudah | Llama |
| Phi-4-mini | 3.8B | ~3 GB | Penaakulan/matematik pada perkakasan kecil | MIT |
| Phi-4 | 14B | ~10–12 GB | Matematik/logik yang mengatasi jangkaan berdasarkan saiznya | MIT |
| Mistral 7B | 7B | ~5–6 GB | Mengutamakan kod, ekosistem matang | Apache 2.0 |
| DeepSeek-R1 distill 8B | 8B | ~6–8 GB | Berat dari segi logik, penaakulan langkah demi langkah | MIT |
| SmolLM2 1.7B | 1.7B | ~1.5 GB | Peranti pinggir / RAM sangat terhad | Apache 2.0 |
Berapa banyak RAM dan perkakasan yang diperlukan?
Petua umum yang berguna: model terkuantum 4-bit memerlukan kira-kira 0.6–0.75 GB memori bagi setiap bilion parameter, ditambah sedikit ruang tambahan untuk konteks. Jadi, model 7B memerlukan kira-kira 5–6 GB dan model 14B kira-kira 10–12 GB. Pilihan anda bergantung pada jumlah memori yang ada:
| Anda mempunyai | Saiz model yang selesa | Pilihan yang baik |
|---|---|---|
| 8 GB RAM, tanpa GPU | 1–4B | Qwen3 4B, Phi-4-mini, Gemma 3 1B, Llama 3.2 3B |
| GPU 8 GB (VRAM) | 7–8B | Qwen3 8B, Mistral 7B, DeepSeek-R1 distill 8B |
| 16 GB RAM / VRAM | 12–14B | Gemma 3 12B, Qwen3 14B, Phi-4 |
| GPU 24 GB+ | 14–32B | Qwen3 32B, varian DeepSeek yang lebih besar |
Mac Apple Silicon ialah kes istimewa: memori bersatunya membolehkan GPU menggunakan sebahagian besar RAM sistem, jadi MacBook siri M dengan 16–32 GB boleh menjalankan model yang memerlukan GPU khusus pada PC.
Peraturan emas: jangan mulakan dengan model terbesar. Mulakan dengan model terbaik yang boleh dijalankan dengan selesa oleh perkakasan anda. Model 4B yang pantas mengatasi model 14B yang menggunakan memori maya dan menjawab pada kelajuan satu token sesaat.
Bagaimanakah cara menjalankan LLM kecil secara setempat?
Anda tidak perlu menyentuh Python untuk bermula. Tiga alat ini meliputi hampir semua kegunaan:
- Ollama — cara paling mudah. Pasangnya, kemudian tarik dan jalankan model dengan satu arahan. Ollama mengendalikan muat turun, pengkuantuman dan API serasi OpenAI pada
localhost:11434. - LM Studio — aplikasi desktop yang kemas dengan UI sembang, pelayar model dan muat turun satu klik. Paling sesuai jika anda lebih gemar antara muka grafik.
- llama.cpp — enjin asas C/C++ yang menggerakkan sebahagian besar ekosistem ini. Gunakannya apabila anda mahukan kawalan maksimum atau mahu menjalankan fail GGUF terus pada CPU atau Apple Silicon.
Pelaksanaan pertama dengan Ollama kelihatan seperti ini:
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b
# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
Setelah model berjalan, Ollama dan LM Studio menyediakan titik akhir serasi OpenAI, jadi anda boleh mengarahkan alat dan skrip sedia ada kepada model setempat hanya dengan menukar URL asas.
Bagaimanakah cara memilih LLM kecil yang sesuai?
Padankan model dengan tugasnya dan bukannya mengejar kedudukan papan pendahulu:
- Sembang umum dan tugasan harian: Qwen3 (4B atau 8B) — pilihan lalai paling selamat.
- Pengekodan dan pemfaktoran semula: Qwen3 14B, Mistral atau model distil DeepSeek-R1 pada GPU 12–16 GB.
- Matematik, logik dan penaakulan pada perkakasan kecil: Phi-4-mini, kemudian Phi-4 jika anda mempunyai 16 GB.
- Imej atau banyak bahasa: Gemma 3 4B atau 12B.
- Jejak penggunaan paling kecil: Llama 3.2 1B, Gemma 3 1B atau SmolLM2.
Apakah had LLM kecil setempat?
Model kecil memang berguna, tetapi elok diketahui batasannya:
- Pengetahuan dunia yang lebih sedikit. Pengetahuannya kurang berbanding model awan termaju dan boleh memberikan jawapan salah dengan yakin, jadi semak fakta untuk perkara penting.
- Lebih lemah dalam penaakulan yang sangat sukar. Model 3B tidak setanding dengan model hos besar untuk masalah kompleks yang mempunyai banyak langkah.
- Pertukaran antara konteks dengan kelajuan. Konteks panjang menggunakan lebih banyak memori; model besar boleh menjadi perlahan pada CPU.
- Kualiti berbeza mengikut tugas. Model yang hebat dalam sembang mungkin sederhana dalam pengekodan. Cuba beberapa model sebelum membuat pilihan.
Bagi banyak aliran kerja, penyelesaiannya ialah perolehan maklumat (RAG) atau penalaan halus ringkas untuk membekalkan data anda sendiri kepada model — kedua-duanya jauh lebih murah secara setempat daripada yang disangka.
Soalan lazim
Apakah LLM kecil terbaik untuk dijalankan secara setempat pada 2026?
Bagi kebanyakan orang, Qwen3 8B ialah pilihan serba guna terbaik pada GPU 8 GB, manakala Qwen3 4B atau Llama 3.2 3B berfungsi dengan baik pada komputer riba yang hanya menggunakan CPU. Pilih model terbesar yang boleh dijalankan dengan selesa oleh perkakasan anda, bukannya model terbesar yang tersedia.
Apakah LLM paling kecil yang boleh dijalankan secara setempat?
Model seperti SmolLM2 (135M–1.7B), Llama 3.2 1B, Gemma 3 1B dan Qwen3 0.6B boleh dijalankan pada hampir semua komputer riba moden, selalunya dengan RAM kurang daripada 2 GB apabila dikuantumkan kepada 4-bit. Model ini boleh meringkaskan dan melakukan sembang ringkas tetapi lemah dalam penaakulan kompleks.
Berapa banyak RAM diperlukan untuk menjalankan LLM kecil secara setempat?
Model 3–4B terkuantum 4-bit memerlukan kira-kira 3–4 GB RAM atau VRAM kosong, model 7–8B memerlukan kira-kira 6–8 GB dan model 12–14B memerlukan 10–16 GB. RAM sistem sebanyak 16 GB ialah asas yang selesa untuk kebanyakan model kecil.
Apakah cara paling mudah untuk menjalankan LLM kecil secara setempat?
Pasang Ollama atau LM Studio, kemudian tarik model dengan satu arahan (contohnya ollama pull qwen3:8b). Kedua-duanya mengendalikan muat turun, pengkuantuman dan antara muka sembang setempat serta menyediakan API serasi OpenAI untuk aplikasi anda sendiri.
Bolehkah saya menjalankan LLM kecil tanpa GPU?
Ya. Dengan pengkuantuman 4-bit, model sehingga kira-kira 7–8B boleh dijalankan pada CPU moden dan berjalan dengan ketara lebih pantas pada Mac Apple Silicon berkat memori bersatu. Jangkakan kelajuan token yang lebih rendah berbanding GPU khusus, tetapi model ini masih boleh digunakan untuk sembang dan menyediakan draf.
Adakah LLM kecil setempat bagus untuk pengekodan?
Boleh. Qwen3 dan model distil DeepSeek-R1 kuat dalam pengekodan antara model kecil, manakala Mistral mempunyai ekosistem matang yang mengutamakan kod. Untuk pemfaktoran semula yang lebih berat, model 14B pada GPU 12–16 GB memberikan kualiti terbaik yang boleh diperoleh secara setempat.
Kesimpulannya
LLM kecil setempat telah berubah daripada eksperimen penggemar teknologi menjadi alat harian yang praktikal. Mulakan dengan Qwen3 sebagai pilihan seimbang, gunakan Phi-4-mini apabila anda memerlukan penaakulan pada perkakasan ringan, dan pilih Gemma 3 apabila anda memerlukan penglihatan atau banyak bahasa — semuanya boleh dijalankan dengan Ollama atau LM Studio dalam beberapa minit. Untuk bantuan menggunakan dokumentasi Ailoot, lihat dokumentasi Ailoot.