# Model bahasa kecil, dijelaskan

> Perkara yang menjadikan model bahasa kecil, maksud parameter dan parameter berkesan, sebab model kecil muat pada telefon, dan keupayaan yang dikorbankannya.

Source: https://ailoot.ai/blog/ms/small-language-models-explained/
Canonical: https://ailoot.ai/blog/ms/small-language-models-explained/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-57c5adb0ec527cc0d6c383fece1f5e2135d0f8820f9e88bef21864cc16a5b2f5


## Apakah model bahasa kecil?

Model bahasa kecil (SLM) ialah model bahasa yang cukup padat untuk dijalankan pada perkakasan harian, seperti telefon atau komputer riba, dan bukannya pusat data. Tiada had yang dipersetujui: model dengan beberapa bilion parameter atau kurang biasanya dipanggil kecil, dan satu tinjauan tahun 2024 menggunakan julat 100 juta hingga 5 bilion.

Model bahasa kecil dan besar berfungsi dengan cara yang sama. Kedua-duanya ialah rangkaian neural, hampir selalu transformer, yang dilatih untuk meramalkan token teks seterusnya, dan kedua-duanya disesuaikan selepas pralatihan supaya mematuhi arahan; tinjauan yang disebut di atas merangkumi transformer penyahkod sahaja yang tepat jenisnya. Perbezaannya ialah skala. Model bersaiz telefon mempunyai beberapa bilion parameter, manakala model awan termaju jauh lebih besar, jadi model kecil menyimpan kurang pengetahuan dan mempunyai kapasiti penaakulan yang lebih rendah (lihat “Apakah kekurangan model kecil?”). Model kecil menjadikan AI pada peranti praktikal.

Saiz bukan satu-satunya faktor yang mempengaruhi kualiti. Oleh itu, kualiti model kecil bergantung pada latihannya sama seperti saiznya. Model itu boleh belajar daripada model yang lebih besar melalui penyulingan, iaitu model dilatih untuk menyamai output model yang lebih besar, dan mendapat manfaat daripada data yang dipilih dengan teliti: phi-1, model kod berparameter 1.3 bilion yang sebahagian besarnya dilatih dengan data “bermutu buku teks”, mencapai 50.6% pass@1 pada penanda aras pengekodan HumanEval.

## Apakah maksud parameter dan ‘parameter berkesan’?

Parameter ialah nombor yang dipelajari oleh model semasa latihan, dan bilangannya ialah ukuran saiz yang lazim digunakan: “1.7B” dalam Qwen3 1.7B bermaksud kira-kira 1.7 bilion. “Parameter berkesan”, iaitu “E” dalam Gemma 4 E2B dan E4B Google, mengira parameter yang digunakan oleh model untuk pengiraan dan tidak memasukkan jadual embedding besar yang hanya dirujuk melalui carian.

Kebanyakan parameter berada dalam matriks pemberat lapisan perhatian dan suapan hadapan transformer, yang dilalui oleh setiap token. Satu blok berasingan, embedding, memetakan setiap token dalam kosa kata kepada vektor, dan dalam model kecil ia boleh merangkumi bahagian yang besar daripada jumlah keseluruhan. Jadual embedding Qwen3 1.7B mempunyai 151,936 baris (kosa kata yang dikonfigurasikan, dipadatkan melebihi 151,669 entri tokenizer) dengan 2,048 dimensi, kira-kira 311 juta parameter embedding, selaras dengan kad modelnya, yang menyenaraikan jumlah keseluruhan 1.7 bilion parameter dan 1.4 bilion di luar embedding 7. Kajian penskalaan sering mengira parameter bukan embedding sahaja.

Siri E Gemma 4 melangkah lebih jauh. Kad model Google menerangkan bahawa ‘“E” dalam E2B dan E4B bermaksud parameter “berkesan”’: model menggunakan Per-Layer Embeddings (PLE), yang memberikan “setiap lapisan penyahkod embedding kecilnya sendiri untuk setiap token”, dan “Jadual embedding ini besar tetapi hanya digunakan untuk carian pantas, sebab itulah bilangan parameter berkesan jauh lebih kecil daripada jumlah keseluruhan” 8. Kad itu menyenaraikan Gemma 4 E2B dengan 2.3 bilion parameter berkesan, 5.1 bilion termasuk embedding, dan E4B dengan 4.5 bilion parameter berkesan, 8 bilion termasuk embedding.

Perbezaan ini penting pada telefon kerana carian memerlukan memori tetapi sedikit pengiraan, dan masa jalan boleh membiarkan jadual itu dalam storan. “Berkesan” juga berbeza daripada “aktif”: Gemma 4 26B A4B ialah model campuran pakar dengan 25.2 bilion parameter, dan 3.8 bilion daripadanya aktif semasa inferens 8.

## Mengapa model kecil muat pada telefon?

Pemberat model memerlukan kira-kira bilangan parameternya didarab dengan bit yang disimpan bagi setiap parameter, kemudian dibahagi dengan lapan. Pada 4 bit, 1.7 bilion parameter memerlukan kira-kira 0.85 GB, yang masih membolehkan ruang untuk Android dan aplikasi lain pada telefon dengan RAM 4 GB.

Bilangan parameter dan ketepatan ialah dua faktor yang boleh diubah. Rajah 1 menunjukkan pengiraan untuk Qwen3 1.7B, daripada titik terapung 32-bit hingga fail model 4-bit.

<figure id="la-fit">
<ol>
<li><strong>Jika disimpan sebagai nombor titik terapung 32-bit, 1.7 bilion parameter memerlukan 6.8 GB.</strong></li>
<li><strong>Pada 16 bit, parameter itu memerlukan 3.4 GB.</strong></li>
<li><strong>Pada 8 bit, parameter itu memerlukan 1.7 GB.</strong> Setiap kali bit bagi setiap pemberat dibahagi dua, memori yang diperlukan oleh pemberat juga berkurang separuh.</li>
<li><strong>Pada 4 bit, kira-kira 0.85 GB.</strong> Setengah bait bagi setiap pemberat menjadikan model sebesar ini praktikal pada telefon 4 GB.</li>
<li><strong>Fail model 4-bit boleh lebih besar daripada pemberat mentah.</strong> Skala blok dan data tersimpan lain menambah saiznya.</li>
</ol>
<figcaption>Rajah 1. Memori yang diperlukan untuk menyimpan pemberat Qwen3 1.7B dalam gigabait perpuluhan. Bar biru dikira sebagai parameter × bit ÷ 8 untuk 1.7 bilion parameter dan mengambil kira pemberat sahaja; model yang sedang berjalan juga memerlukan memori untuk cache key–value dan masa jalan. Bar jingga ialah fail model yang dimuat turun.</figcaption>
</figure>

| Ketepatan | Bit bagi setiap parameter | Anggaran memori pemberat |
|---|---:|---:|
| Titik terapung 32-bit | 32 | 6.8 GB |
| Titik terapung 16-bit | 16 | 3.4 GB |
| Integer 8-bit | 8 | 1.7 GB |
| Integer 4-bit | 4 | 0.85 GB |

Atas sebab ini, model bersaiz telefon menggabungkan beberapa bilion parameter dengan pemberat 4-bit atau ketepatan campuran; kuantisasi mengurangkan storan yang diperlukan untuk pemberat.

Pemberat bukan keseluruhan jejak memori. Model yang sedang berjalan juga memerlukan memori untuk cache key–value, yang bertambah mengikut panjang tetingkap konteks, dan untuk masa jalan itu sendiri. Kelajuan bergantung pada pengiraan yang sama: setiap token baharu memerlukan pemberat model dibaca daripada memori, jadi pemberat yang lebih sedikit dan lebih kecil memberikan jawapan lebih pantas pada telefon yang sama.

## Apakah kelebihan model kecil?

Model kecil bagus untuk tugasan yang keperluannya terdapat dalam prompt atau dalam pengetahuan umum: menulis semula, meringkaskan, merangka, menerangkan dan menjawab berdasarkan petikan yang diberikan. Oleh sebab model ini berjalan pada peranti, ia juga boleh menjawab tanpa sambungan rangkaian dan tanpa menghantar prompt ke pelayan.

Kad model Google menyifatkan keluarga Gemma 4 sebagai “sesuai untuk penaakulan, aliran kerja ejen, pengekodan dan pemahaman multimodal”, dengan E2B dan E4B menerima input teks, imej dan audio 8. Ini ialah penerangan dan penanda aras daripada pembangun sendiri; keberkesanan untuk sesuatu tugasan pada telefon tertentu tetap perlu diuji.

Menyediakan teks yang betul membantu mengatasi perkara yang tidak diketahui oleh model kecil. Penjanaan dipertingkat perolehan menambah petikan yang diperoleh ketika soalan diajukan, supaya model menggunakan sumber dan bukannya ingatan. Model kecil juga boleh dijalankan dengan kos yang boleh dijangka: tiada kos pelayan bagi setiap soalan, tiada baris gilir dan tiada kebergantungan pada sambungan selepas muat turun.

## Apakah kekurangan model kecil?

Model kecil menyimpan kurang pengetahuan, lebih lemah dalam penaakulan panjang atau berbilang langkah dan kurang cekap mengendalikan konteks panjang berbanding model lebih besar; seperti semua model bahasa, model kecil juga boleh menyatakan perkara yang salah dengan lancar.

Corak ini dapat dilihat dalam satu keluarga model. Pada kad model Google, Gemma 4 E2B memperoleh skor 60.0% pada penanda aras pengetahuan dan penaakulan MMLU Pro dan E4B memperoleh 69.4%, berbanding 85.2% untuk model Gemma 4 berparameter 31 bilion; pada GPQA Diamond, set soalan sains peringkat siswazah, skornya ialah 43.4%, 58.6% dan 84.3% 8. Ini ialah keputusan Google untuk modelnya.

Model kecil juga boleh terperangkap dalam pengulangan. Kad model Qwen memberi amaran bahawa penyahkodan tamak “boleh menyebabkan kemerosotan prestasi dan pengulangan tanpa henti” 7.

## Mengapa model kecil meniru bentuk arahannya?

Model kecil cenderung meniru bentuk prompt selain mengikuti kandungannya, jadi prompt sistem yang panjang dan berstruktur boleh muncul sebagai struktur dalam setiap jawapan.

Prompt yang mengarahkan model supaya “mulakan dengan jawapan langsung, kemudian berikan butiran berguna” menghasilkan jawapan dengan label tebal “Jawapan Langsung:” dan “Butiran Berguna:”. Arahan itu dimaksudkan sebagai nasihat tentang kandungan; model menganggapnya sebagai templat.

## Bagaimanakah mod berfikir berfungsi dalam model kecil?

Mod berfikir membuat model menulis penaakulan perantara sebelum jawapan akhirnya, menggunakan lebih banyak masa dan token untuk hasil yang lebih teliti bagi masalah berbilang langkah. Qwen3 dan Gemma 4 kedua-duanya menawarkannya sebagai suis dalam satu model, bukannya sebagai model penaakulan yang berasingan.

Idea ini berasal daripada prompting rantaian pemikiran. Model kecil yang lebih baharu dilatih untuk membuat penaakulan, dan dalam kes Qwen3, sebahagiannya dengan belajar daripada modelnya yang lebih besar.

Suis itu sebahagian daripada prompt. Qwen3 1.7B berfikir secara lalai dan menulis penaakulannya di dalam blok `<think>…</think>`; pembangun mematikan pemikiran dengan tetapan `enable_thinking`, dan pengguna boleh menambah `/think` atau `/no_think` pada mesej untuk menukar mod dari satu giliran ke giliran seterusnya 7. Gemma 4 mengaktifkan pemikiran apabila prompt sistemnya bermula dengan token `<|think|>` 8.

Pemikiran menggunakan masa dan konteks kerana token penaakulan ialah sebahagian daripada output model dan berkongsi tetingkap konteksnya. Penaakulan muncul sebelum jawapan apabila model disediakan untuk memaparkannya, tetapi tingkah lakunya bergantung pada model dan aplikasi.

## Bagaimanakah Qwen3 1.7B, Gemma 4 E2B dan Gemma 4 E4B dibandingkan?

Ketiga-tiganya berbeza dari segi saiz, input dan panjang konteks. Qwen3 1.7B mempunyai 1.7 bilion parameter dan hanya menerima teks; Google menyenaraikan Gemma 4 E2B dan E4B dengan masing-masing 2.3 dan 4.5 bilion parameter berkesan, serta input teks, imej dan audio. Ketiga-tiganya dikeluarkan di bawah Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Pembangun | Alibaba (pasukan Qwen) | Google DeepMind | Google DeepMind |
| Parameter | 1.7B, dengan 1.4B di luar embedding | 2.3B berkesan, 5.1B termasuk embedding | 4.5B berkesan, 8B termasuk embedding |
| Lapisan | 28 | 35 | 42 |
| Panjang konteks | 32,768 token | 128K token | 128K token |
| Input | Teks | Teks, imej, audio | Teks, imej, audio |
| Mod berfikir | Ya, diaktifkan secara lalai | Ya | Ya |
| Lesen | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Jadual 1. Spesifikasi seperti yang diterbitkan dalam kad model Qwen3-1.7B Qwen dan kad model Gemma 4 Google, disemak pada 5 Oktober 2026 7 8.



## Rujukan

7. Qwen. “Qwen3-1.7B.” Kad model dan konfigurasi, Hugging Face. Diakses pada 5 Oktober 2026. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. “Kad model Gemma 4.” Google AI for Developers. Diakses pada 5 Oktober 2026. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugasan anda dan ikuti [dokumentasi Ailoot](https://ailoot.ai/docs/) untuk bermula.

## Ailoot · Syarikat dan portfolio projeknya

Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.

Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.

Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.
