# อธิบายโมเดลภาษาขนาดเล็ก

> อะไรทำให้โมเดลภาษามีขนาดเล็ก พารามิเตอร์และพารามิเตอร์ที่มีประสิทธิผลหมายถึงอะไร เหตุใดโมเดลขนาดเล็กจึงทำงานบนโทรศัพท์ได้ และต้องแลกกับความสามารถด้านใดบ้าง

Source: https://ailoot.ai/blog/th/small-language-models-explained/
Canonical: https://ailoot.ai/blog/th/small-language-models-explained/
Language: th
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-85663e9650dafe209c887495bc9cb3b0eeb281758f794ec2d2db1c243739f5b3


## โมเดลภาษาขนาดเล็กคืออะไร?

โมเดลภาษาขนาดเล็ก (SLM) คือโมเดลภาษาที่มีขนาดกะทัดรัดพอให้ทำงานบนฮาร์ดแวร์ทั่วไป เช่น โทรศัพท์หรือแล็ปท็อป แทนที่จะต้องใช้ศูนย์ข้อมูล ยังไม่มีเกณฑ์ตัดแบ่งที่ตกลงกันได้: โดยทั่วไป โมเดลที่มีพารามิเตอร์ไม่กี่พันล้านตัวหรือน้อยกว่าจะเรียกว่าขนาดเล็ก และงานสำรวจฉบับหนึ่งในปี 2024 ใช้ช่วงตั้งแต่ 100 ล้านถึง 5 พันล้าน

โมเดลภาษาขนาดเล็กและขนาดใหญ่ทำงานเหมือนกัน ทั้งคู่เป็นโครงข่ายประสาทเทียม ซึ่งเกือบทั้งหมดเป็น transformer ที่ฝึกให้ทำนายโทเค็นข้อความถัดไป และทั้งคู่ได้รับการปรับให้ทำตามคำสั่งหลังการฝึกล่วงหน้า งานสำรวจที่กล่าวถึงข้างต้นครอบคลุม transformer แบบตัวถอดรหัสอย่างเดียวประเภทนี้โดยเฉพาะ สิ่งที่ต่างกันคือขนาด โมเดลขนาดพอเหมาะกับโทรศัพท์มีพารามิเตอร์ไม่กี่พันล้านตัว ส่วนโมเดลคลาวด์ระดับแนวหน้ามีขนาดใหญ่กว่ามาก ดังนั้นโมเดลขนาดเล็กจึงมีความรู้น้อยกว่าและมีความสามารถในการให้เหตุผลจำกัดกว่า (ดู “โมเดลขนาดเล็กมีข้อจำกัดตรงไหน?”) โมเดลขนาดเล็กทำให้ AI บนอุปกรณ์ใช้งานได้จริง

ขนาดไม่ใช่ปัจจัยเดียวที่กำหนดคุณภาพ ดังนั้นคุณภาพของโมเดลขนาดเล็กจึงขึ้นอยู่กับการฝึกมากพอ ๆ กับขนาด โมเดลสามารถเรียนรู้จากโมเดลที่ใหญ่กว่าผ่านการกลั่นความรู้ ซึ่งเป็นการฝึกให้โมเดลเลียนแบบผลลัพธ์ของโมเดลที่ใหญ่กว่า และยังได้ประโยชน์จากข้อมูลที่คัดเลือกอย่างพิถีพิถัน: phi-1 ซึ่งเป็นโมเดลเขียนโค้ดที่มีพารามิเตอร์ 1.3 พันล้านตัวและฝึกด้วยข้อมูล “คุณภาพระดับตำราเรียน” เป็นส่วนใหญ่ ทำคะแนน pass@1 ได้ 50.6% ในเกณฑ์วัดการเขียนโค้ด HumanEval

## พารามิเตอร์และ ‘พารามิเตอร์ที่มีประสิทธิผล’ หมายถึงอะไร?

พารามิเตอร์คือตัวเลขที่โมเดลเรียนรู้ระหว่างการฝึก และจำนวนพารามิเตอร์เป็นเกณฑ์วัดขนาดที่ใช้กันทั่วไป: “1.7B” ใน Qwen3 1.7B หมายถึงประมาณ 1.7 พันล้าน “พารามิเตอร์ที่มีประสิทธิผล” ซึ่งก็คือ “E” ใน Gemma 4 E2B และ E4B ของ Google นับพารามิเตอร์ที่โมเดลใช้คำนวณ และไม่นับตาราง embedding ขนาดใหญ่ที่โมเดลใช้เพียงค้นหาข้อมูล

พารามิเตอร์ส่วนใหญ่อยู่ในเมทริกซ์น้ำหนักของชั้น attention และ feed-forward ใน transformer ซึ่งทุกโทเค็นต้องผ่าน บล็อกอีกส่วนหนึ่งคือ embeddings ซึ่งจับคู่โทเค็นแต่ละตัวในคลังคำศัพท์กับเวกเตอร์ และในโมเดลขนาดเล็ก ส่วนนี้อาจมีสัดส่วนมากของพารามิเตอร์ทั้งหมด ตาราง embedding ของ Qwen3 1.7B มี 151,936 แถว (คลังคำศัพท์ตามการกำหนดค่า ซึ่งเติมแถวเกินจากรายการ 151,669 รายการของ tokenizer) และมี 2,048 มิติ รวมเป็นพารามิเตอร์ embedding ประมาณ 311 ล้านตัว ซึ่งสอดคล้องกับ model card ที่ระบุว่ามีพารามิเตอร์ทั้งหมด 1.7 พันล้านตัว และมี 1.4 พันล้านตัวที่ไม่รวม embeddings 7 งานศึกษาการเพิ่มขนาดมักนับเฉพาะพารามิเตอร์ที่ไม่ใช่ embedding

ซีรีส์ E ของ Gemma 4 ขยายแนวคิดนี้ไปอีกขั้น model card ของ Google อธิบายว่า ‘“E” ใน E2B และ E4B ย่อมาจากพารามิเตอร์ “ที่มีประสิทธิผล”’: โมเดลใช้ Per-Layer Embeddings (PLE) ซึ่งทำให้ “แต่ละชั้นตัวถอดรหัสมี embedding ขนาดเล็กของตัวเองสำหรับทุกโทเค็น” และ “ตาราง embedding เหล่านี้มีขนาดใหญ่ แต่ใช้เพียงเพื่อค้นหาข้อมูลอย่างรวดเร็ว จึงทำให้จำนวนพารามิเตอร์ที่มีประสิทธิผลน้อยกว่าจำนวนทั้งหมดมาก” 8 ใน card ระบุว่า Gemma 4 E2B มีพารามิเตอร์ที่มีประสิทธิผล 2.3 พันล้านตัว และมี 5.1 พันล้านตัวเมื่อนับ embeddings ส่วน E4B มีพารามิเตอร์ที่มีประสิทธิผล 4.5 พันล้านตัว และมี 8 พันล้านตัวเมื่อนับ embeddings

ความแตกต่างนี้สำคัญบนโทรศัพท์ เพราะการค้นหาต้องใช้หน่วยความจำแต่ใช้การคำนวณเพียงเล็กน้อย และรันไทม์สามารถเก็บตารางไว้ในพื้นที่จัดเก็บได้ “ที่มีประสิทธิผล” ยังแตกต่างจาก “ที่ทำงานอยู่”: Gemma 4 26B A4B เป็นโมเดล mixture-of-experts ที่มีพารามิเตอร์ 25.2 พันล้านตัว โดยมี 3.8 พันล้านตัวที่ทำงานระหว่างการอนุมาน 8

## เหตุใดโมเดลขนาดเล็กจึงทำงานบนโทรศัพท์ได้?

น้ำหนักของโมเดลใช้หน่วยความจำโดยประมาณเท่ากับจำนวนพารามิเตอร์คูณจำนวนบิตที่เก็บไว้ต่อพารามิเตอร์ แล้วหารด้วยแปด ที่ 4 บิต พารามิเตอร์ 1.7 พันล้านตัวต้องใช้ประมาณ 0.85 GB ซึ่งยังเหลือพื้นที่ให้ Android และแอปอื่น ๆ บนโทรศัพท์ที่มี RAM 4 GB

จำนวนพารามิเตอร์และความละเอียดเป็นปัจจัยสองอย่างที่ปรับได้ ภาพที่ 1 แสดงการคำนวณสำหรับ Qwen3 1.7B ตั้งแต่เลขทศนิยมแบบจุดลอยตัว 32 บิตจนถึงไฟล์โมเดล 4 บิต

<figure id="la-fit">
<ol>
<li><strong>เมื่อเก็บเป็นเลขทศนิยมแบบจุดลอยตัว 32 บิต พารามิเตอร์ 1.7 พันล้านตัวใช้พื้นที่ 6.8 GB</strong></li>
<li><strong>ที่ 16 บิต ใช้พื้นที่ 3.4 GB</strong></li>
<li><strong>ที่ 8 บิต ใช้พื้นที่ 1.7 GB</strong> การลดจำนวนบิตต่อหนึ่งน้ำหนักลงครึ่งหนึ่งแต่ละครั้งจะลดหน่วยความจำที่น้ำหนักต้องใช้ลงครึ่งหนึ่งด้วย</li>
<li><strong>ที่ 4 บิต ใช้พื้นที่ประมาณ 0.85 GB</strong> การใช้ครึ่งไบต์ต่อน้ำหนักหนึ่งตัวทำให้โมเดลขนาดนี้ใช้งานได้จริงบนโทรศัพท์ 4 GB</li>
<li><strong>ไฟล์โมเดล 4 บิตอาจมีขนาดใหญ่กว่าน้ำหนักดิบ</strong> ค่าสเกลของบล็อกและข้อมูลอื่นที่จัดเก็บไว้ทำให้ไฟล์มีขนาดเพิ่มขึ้น</li>
</ol>
<figcaption>ภาพที่ 1 หน่วยความจำที่จำเป็นสำหรับเก็บน้ำหนักของ Qwen3 1.7B ในหน่วยกิกะไบต์ฐานสิบ แท่งสีน้ำเงินคำนวณจากพารามิเตอร์ × บิต ÷ 8 สำหรับพารามิเตอร์ 1.7 พันล้านตัว และนับเฉพาะน้ำหนักเท่านั้น โมเดลที่กำลังทำงานยังต้องใช้หน่วยความจำสำหรับแคช key–value และรันไทม์ด้วย แท่งสีส้มคือไฟล์โมเดลที่ดาวน์โหลดมา</figcaption>
</figure>

| ความละเอียด | บิตต่อพารามิเตอร์ | หน่วยความจำสำหรับน้ำหนักโดยประมาณ |
|---|---:|---:|
| เลขทศนิยมแบบจุดลอยตัว 32 บิต | 32 | 6.8 GB |
| เลขทศนิยมแบบจุดลอยตัว 16 บิต | 16 | 3.4 GB |
| จำนวนเต็ม 8 บิต | 8 | 1.7 GB |
| จำนวนเต็ม 4 บิต | 4 | 0.85 GB |

ด้วยเหตุนี้ โมเดลขนาดพอเหมาะกับโทรศัพท์จึงรวมพารามิเตอร์ไม่กี่พันล้านตัวเข้ากับน้ำหนัก 4 บิตหรือความละเอียดแบบผสม การทำ quantization ช่วยลดพื้นที่จัดเก็บที่ต้องใช้สำหรับน้ำหนัก

น้ำหนักไม่ใช่หน่วยความจำทั้งหมดที่โมเดลใช้ โมเดลที่กำลังทำงานยังต้องใช้หน่วยความจำสำหรับแคช key–value ซึ่งขยายตามความยาวของหน้าต่างบริบท และสำหรับรันไทม์เอง ความเร็วใช้หลักการคำนวณเดียวกัน: โทเค็นใหม่แต่ละตัวต้องอ่านน้ำหนักของโมเดลจากหน่วยความจำ ดังนั้นน้ำหนักที่มีจำนวนน้อยกว่าและมีขนาดเล็กกว่าจึงทำให้ได้คำตอบเร็วขึ้นบนโทรศัพท์เครื่องเดิม

## โมเดลขนาดเล็กทำอะไรได้ดี?

โมเดลขนาดเล็กเหมาะกับงานที่มีข้อมูลที่ต้องใช้ใน prompt หรืออยู่ในความรู้ทั่วไป เช่น การเขียนใหม่ การสรุป การร่าง การอธิบาย และการตอบคำถามจากข้อความที่ให้มา เนื่องจากทำงานบนอุปกรณ์ จึงตอบได้โดยไม่ต้องเชื่อมต่อเครือข่ายและไม่ต้องส่ง prompt ไปยังเซิร์ฟเวอร์

model card ของ Google ระบุว่าตระกูล Gemma 4 “เหมาะสำหรับการให้เหตุผล เวิร์กโฟลว์แบบเอเจนต์ การเขียนโค้ด และการทำความเข้าใจมัลติโมดัล” โดย E2B และ E4B รับข้อมูลเข้าเป็นข้อความ รูปภาพ และเสียง 8 นี่คือคำอธิบายและผลการประเมินจากผู้พัฒนาเอง ประสิทธิภาพของงานใดงานหนึ่งบนโทรศัพท์รุ่นใดรุ่นหนึ่งยังต้องทดสอบ

การป้อนข้อความที่เหมาะสมช่วยจัดการกับสิ่งที่โมเดลขนาดเล็กไม่รู้ การสร้างแบบเสริมด้วยการค้นคืนจะเพิ่มข้อความที่ค้นมาในเวลาที่ถาม เพื่อให้โมเดลทำงานจากแหล่งข้อมูลแทนที่จะอาศัยความจำ โมเดลขนาดเล็กยังมีค่าใช้จ่ายในการทำงานที่คาดการณ์ได้: ไม่มีค่าเซิร์ฟเวอร์ต่อคำถาม ไม่มีคิว และไม่ต้องพึ่งการเชื่อมต่อหลังจากดาวน์โหลดแล้ว

## โมเดลขนาดเล็กมีข้อจำกัดตรงไหน?

โมเดลขนาดเล็กมีความรู้น้อยกว่า ให้เหตุผลกับปัญหาที่ยาวหรือมีหลายขั้นตอนได้ด้อยกว่า และจัดการบริบทยาวได้ไม่ดีเท่าโมเดลขนาดใหญ่ อีกทั้งเช่นเดียวกับโมเดลภาษาทั้งหมด ยังสามารถกล่าวสิ่งที่ไม่จริงได้อย่างคล่องแคล่ว

เห็นรูปแบบนี้ได้ภายในตระกูลเดียวกัน ใน model card ของ Google Gemma 4 E2B ได้คะแนน 60.0% ในเกณฑ์ประเมินความรู้และการให้เหตุผล MMLU Pro ส่วน E4B ได้ 69.4% เทียบกับ 85.2% ของโมเดล Gemma 4 ที่มีพารามิเตอร์ 31 พันล้านตัว ส่วน GPQA Diamond ซึ่งเป็นชุดคำถามวิทยาศาสตร์ระดับบัณฑิตศึกษา ได้คะแนน 43.4%, 58.6% และ 84.3% ตามลำดับ 8 นี่คือผลลัพธ์ของ Google สำหรับโมเดลของตน

โมเดลขนาดเล็กอาจติดอยู่กับการพูดซ้ำด้วยเช่นกัน model card ของ Qwen เตือนว่าการถอดรหัสแบบ greedy “อาจทำให้ประสิทธิภาพลดลงและเกิดการพูดซ้ำไม่รู้จบ” 7

## เหตุใดโมเดลขนาดเล็กจึงเลียนแบบรูปแบบของคำสั่ง?

โมเดลขนาดเล็กมักเลียนแบบรูปแบบของ prompt ควบคู่ไปกับการทำตามเนื้อหา ดังนั้น system prompt ที่ยาวและมีโครงสร้างอาจทำให้คำตอบทุกครั้งมีโครงสร้างตามไปด้วย

prompt ที่สั่งให้โมเดล “เริ่มด้วยคำตอบโดยตรง แล้วตามด้วยรายละเอียดที่เป็นประโยชน์” ทำให้คำตอบมีป้ายกำกับตัวหนาว่า “คำตอบโดยตรง:” และ “รายละเอียดที่เป็นประโยชน์:” คำสั่งนี้ตั้งใจให้เป็นคำแนะนำเกี่ยวกับเนื้อหา แต่โมเดลกลับมองว่าเป็นแม่แบบ

## โหมดคิดในโมเดลขนาดเล็กทำงานอย่างไร?

โหมดคิดทำให้โมเดลเขียนเหตุผลระหว่างทางก่อนคำตอบสุดท้าย โดยใช้เวลาและโทเค็นมากขึ้นเพื่อให้ได้ผลลัพธ์ที่รอบคอบกว่าในปัญหาหลายขั้นตอน ทั้ง Qwen3 และ Gemma 4 มีโหมดนี้เป็นสวิตช์ภายในโมเดลเดียว ไม่ใช่โมเดลให้เหตุผลแยกต่างหาก

แนวคิดนี้มาจากการ prompting แบบ chain-of-thought โมเดลขนาดเล็กรุ่นใหม่ได้รับการฝึกให้ให้เหตุผล และในกรณีของ Qwen3 ส่วนหนึ่งเรียนรู้จากโมเดลที่ใหญ่กว่าของตน

สวิตช์นี้เป็นส่วนหนึ่งของ prompt โดย Qwen3 1.7B ใช้โหมดคิดเป็นค่าเริ่มต้น และเขียนเหตุผลไว้ในบล็อก `<think>…</think>` นักพัฒนาปิดโหมดคิดได้ด้วยการตั้งค่า `enable_thinking` ส่วนผู้ใช้สามารถเพิ่ม `/think` หรือ `/no_think` ในข้อความเพื่อเปลี่ยนโหมดในแต่ละรอบการสนทนา 7 Gemma 4 เปิดใช้โหมดคิดเมื่อ system prompt เริ่มต้นด้วยโทเค็น `<|think|>` 8

การคิดใช้เวลาและพื้นที่บริบท เพราะโทเค็นเหตุผลเป็นส่วนหนึ่งของผลลัพธ์โมเดลและใช้หน้าต่างร่วมกัน เหตุผลจะปรากฏก่อนคำตอบเมื่อกำหนดค่าให้โมเดลแสดงออกมา แต่พฤติกรรมขึ้นอยู่กับโมเดลและแอปพลิเคชัน

## Qwen3 1.7B, Gemma 4 E2B และ Gemma 4 E4B แตกต่างกันอย่างไร?

โมเดลทั้งสามแตกต่างกันในด้านขนาด ข้อมูลเข้า และความยาวบริบท Qwen3 1.7B มีพารามิเตอร์ 1.7 พันล้านตัวและรับเฉพาะข้อความ ส่วน Google ระบุว่า Gemma 4 E2B และ E4B มีพารามิเตอร์ที่มีประสิทธิผล 2.3 และ 4.5 พันล้านตัวตามลำดับ และรับข้อมูลเข้าเป็นข้อความ รูปภาพ และเสียง ทั้งสามเผยแพร่ภายใต้ Apache 2.0

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| ผู้พัฒนา | Alibaba (ทีม Qwen) | Google DeepMind | Google DeepMind |
| พารามิเตอร์ | 1.7B โดยมี 1.4B ที่ไม่รวม embeddings | 2.3B ที่มีประสิทธิผล, 5.1B รวม embeddings | 4.5B ที่มีประสิทธิผล, 8B รวม embeddings |
| จำนวนชั้น | 28 | 35 | 42 |
| ความยาวบริบท | 32,768 โทเค็น | 128K โทเค็น | 128K โทเค็น |
| ข้อมูลเข้า | ข้อความ | ข้อความ รูปภาพ เสียง | ข้อความ รูปภาพ เสียง |
| โหมดคิด | มี เปิดเป็นค่าเริ่มต้น | มี | มี |
| ใบอนุญาต | Apache 2.0 | Apache 2.0 | Apache 2.0 |

ตารางที่ 1 ข้อมูลจำเพาะตามที่เผยแพร่ใน model card ของ Qwen3-1.7B โดย Qwen และ model card ของ Gemma 4 โดย Google ตรวจสอบเมื่อ 5 ตุลาคม 2026 7 8



## เอกสารอ้างอิง

7. Qwen. “Qwen3-1.7B.” model card และการกำหนดค่า, Hugging Face. เข้าถึงเมื่อ 5 ตุลาคม 2026 [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. “model card ของ Gemma 4.” Google AI for Developers. เข้าถึงเมื่อ 5 ตุลาคม 2026 [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## นำคู่มือนี้ไปใช้กับ Ailoot

เชื่อมต่อโมเดล AI กับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เพียงหนึ่งเดียว เลือกโมเดลที่เหมาะกับงาน แล้วทำตาม[เอกสาร Ailoot](https://ailoot.ai/docs/) เพื่อเริ่มต้น

## Ailoot · บริษัทและพอร์ตโฟลิโอโครงการของบริษัท

Ailoot อาศัยประสบการณ์การดำเนินงานที่สั่งสม ฐานลูกค้าขนาดใหญ่ บริการที่เสถียร และการติดตาม KPI อย่างต่อเนื่อง

บริษัทและพอร์ตโฟลิโอโครงการของบริษัท: ลูกค้าหลายล้านราย; ยอดขายระดับหลายพันล้านต่อเดือน.

Ailoot นำประสบการณ์การดำเนินงานนี้มาใช้เพื่อให้เข้าถึงฟังก์ชัน AI ผ่าน API ในผลิตภัณฑ์ของลูกค้า เอเจนต์ แอปพลิเคชัน และระบบอัตโนมัติ
