מודלים קטנים של שפה, הסבר
Markdownמה הופך מודל שפה לקטן, מה פירושם של פרמטרים ופרמטרים אפקטיביים, מדוע מודלים קטנים מתאימים לטלפונים, ועל אילו יכולות הם מוותרים.
מהו מודל שפה קטן?
מודל שפה קטן (SLM) הוא מודל שפה קומפקטי מספיק כדי לפעול בחומרה יומיומית, כמו טלפון או מחשב נייד, במקום במרכז נתונים. אין סף מוסכם: מודלים עם כמה מיליארדי פרמטרים או פחות נקראים בדרך כלל קטנים, וסקר אחד משנת 2024 משתמש בטווח של 100 מיליון עד 5 מיליארד.
מודלים קטנים וגדולים של שפה פועלים באותו אופן. שניהם רשתות עצביות, כמעט תמיד מסוג transformer, שאומנו לחזות את הטוקן הבא בטקסט, ושניהם עוברים התאמה לאחר האימון המקדים כדי לציית להוראות; הסקר שהוזכר לעיל עוסק ב-transformer-ים מסוג מפענח בלבד בדיוק מהסוג הזה. ההבדל הוא בקנה המידה. במודל בגודל המתאים לטלפון יש כמה מיליארדי פרמטרים, ואילו מודלי הענן המובילים גדולים בהרבה, ולכן מודל קטן מכיל פחות ידע ויכולת ההסקה שלו מוגבלת יותר (ראו „היכן מודלים קטנים מתקשים?”). מודלים קטנים הם שמאפשרים שימוש מעשי בבינה מלאכותית במכשיר.
הגודל אינו הגורם היחיד שמשפיע על האיכות. לכן איכות של מודל קטן תלויה באימון שלו לא פחות מאשר בגודלו. הוא יכול ללמוד ממודל גדול יותר באמצעות זיקוק, שבו מאמנים אותו להתאים לפלטים של המודל הגדול, והוא מפיק תועלת מנתונים שנבחרו בקפידה: phi-1, מודל קוד עם 1.3 מיליארד פרמטרים שאומן בעיקר על נתונים „באיכות של ספר לימוד”, הגיע ל-50.6% pass@1 במדד HumanEval לתכנות.
מה פירושם של „פרמטרים” ו„פרמטרים אפקטיביים”?
פרמטרים הם המספרים שהמודל לומד במהלך האימון, ומספרם הוא המדד המקובל לגודלו: „1.7B” בשם Qwen3 1.7B פירושו כ-1.7 מיליארד. „פרמטרים אפקטיביים”, ה-„E” ב-Gemma 4 E2B וב-E4B של Google, סופרים את הפרמטרים שהמודל מחשב איתם ומשמיטים טבלאות embedding גדולות שרק מאחזרות מהן ערכים.
רוב הפרמטרים נמצאים במטריצות המשקולות של שכבות הקשב וההזנה קדימה של transformer, שכל טוקן עובר דרכן. בלוק נפרד, ה-embeddings, ממפה כל טוקן באוצר המילים לווקטור, ובמודל קטן הוא עשוי להוות חלק גדול מהסך הכול. בטבלת ה-embedding של Qwen3 1.7B יש 151,936 שורות (אוצר המילים שהוגדר בתצורה, עם ריפוד מעבר ל-151,669 הרשומות של ה-tokenizer) ב-2,048 ממדים, כלומר כ-311 מיליון פרמטרי embedding; הדבר תואם את כרטיס המודל שלו, שמציין 1.7 מיליארד פרמטרים בסך הכול ו-1.4 מיליארד מחוץ ל-embeddings 7. מחקרי קנה מידה סופרים לעיתים קרובות רק את הפרמטרים שאינם embeddings.
סדרת E של Gemma 4 לוקחת את הרעיון צעד נוסף. כרטיס המודל של Google מסביר כי „ה-‘E’ ב-E2B וב-E4B מייצג פרמטרים ‘אפקטיביים’”: המודלים משתמשים ב-Per-Layer Embeddings (PLE), שמעניקים „לכל שכבת מפענח embedding קטן משלה עבור כל טוקן”, ו„טבלאות ה-embedding האלה גדולות, אך משמשות רק לאחזור מהיר, ולכן מספר הפרמטרים האפקטיביים קטן בהרבה מהמספר הכולל” 8. בכרטיס מצוין כי ל-Gemma 4 E2B יש 2.3 מיליארד פרמטרים אפקטיביים, 5.1 מיליארד כולל embeddings, ול-E4B יש 4.5 מיליארד אפקטיביים ו-8 מיליארד כולל embeddings.
ההבחנה חשובה בטלפון, כי אחזור דורש זיכרון אך מעט חישוב, וסביבת הריצה יכולה להשאיר את הטבלאות באחסון. „אפקטיביים” שונה גם מ„פעילים”: Gemma 4 26B A4B הוא מודל תערובת מומחים עם 25.2 מיליארד פרמטרים, ש-3.8 מיליארד מהם פעילים בזמן הסקה 8.
מדוע מודלים קטנים מתאימים לטלפונים?
המשקולות של מודל דורשות בקירוב את מספר הפרמטרים כפול מספר הביטים המאוחסנים לכל פרמטר, חלקי שמונה. ב-4 ביטים, 1.7 מיליארד פרמטרים דורשים כ-0.85 GB, ומשאירים מקום ל-Android ולאפליקציות אחרות בטלפון עם 4 GB של RAM.
מספר הפרמטרים והדיוק הם שני הגורמים שאפשר לשנות. איור 1 מציג את החישוב עבור Qwen3 1.7B, מנקודה צפה של 32 ביט ועד לקובץ מודל של 4 ביט.
- באחסון כמספרים בנקודה צפה של 32 ביט, 1.7 מיליארד פרמטרים תופסים 6.8 GB.
- ב-16 ביט, הם תופסים 3.4 GB.
- ב-8 ביט, הם תופסים 1.7 GB. כל חצייה של מספר הביטים לכל משקולת חוצה גם את הזיכרון שהמשקולות דורשות.
- ב-4 ביט, כ-0.85 GB. חצי בית לכל משקולת הוא מה שהופך מודל בגודל הזה למעשי בטלפון עם 4 GB.
- קובץ מודל של 4 ביט עשוי להיות גדול יותר מהמשקולות הגולמיות. קני מידה של בלוקים ונתונים מאוחסנים אחרים מוסיפים לגודלו.
| דיוק | ביטים לפרמטר | זיכרון משקולות משוער |
|---|---|---|
| נקודה צפה של 32 ביט | 32 | 6.8 GB |
| נקודה צפה של 16 ביט | 16 | 3.4 GB |
| מספר שלם של 8 ביט | 8 | 1.7 GB |
| מספר שלם של 4 ביט | 4 | 0.85 GB |
מסיבה זו, מודלים בגודל המתאים לטלפון משלבים כמה מיליארדי פרמטרים עם משקולות של 4 ביט או בדיוק מעורב; קוונטיזציה מפחיתה את שטח האחסון הדרוש למשקולות.
המשקולות אינן כל טביעת הזיכרון. מודל שפועל זקוק גם לזיכרון עבור מטמון key–value, שגדל בהתאם לאורך חלון ההקשר, ועבור סביבת הריצה עצמה. המהירות נשענת על אותו חישוב: כל טוקן חדש מחייב לקרוא את משקולות המודל מהזיכרון, ולכן פחות משקולות וקטנות יותר פירושן תשובות מהירות יותר באותו טלפון.
במה מודלים קטנים טובים?
מודלים קטנים מתאימים למשימות שבהן המידע הדרוש נמצא ב-prompt או בידע כללי: ניסוח מחדש, סיכום, כתיבת טיוטות, הסבר ומענה על סמך קטעים שסופקו. מכיוון שהם פועלים במכשיר, הם יכולים גם לענות בלי חיבור לרשת ובלי לשלוח את ה-prompt לשרת.
כרטיס המודל של Google מתאר את משפחת Gemma 4 כ„מתאימה היטב להסקה, לזרימות עבודה של סוכנים, לתכנות ולהבנה מולטימודלית”, כאשר E2B ו-E4B מקבלים קלט של טקסט, תמונה ואודיו 8. אלה תיאורי המפתחים עצמם והמדדים שלהם; עדיין צריך לבדוק עד כמה משימה מסוימת פועלת היטב בטלפון מסוים.
אספקת הטקסט המתאים עוזרת להתמודד עם דברים שמודל קטן אינו יודע. יצירה מועשרת בשליפה מוסיפה קטעים שאוחזרו בזמן השאלה, כך שהמודל עובד עם מקורות ולא מתוך הזיכרון. גם עלויות ההפעלה של מודלים קטנים צפויות: אין עלות שרת לכל שאלה, אין תור ואין תלות בחיבור לאחר ההורדה.
היכן מודלים קטנים מתקשים?
מודלים קטנים מכילים פחות ידע, חלשים יותר בהסקה ארוכה או רב-שלבית ומתמודדים פחות טוב עם הקשרים ארוכים ממודלים גדולים יותר; וכמו כל מודלי השפה, הם עלולים להציג דברים שגויים באופן שוטף ומשכנע.
אפשר לראות את הדפוס בתוך משפחה אחת. בכרטיס המודל של Google, Gemma 4 E2B קיבל ציון של 60.0% במדד הידע וההסקה MMLU Pro, ו-E4B קיבל 69.4%, לעומת 85.2% עבור מודל Gemma 4 עם 31 מיליארד פרמטרים; ב-GPQA Diamond, אוסף שאלות מדע ברמת לימודים מתקדמים, הציונים הם 43.4%, 58.6% ו-84.3% 8. אלה התוצאות של Google עבור המודלים שלה.
מודלים קטנים גם עלולים להיתקע בחזרה על עצמם. כרטיס המודל של Qwen מזהיר שפענוח חמדני „עלול להוביל לירידה בביצועים ולחזרות אינסופיות” 7.
מדוע מודלים קטנים מעתיקים את הצורה של ההוראות שלהם?
מודלים קטנים נוטים לחקות את הצורה של prompt, נוסף על מעקב אחר תוכנו, ולכן prompt מערכת ארוך ומובנה עלול לחזור כמבנה בכל תשובה.
prompt שהורה למודל „להתחיל בתשובה הישירה, ואז להוסיף פרטים מועילים” הניב תשובות עם תוויות מודגשות „תשובה ישירה:” ו„פרטים מועילים:”. ההוראה נועדה להיות עצה לגבי התוכן; המודל התייחס אליה כתבנית.
כיצד פועלים מצבי חשיבה במודלים קטנים?
מצב חשיבה גורם למודל לכתוב את שלבי ההסקה הביניים לפני התשובה הסופית, תוך השקעת זמן וטוקנים נוספים כדי להפיק תוצאות זהירות יותר בבעיות רב-שלביות. גם Qwen3 וגם Gemma 4 מציעים אותו כמתג בתוך אותו מודל, ולא כמודל הסקה נפרד.
הרעיון מגיע מ-prompting של שרשרת מחשבה. מודלים קטנים חדשים יותר מאומנים להסיק, ובמקרה של Qwen3, חלק מהאימון נעשה באמצעות למידה מהמודלים הגדולים יותר שלו.
המתג הוא חלק מה-prompt. Qwen3 1.7B חושב כברירת מחדל וכותב את ההסקה שלו בתוך בלוק <think>…</think>; מפתחים מכבים את החשיבה באמצעות ההגדרה enable_thinking, ומשתמשים יכולים להוסיף /think או /no_think להודעה כדי לשנות מצב מתור לתור 7. Gemma 4 מפעיל חשיבה כאשר ה-prompt של המערכת שלו מתחיל בטוקן <|think|> 8.
חשיבה עולה בזמן ובהקשר, כי טוקני ההסקה הם חלק מהפלט של המודל ומשתמשים באותו חלון. ההסקה מופיעה לפני התשובה כאשר המודל מוגדר לחשוף אותה, אך ההתנהגות תלויה במודל וביישום.
כיצד Qwen3 1.7B, Gemma 4 E2B ו-Gemma 4 E4B משתווים?
השלושה נבדלים בגודל, בסוגי הקלט ובאורך ההקשר. ל-Qwen3 1.7B יש 1.7 מיליארד פרמטרים והוא מקבל טקסט בלבד; Google מציינת עבור Gemma 4 E2B ו-E4B בהתאמה 2.3 ו-4.5 מיליארד פרמטרים אפקטיביים, עם קלט של טקסט, תמונה ואודיו. שלושתם מופצים ברישיון Apache 2.0.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| מפתח | Alibaba (צוות Qwen) | Google DeepMind | Google DeepMind |
| פרמטרים | 1.7B, מתוכם 1.4B מחוץ ל-embeddings | 2.3B אפקטיביים, 5.1B כולל embeddings | 4.5B אפקטיביים, 8B כולל embeddings |
| שכבות | 28 | 35 | 42 |
| אורך הקשר | 32,768 טוקנים | 128K טוקנים | 128K טוקנים |
| קלט | טקסט | טקסט, תמונה, אודיו | טקסט, תמונה, אודיו |
| מצב חשיבה | כן, מופעל כברירת מחדל | כן | כן |
| רישיון | Apache 2.0 | Apache 2.0 | Apache 2.0 |
טבלה 1. מפרטים כפי שפורסמו בכרטיס המודל Qwen3-1.7B של Qwen ובכרטיס המודל Gemma 4 של Google, נבדקו ב-5 באוקטובר 2026 7 8.
מקורות
- Qwen. „Qwen3-1.7B.” כרטיס מודל ותצורה, Hugging Face. נצפה ב-5 באוקטובר 2026. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. „כרטיס המודל Gemma 4.” Google AI for Developers. נצפה ב-5 באוקטובר 2026. ai.google.dev/gemma/docs/core/model_card_4
מיישמים את המדריך הזה עם Ailoot
חברו מודלים של בינה מלאכותית ליישומים, לסוכנים ולאוטומציות שלכם באמצעות ממשק Ailoot API אחד. בחרו את המודל המתאים למשימה שלכם ופעלו לפי התיעוד של Ailoot כדי להתחיל.