# מודלי שפה קטנים (SLM): סקירה מקיפה

> סקירה של מודלי שפה קטנים (SLM), לרבות אופן יצירתם, היתרונות והמגבלות שלהם, שימושים מעשיים, אפשרויות להפעלה במכשיר ושיטות לכוונון עדין.

Source: https://ailoot.ai/blog/he/small-language-models-comprehensive-overview/
Canonical: https://ailoot.ai/blog/he/small-language-models-comprehensive-overview/
Language: he
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100057
Revision: sha256-a135365768f9a1f547b796a585b820545f1124779a240876841dce30abce226b


השנים האחרונות היו מרתקות בתחום הבינה המלאכותית: מודלי שפה גדולים (LLMs) מדהימים את כולם ביכולותיהם ומפעילים כל דבר, מצ'אטבוטים ועד לעוזרי קוד. עם זאת, לא כל היישומים דורשים את הגודל והמורכבות העצומים של LLMs; כוח המחשוב הנדרש הופך אותם לבלתי מעשיים עבור מקרי שימוש רבים. זו הסיבה שמודלי שפה קטנים (SLMs) נכנסו לתמונה: הם הופכים מודלי AI רבי עוצמה לנגישים יותר באמצעות הקטנת גודלם.

נבחן מה הם SLMs, כיצד מקטינים אותם, מהם היתרונות והמגבלות שלהם, מהם השימושים שלהם בעולם האמיתי וכיצד אפשר להשתמש בהם במכשירים ניידים ובמחשבים שולחניים.

## מה הם מודלי שפה קטנים?

מודלי שפה קטנים (SLMs) הם גרסאות קלות משקל של מודלי שפה מסורתיים, שתוכננו לפעול ביעילות בסביבות מוגבלות במשאבים, כגון טלפונים חכמים, מערכות משובצות או מחשבים בעלי צריכת חשמל נמוכה. בעוד שלמודלי שפה גדולים יש מאות מיליארדים — ואפילו טריליונים — של פרמטרים, ל-SLMs יש בדרך כלל **1 מיליון עד 10 מיליארד פרמטרים**. הם קטנים משמעותית, אך עדיין שומרים על יכולות NLP מרכזיות כמו יצירת טקסט, סיכום, תרגום ומענה על שאלות.

> יש אנשי מקצוע שלא אוהבים את המונח "מודל שפה קטן", כי מיליארד פרמטרים אינם קטנים בשום מובן. הם מעדיפים את המונח "מודל שפה גדול קטן", שנשמע מסורבל. אבל הרוב בחרו במודל שפה קטן, ולכן זהו שמו של SLM. אגב, חשוב לזכור שהוא *קטן רק בהשוואה למודלים הגדולים.*

## איך מקטינים אותם?

תהליך הקטנתו של מודל שפה כולל כמה טכניקות שנועדו לצמצם את גודלו בלי לפגוע יותר מדי בביצועים:

1. **זיקוק ידע**: אימון מודל "תלמיד" קטן יותר באמצעות ידע שמועבר ממודל "מורה" גדול יותר.
2. **גיזום**: הסרת פרמטרים מיותרים או פחות חשובים בארכיטקטורת הרשת העצבית.
3. **קוונטיזציה**: הפחתת הדיוק של הערכים המספריים המשמשים בחישובים (למשל, המרת מספרים בנקודה צפה למספרים שלמים).

## דוגמאות למודלי שפה קטנים

צצו כמה מודלי שפה קטנים אך רבי עוצמה, שמוכיחים שגודל הוא לא הכול. הדוגמאות הבאות הן SLMs בעלי 1–4 מיליארד פרמטרים:

- **Llama3.2-1B** – גרסה עם *מיליארד פרמטרים* שפותחה על ידי Meta והותאמה למכשירי edge.
- [**Qwen2.5-1.5B**](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct) – מודל של Alibaba, שתוכנן ליישומים רב־לשוניים וכולל *1.5 מיליארד פרמטרים*.
- **DeepSeeek-R1-1.5B** - מודל ההסקה מהדור הראשון של DeepSeek, שזוקק מ-Qwen2.5 וכולל *1.5 מיליארד פרמטרים*.
- **SmolLM2-1.7B** – מבית HuggingFaceTB, מודל שפה "קטן" (*1.7 מיליארד פרמטרים*) מהמתקדמים ביותר, שאומן על מערכי נתונים פתוחים ייעודיים (FineMath, Stack-Edu ו-SmolTalk).
- **Phi-3.5-Mini-3.8B** – המודל הפתוח הקטן אך העוצמתי של Microsoft, עם *3.8 מיליארד פרמטרים*, שהותאם להסקה וליצירת קוד.
- **Gemma3-4B** - מודל קל אך רב עוצמה עם *4 מיליארד פרמטרים*, שפותח על ידי Google DeepMind והוא רב־לשוני ורב־מודאלי.

הנה עוד מודלי שפה קטנים וחזקים יותר שזמינים כיום: **Mistral 7B**, **Gemma 9B** ו-**Phi-4 14B** (אם כי אני לא בטוח אם Phi-4 עם 14 מיליארד פרמטרים עדיין נחשב "קטן", אבל הוא כל כך מסוגל :)

## היתרונות של מודלי שפה קטנים

- **דרישות מחשוב נמוכות** – אפשר להריץ אותם במחשבים ניידים לשימוש אישי, במכשירי edge ובטלפונים ניידים.
- **צריכת אנרגיה נמוכה יותר** – מודלים יעילים מפחיתים את צריכת החשמל, ולכן ידידותיים יותר לסביבה.
- **הסקה מהירה יותר** – מודלים קטנים יותר מפיקים תשובות במהירות ומתאימים ליישומים בזמן אמת.
- **AI במכשיר** – אין צורך בחיבור לאינטרנט או בשירותי ענן, דבר שמשפר את הפרטיות והאבטחה.
- **פריסה זולה יותר** – עלויות נמוכות יותר של חומרה וענן הופכות את ה-AI לנגיש יותר לחברות הזנק ולמפתחים.
- **יכולת התאמה אישית**: אפשר לכוונן אותם בקלות למשימות בתחום מסוים (למשל, ניתוח מסמכים משפטיים).

## המגבלות של מודלי שפה קטנים

ל-SLMs יש יתרונות רבים, אך הם כרוכים גם בפשרות מסוימות:

- **תחום פעולה צר**: יכולת ההכללה מחוץ לתחום האימון שלהם מוגבלת (למשל, SLM רפואי מתקשה במשימות קידוד).
- **סיכוני הטיה**: מערכי נתונים קטנים יותר עלולים להגביר הטיות אם לא בוחרים אותם בקפידה.
- **מורכבות מופחתת**: מודלים קטנים יותר עלולים להתקשות במשימות מורכבות או עתירות ניואנסים, הדורשות הבנה עמוקה של ההקשר.
- **עמידות נמוכה יותר**: הם מועדים יותר לטעויות במצבים עמומים או כאשר הם נתקלים בקלטים עוינים.

## יישומים בעולם האמיתי של מודלי שפה קטנים

למרות המגבלות שלהם, ל-SLMs יש מגוון רחב של יישומים מעשיים:

1. **צ'אטבוטים ועוזרים וירטואליים**: יעילים מספיק כדי לפעול במכשירים ניידים ולספק אינטראקציה בזמן אמת.
2. **יצירת קוד**: מודלים כמו Phi-3.5 Mini מסייעים למפתחים בכתיבה ובניפוי שגיאות בקוד.
3. **תרגום שפות**: מודלים קלי משקל יכולים לספק תרגום במכשיר עבור מטיילים.
4. **סיכום ויצירת תוכן**: עסקים משתמשים ב-SLMs ליצירת טקסט שיווקי, פוסטים ברשתות חברתיות ודוחות.
5. **יישומים בתחום הבריאות**: AI במכשיר לבדיקת תסמינים ולמחקר רפואי.
6. **IoT ומחשוב edge**: הפעלת AI במכשירי בית חכם ללא תלות בענן.
7. **כלים חינוכיים**: מערכות הוראה יכולות להשתמש ב-SLMs כדי ליצור הסברים, חידונים ומשוב מותאמים אישית בזמן אמת.

## הפעלת מודלי שפה קטנים במכשירי edge

SLMs מביאים את כוח ה-AI ישירות לטלפון החכם שלכם (באמצעות PocketPal) או למחשב האישי שלכם (באמצעות Ollama), ומציעים גישה לא מקוונת, פרטיות משופרת והשהיה נמוכה יותר.

### SLMs במכשיר נייד עם PocketPal

למשתמשים שמעוניינים להתנסות ב-SLMs בעצמם, אפליקציית PocketPal AI מציעה דרך אינטואיטיבית לתקשר עם המודלים האלה ישירות בטלפון החכם, ללא צורך בחיבור לאינטרנט. בין שתרצו לנסח הודעות דוא"ל, לחשוב יחד על רעיונות או לקבל תשובות לשאלות מהירות, PocketPal מספקת ממשק נוח שמופעל באמצעות SLMs מותאמים. היכולות הלא מקוונות שלה מבטיחות שהשאילתות שלכם יישארו פרטיות.

**תכונות**

- סיוע AI לא מקוון: הריצו מודלי שפה ישירות במכשיר שלכם, ללא חיבור לאינטרנט.
- גמישות בבחירת מודלים: הורידו ועברו בין כמה SLMs - כמו Phi, Gemma, Qwen ואחרים.
- העברה וטעינה אוטומטיות: ניהול אוטומטי של הזיכרון באמצעות העברת מודלים ממנו כשהאפליקציה פועלת ברקע.
- הגדרות הסקה: התאימו אישית פרמטרים של המודל, כגון הנחיית המערכת, טמפרטורה, אסימון BOS ותבניות צ'אט.
- מדדי ביצועים בזמן אמת: צפו במספר האסימונים לשנייה ובמספר המילישניות לאסימון במהלך יצירת תשובה של ה-AI.

הורידו את PocketPal AI ב-[iOS](https://apps.apple.com/us/app/pocketpal-ai/id6502579498) וב-Android.

### הפעלת SLMs במחשב אישי עם Ollama

Ollama, כלי בקוד פתוח, מפשטת את פריסת ה-SLMs במחשבים אישיים:

- **ניהול מקומי**: הריצו מודלים כמו Llama3.2-1B או Phi-3.5 Mini בהגדרה מינימלית.
- **מיטוב GPU**: מנצלת GPUs ברמה צרכנית כדי להאיץ את ההסקה.
- **תהליכי עבודה מותאמים אישית**: שלבו SLMs בצינורות נתונים או בכלים יצירתיים (למשל, סקירות קוד אוטומטיות).

**תחילת העבודה עם Ollama:**

1. התקינו את Ollama מ-[ollama.com](https://ollama.com)
2. פתחו את הטרמינל והורידו מודל:

```
ollama pull qwen2.5:1.5b
```

3. הריצו את המודל באופן אינטראקטיבי:

```
ollama run qwen2.5:1.5b
```

ההגדרה הזאת מאפשרת להפעיל באופן מקומי צ'אטבוטים, עוזרי קידוד וסיכום מסמכים מבוססי AI, ללא צורך בשירותי ענן.

## כוונון עדין של מודלי שפה קטנים

אחד ההיבטים המלהיבים ביותר של SLMs הוא יכולת ההתאמה שלהם באמצעות כוונון עדין. חשיפת SLM למערכי נתונים ייעודיים לתחום יכולה לשפר את הביצועים שלו ביישומים ייעודיים.

לדוגמה:

- כווננו מודל על מסמכים משפטיים כדי ליצור עוזר לניתוח חוזים.
- אמנו SLM על מדריכים טכניים כדי לבנות מדריך לפתרון תקלות עבור מהנדסים.

יש כמה דרכים לכוונן SLM:

1. כוונון עדין מלא – אימון מחדש של כל הפרמטרים באמצעות נתונים חדשים (דורש משאבי מחשוב משמעותיים).
2. LoRA (התאמה בדרגה נמוכה) – כוונון עדין של כמה שכבות בלבד, כך שהתהליך קל משקל ויעיל.
3. מתאמים וכוונון הנחיות – הוספת שכבות נוספות או מיטוב הנחיות כדי להנחות את תגובות המודל.

דוגמה: כוונון עדין באמצעות LoRA עם ספריית `peft` של Hugging Face:

```
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...
```

כוונון עדין לא רק משפר את הדיוק, אלא גם מבטיח שהמודל יותאם היטב לדרישות הייחודיות שלכם.

## מסקנה

מודלי שפה קטנים (SLMs) הם צעד חשוב לקראת AI יעיל, נגיש וחסכוני. הם מספקים פתרונות מעשיים לעסקים, למפתחים ולחוקרים שמחפשים AI רב עוצמה בלי נטל המחשוב הכבד של LLMs.

בעזרת כלים כמו **Ollama** למחשבים אישיים ו**אפשרויות כוונון עדין** להתאמה אישית, SLMs משנים את עולם ה-AI — והופכים אותו לאישי יותר, פרטי יותר וזמין לכולם.

בואו לגלות כיצד AI קומפקטי יכול לשנות את הפרויקטים שלנו.

### מקורות

סקירה של מודלי שפה קטנים (מאמר מחקר)

## הפכו את המדריך הזה למעשי עם Ailoot

חברו מודלי AI ליישומים, לסוכנים ולאוטומציות שלכם באמצעות API אחד של Ailoot. בחרו את המודל המתאים למשימה שלכם ועקבו אחר [התיעוד של Ailoot](https://ailoot.ai/docs/) כדי להתחיל.


## Ailoot · החברה ופורטפוליו הפרויקטים שלה

Ailoot נשענת על ניסיון תפעולי מצטבר, בסיס לקוחות רחב, שירות יציב ובקרה שוטפת של KPI.

החברה ופורטפוליו הפרויקטים שלה: מיליוני לקוחות; מכירות בהיקף של מיליארדים מדי חודש.

Ailoot משתמשת בניסיון התפעולי הזה כדי לספק גישת API ליכולות AI במוצרי לקוחות, בסוכנים, באפליקציות ובאוטומציות.
