# כיצד להעריך נתב LLM לסביבת ייצור

> מדריך המבוסס על מקורות להערכת החלטות ניתוב, שינויים בסוגי משימות, השפעות מטמון של פרומפטים, יכולת ניטור, פרטי גישה והטמעה בסביבת ייצור.

Source: https://ailoot.ai/blog/he/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/he/evaluate-llm-router-production/
Language: he
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-c780358bcbb44c6728924a217d136c2d9223fb7fe8a104274c429a37f458b7d1


## איך בוחרים אחד לעומס העבודה שלכם?

**1. תעדו את השדות שקובעים הכול:** עבור כל קריאה: מודל, אסימוני קלט, אסימוני קלט מהמטמון, אסימוני כתיבה למטמון, אסימוני פלט, זמן השהיה, סוג המשימה, והאם התוצאה התקבלה או שהקריאה בוצעה שוב. שדה הקלט מהמטמון הוא זה שצוותים נוטים לדלג עליו, והוא שקובע אם ניתוב יכול לעזור לכם בכלל. שבוע של איסוף נתונים כזה דורש אחר צהריים של הוספת מדידה.

**2. חשבו את תקרת החיסכון לפני שאתם מתחילים לחפש:** החיסכון המרבי הוא S = f x (1 - r), כאשר f הוא שיעור הקריאות שאפשר להעביר ממודל חזית (frontier), ו-r הוא עלות המודל הזול כחלק מעלות מודל החזית. את שניהם אפשר לחשב על סמך שלב אחד. במקום זאת, השקיעו את הזמן במטמון פרומפטים, בנקודות קצה לעיבוד באצווה ובעוצמת החשיבה.

**3. בנו מערך זהב מהתעבורה שלכם, לפי סוג משימה:** חמישים עד מאתיים בקשות אמיתיות עם תוצאות ידועות כתקינות, שנדגמו מהיומנים שלכם במקום להיכתב ידנית. זהו התוצר שהופך כל שיחה מאוחרת יותר עם ספק למוחשית. בלעדיו, אתם משווים חומרי שיווק.

**4. בדקו את שני התנאים שמנבאים את ההתנהגות בסביבת ייצור:** ראשית, הריצו את הנתב במצב צל על תעבורה חיה והשוו את ההוצאה בניתוב לקו בסיס של שימוש במודלי חזית בלבד, שתומחר כשהמטמון חם — זו ההשוואה ההוגנת היחידה. שנית, וזה השלב שאיש אינו מבצע, השאירו מחוץ לבדיקה סוג משימה שהנתב מעולם לא ראה ומדדו את ביצועיו בו. סעיף 2 מסביר מדוע. נתב שנראה תקין במערך הכיול שלכם אך קורס בתחום תכונות חדש לא יודיע לכם על כך.

**5. התנו את ההשקה בתוצאות ההערכה, והמשיכו להריץ אותה:** דרשו מהמודל הזול לעמוד ברף מוגדר בכל סוג משימה לפני שאפשר לנתב בקשות מאותו סוג. לאחר מכן המשיכו להריץ את הבדיקה, כי גרסאות המודלים משתנות, ונתב שכּויל במרץ מתאר מערך מודלים שכבר אינו קיים.

## מה מבדיל נתב LLM לסביבת ייצור מהדגמה?

### 1. אופטימליות, ולא נתון החיסכון הבולט

נתון חיסכון ללא נתון איכות לצדו הוא רק חצי משפט.

אופטימליות היא המדד שאיש אינו משווק, והיא זו שקובעת את החשבון שלכם. היא בוחנת באיזו תדירות הנתב בחר במודל הזול ביותר שעדיין ענה נכון. נתב יכול להציג נתון דיוק טוב ובו בזמן לבזבז כסף.

בקשו מכל ספק להציג את יחס הבחירה האופטימלית. אם הוא אינו מסוגל לספק אותו, הוא לא מדד את הדבר שאתם קונים.

### 2. עמידות כשהמשימה משתנה

קנו נתב שראה תעבורה הדומה לשלכם, ודרשו לראות תוצאה על התפלגות שלא כוונן לפיה.

### 3. מה הוא עושה כשהמטמון חם

נתב טוב רק כמו המנגנון שמתחתיו.

[Anthropic מפרסמת את המכפילים](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): קריאת מטמון עולה 0.1x מעלות קלט בסיסית, כתיבה למטמון לחמש דקות עולה 1.25x, וכתיבה לשעה עולה 2x. לכן מעבר בין מודלים עולה בערך פי שנים-עשר מהעלות של הישארות באותו מודל עם אותו קידומת, והעלות משתלמת רק אם המודל החדש משמר את הסשן.

אין כאן סתירה. הספק משאיר את הקידומת שנטשתם חמה, ולכן החזרה אליה זולה; החלק היקר הוא הכתיבה במודל שעברתם אליו. האם העסקה משתלמת תלוי באורך הקידומות שלכם ובתדירות החזרה אליהן. איש אינו יכול לענות על כך עבורכם, וזו בדיוק הנקודה.

### 4. היכן נמצא גבול הניתוב

נתב שמקבל החלטה מחדש בכל תור מקבל החלטה בלי שיש בידיו את המידע הדרוש, ומשלם על כתיבה למטמון בכל פעם שהוא משנה את דעתו.

גבולות ניתוב טובים הם כאלה שהסשן אינו חוצה בחזרה: תת-משימה שלמה, שלב מובחן או משימת רקע.

### 5. האם אפשר לראות את ההחלטה ולדרוס אותה

כשהאיכות של הפלט יורדת, מהנדס צריך לענות במהירות על שאלה אחת: האם המודל השתנה, או שאני שיניתי אותו? נתב שמתעד באיזה מודל בחר, למה וכמה זה עלה, מאפשר לנפות באגים. נתב שלא עושה זאת הוא מקור לרגרסיות מסתוריות.

עמדו על כך שיהיה שדה מודל לכל בקשה, שדה עלות לכל בקשה ואפשרות לדרוס את הבחירה.

### 6. היקף הפגיעה, כי הנתב מחזיק את המפתחות שלכם

מטבעו, נתב נמצא במסלול של פרטי הגישה. יש לו מפתחות ספק, ובפריסה באירוח עצמי עשויים להיות לו גם פרטי גישה לענן. לכן הוא רכיב קריטי בעל ערך גבוה. כשאתם מעריכים נתב, שאלו כיצד הוא מופץ, האם הגרסאות חתומות, האם מסלול הפריסה מקבע את התלויות, ולמה הוא יכול לגשת במחשב המארח. אירוח עצמי אינו בטוח יותר באופן אוטומטי מאירוח מנוהל; הוא חשוף בדרכים אחרות.

### 7. מי יהיה אחראי עליו בעוד שמונה עשר חודשים

לכן כדאי לשאול בשיחת ההערכה מהי מפת הדרכים תחת הבעלות הנוכחית, ומהו מסלול ההעברה אם הפיתוח ייפסק.

## מתי לא כדאי להשתמש בנתב LLM?

**כשהתעבורה שלכם קשה באותה מידה לכל אורכה:** החיסכון מניתוב תלוי במידת השונות בתעבורה שלכם, ולא במידת התחכום של הנתב.

## מה עושים מכאן?

עכשיו יש לכם שתי שאלות שמבדילות בין נתב שיעבוד לנתב שיֵראה טוב בהדגמה: מהו יחס הבחירה האופטימלית שלו, ומה קורה כשהמשימה משתנה.

התחילו בשלב הראשון. הוסיפו ליומני הבקשות שלכם את מספר אסימוני הקלט מהמטמון ואת סוג המשימה, והשאירו את איסוף הנתונים פעיל למשך שבוע. השדה היחיד הזה הוא ההבדל בין ערך f אמיתי לניחוש.

## שאלות נפוצות

### מהו נתב LLM?

נתב LLM הוא שכבת החלטה בין האפליקציה שלכם למאגר מודלים, ששולחת כל בקשה למודל שסביר ביותר שישלים אותה באופן קביל בעלות הנמוכה ביותר. נתבים שלפני יצירת הפלט מקבלים החלטה על סמך הפרומפט בלבד; נתבים מדורגים מאפשרים למודל זול לענות תחילה, ומעבירים את הבקשה הלאה למודל חזק יותר אם מעריך דוחה את התשובה. כיום רוב מערכות הייצור משלבות את שתי הגישות.

### האם נתבי LLM באמת חוסכים כסף?

כן, אבל הרבה פחות מכפי שנתוני הכותרת מרמזים, והסכום תלוי בתעבורה שלכם ולא בנתב. חשבו את S = f x (1 - r) מתוך היומנים שלכם לפני שאתם מאמינים לנתון כלשהו של ספק.

### מה ההבדל בין נתב LLM לשער AI?

שער מספק נקודת קצה אחת, מעבר אוטומטי במקרה כשל, ניהול מפתחות, תקציבים ויכולת ניטור אצל ספקים רבים. נתב מחליט איזה מודל יטפל בבקשה מסוימת. כיום רוב השערים כוללים נתב, אבל מדובר בשתי יכולות נפרדות.

### האם אפשר לבנות נתב LLM משלי במקום לקנות אחד?

אפשר, ועבודת המדידה זהה בשני המקרים, לכן בצעו תחילה את שלבים אחת עד שלוש בסדר שלמעלה. אם אתם בונים נתב, התחילו בטבלת חיפוש לפי סוג משימה. הוסיפו מסווג נלמד רק כשהוכח בבירור שקו הבסיס הזה אינו מספיק.

### האם מעבר בין מודלים פוגע במטמון הפרומפטים?

המעבר כרוך בעלות כתיבה למטמון במודל החדש, בתעריף של 1.25x מעלות קלט בסיסית עבור TTL של חמש דקות, לעומת 0.1x עבור הקריאה שננטשה. התועלת תלויה באורך הקידומת ובתדירות החזרה אליה, לכן מדדו זאת בתעבורה שלכם.

## השתמשו במדריך הזה עם Ailoot

חברו מודלי AI לאפליקציות, לסוכנים ולאוטומציות שלכם דרך API יחיד של Ailoot. בחרו את המודל שמתאים למשימה שלכם ופעלו לפי [התיעוד של Ailoot](https://ailoot.ai/docs/) כדי להתחיל.


## Ailoot · החברה ופורטפוליו הפרויקטים שלה

Ailoot נשענת על ניסיון תפעולי מצטבר, בסיס לקוחות רחב, שירות יציב ובקרה שוטפת של KPI.

החברה ופורטפוליו הפרויקטים שלה: מיליוני לקוחות; מכירות בהיקף של מיליארדים מדי חודש.

Ailoot משתמשת בניסיון התפעולי הזה כדי לספק גישת API ליכולות AI במוצרי לקוחות, בסוכנים, באפליקציות ובאוטומציות.
