# הסבר על ניתוב מודלי AI

> מסביר מה עושה ניתוב מודלים, כיצד מתקבלות החלטות ניתוב, כיצד לבצע ביקורת למחסנית ניתוב ואילו גורמים יש להביא בחשבון בבחירת גישת ניתוב.

Source: https://ailoot.ai/blog/he/ai-model-routing-explained/
Canonical: https://ailoot.ai/blog/he/ai-model-routing-explained/
Language: he
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100070
Revision: sha256-36f277da95e84fd1744911d9bbefd0bef095d30fab732338220a65227178813e


ניתוב מודלי AI מאפשר לשלוח הנחיות למודלי שפה גדולים שונים דרך API יחיד. נתב LLM בוחר איזה מודל יטפל בכל בקשה על סמך עלות, מהירות או יכולת. זה נשמע פשוט, אבל רוב הצוותים אינם מבינים לאן הנתונים שלהם מגיעים בפועל.

## מהו ניתוב מודלי AI?

ניתוב מודלי AI הוא שליחת הנחיות ל-LLM-ים שונים דרך ממשק אחיד אחד. במקום לקבע בקוד מודל יחיד, היישום שלכם שולח כל בקשה לשכבת ניתוב. הנתב מחליט איזה מודל יטפל בכל הנחיה.

חשבו על כך כעל מאזן עומסים למודלי שפה. מאזן עומסים באינטרנט מפזר תעבורה בין שרתים. נתב LLM מפזר הנחיות בין מודלים של ספקים שונים.

הנתב יכול לבחור מודלים לפי עלות, זמן השהיה, אורך הקשר או יכולת. יש נתבים שמאפשרים לכם להגדיר כללים. אחרים משתמשים באלגוריתמים כדי לבחור את המודל הזול ביותר שעומד ברף איכות.

- נקודת קצה אחת של API מחליפה שילובים עם ספקים מרובים
- הנתב בוחר את המודל לפי כללים שהגדרתם או לפי ברירות מחדל שהוא בוחר
- ניתוב חלופי שולח הנחיה למודל גיבוי אם המודל הראשון נכשל
- ניתוב מבוסס עלות בוחר את המודל הזול ביותר שעומד בסף איכות
- רוב הנתבים מאחדים את פורמט ה-API, כך שמעבר בין מודלים אינו דורש שינויי קוד

נתב LLM מעניק לכם גמישות, אך פירוש הדבר גם שייתכן שלא תדעו איזה מודל טיפל בבקשה מסוימת בלי לבדוק זאת.

<div id="why-companies-use-routers" class="section">

## למה חברות משתמשות בנתבי LLM

חברות משתמשות בנתבי LLM משלוש סיבות עיקריות: חיסכון בעלויות, מעבר אוטומטי בעת כשל וניסויים. כל אחת מהסיבות מוצדקת. הבעיה היא שרוב הצוותים עוצרים כאן ואינם שואלים לאן הנתונים שלהם מגיעים בפועל.

העלות היא המניע העיקרי. מודלים שונים גובים מחירים שונים לכל טוקן. נתב שבוחר את המודל הזול ביותר למשימות פשוטות ושומר את המודלים היקרים למשימות קשות יכול לצמצם את ההוצאה על טוקנים .

מעבר אוטומטי בעת כשל הוא הסיבה השנייה. אם ספק יוצא מכלל פעולה, הנתב יכול לשלוח את ההנחיות לספק אחר. היישום שלכם נשאר פעיל ללא התערבות ידנית.

ניסויים הם הסיבה השלישית. צוותים רוצים לבדוק מודלים חדשים בלי לשנות את קוד הייצור. נתב מאפשר להם לבדוק מודלים במבחני A/B מאחורי API יציב.

- חיסכון בעלויות: ניתוב משימות פשוטות למודלים זולים ומשימות קשות ליקרים
- מעבר אוטומטי בעת כשל: מעבר אוטומטי כשספק חווה השבתה
- גמישות מול ספקים: בדיקת מודלים חדשים בלי לכתוב מחדש את קוד האינטגרציה
- רישום מאוחד: מקום אחד לצפייה בכל השימוש במודלים אצל ספקים שונים
- ניהול מגבלות קצב: פיזור התעבורה בין ספקים כדי להימנע מהגבלת קצב

חיסכון בעלויות ומעבר אוטומטי בעת כשל הם יתרונות ממשיים, אך הם אינם מצדיקים התעלמות מהשאלה לאן הנתונים שלכם נשלחים.

<div id="routing-tool-landscape" class="section">

## התמונה המלאה של כלי ניתוב AI

שוק כלי הניתוב מתחלק לשלוש קטגוריות: זירות מסחר מתארחות, פרוקסי בקוד פתוח ושערים של ספקי ענן. כל קטגוריה מטפלת במיקום הנתונים ובבחירת המודל באופן שונה.

## כיצד מתקבלות החלטות ניתוב

החלטות ניתוב מתקבלות באחת מארבע דרכים: בחירה ידנית, ניתוב מבוסס כללים, מיטוב עלויות או ניתוב מבוסס איכות. השיטה שבה משתמש הכלי שלכם קובעת אם יש לכם שליטה על המקום שאליו הנתונים נשלחים.

בחירה ידנית פירושה שאתם בוחרים את המודל לכל בקשה. רוב הכלים תומכים בכך כאפשרות גיבוי.

ניתוב מבוסס כללים מאפשר לכם להגדיר תנאים. לדוגמה, לנתב משימות תכנות למודל מתאים ושאלות פשוטות למודל זול. הכללים מפורשים, ולכן אפשר להחריג ספקים או מודלים מסוימים.

מיטוב עלויות מנתב בקשה למודל הזול ביותר שעומד בסף היכולת.

- ידני: אתם מציינים את המודל בכל קריאת API
- מבוסס כללים: אתם מגדירים תנאים שממפים סוגי משימות למודלים
- מיטוב עלויות: הנתב בוחר אוטומטית את המודל הזול ביותר שעומד בתנאים
- מבוסס איכות: הנתב משווה ביצועים של מודלים ובוחר את המודל בעל הציון הגבוה ביותר למשימה
- שרשראות גיבוי: הנתב מנסה מודלים לפי הסדר עד שאחד מהם מצליח

<div id="compliance-blind-spot" class="section">

## כיצד לבצע ביקורת למחסנית ניתוב ה-AI שלכם

ביקורת מתחילה בשאלה אחת: לאילו מודלים כלי הניתוב שלכם יכול לשלוח נתונים כרגע? אם אינכם יכולים לענות על כך, יש לכם פער.

שלב ראשון: רשמו כל נקודת קצה של מודל שהנתב שלכם מוגדר להשתמש בה.

שלב שני: עבור כל מודל, זהו את ספק האירוח ואת מיקום עיבוד הנתונים.

שלב שלישי: השוו את מיקומי עיבוד הנתונים לדרישות התאימות שלכם.

שלב רביעי: חסמו או הסירו מודלים שמפרים את הדרישות שלכם. לאחר מכן הגדירו ניטור שיזהה שינויים בהגדרות.

- רשמו כל נקודת קצה של מודל שהנתב שלכם יכול להגיע אליה
- זהו את מיקום עיבוד הנתונים עבור כל מודל
- חסמו מודלים שאינם תואמים ותעדו את ההחלטה
- עקבו אחר שינויים בהגדרות כדי שמודלים חסומים לא יתווספו מחדש

<div id="choosing-the-right-routing-tool" class="section">

## כיצד לבחור את כלי הניתוב המתאים

הכלי המתאים תלוי במצב התאימות שלכם, ביכולת ההנדסית ובמידת השליטה שאתם זקוקים לה על זרימת הנתונים. אין תשובה אחת שמתאימה לכולם.

אם אתם פועלים בענף מפוקח, התחילו בכלים שמציעים בקרות על מיקום הנתונים כברירת מחדל.

אם אתם זקוקים לגמישות מרבית ויש לכם צוות DevOps חזק, שכבת ניתוב באירוח עצמי מעניקה לכם שליטה מלאה, משום שאתם מארחים ומגדירים בעצמכם כל נקודת קצה. אבל מידת השליטה הזו טובה רק כמו המשמעת שלכם בניהול ההגדרות.

## שאלות נפוצות

## יישמו את המדריך הזה עם Ailoot

חברו מודלי AI ליישומים, לסוכנים ולאוטומציות שלכם דרך API יחיד של Ailoot. בחרו את המודל המתאים למשימה שלכם ופעלו לפי [התיעוד של Ailoot](https://ailoot.ai/docs/) כדי להתחיל.


## Ailoot · החברה ופורטפוליו הפרויקטים שלה

Ailoot נשענת על ניסיון תפעולי מצטבר, בסיס לקוחות רחב, שירות יציב ובקרה שוטפת של KPI.

החברה ופורטפוליו הפרויקטים שלה: מיליוני לקוחות; מכירות בהיקף של מיליארדים מדי חודש.

Ailoot משתמשת בניסיון התפעולי הזה כדי לספק גישת API ליכולות AI במוצרי לקוחות, בסוכנים, באפליקציות ובאוטומציות.
