בלוג

מהו ניתוב LLM?

Markdown

כיצד ניתוב LLM בוחר מודלים לפי דרישות הבקשה, עלות, איכות, השהיה, הקשר ומדיניות.

ניתוב LLM הוא הנוהג לשלוח כל בקשת AI למודל ולספק המתאימים לה ביותר, במקום לקבע כל קריאה למודל יחיד. נתב מעריך את הבקשה בהתאם למטרות, לעלות, לאיכות, להשהיה, לאורך ההקשר ולמדיניות שלכם, ושולח אותה לאפשרות המתאימה ביותר.

רוב הצוותים מתחילים בחיבור ישיר של האפליקציה שלהם לספק אחד, בדרך כלל OpenAI. זה עובד עד שזה מפסיק לעבוד: מודל זול יותר יכול לטפל ב־60% מהתעבורה שלכם באותה מידה, ספק חווה השבתה, בקשה זקוקה לחלון הקשר ארוך יותר, או שעומס עבודה מפוקח אינו יכול לצאת מתחום שיפוט מסוים. נתב פותר את כל אלה מאחורי נקודת קצה אחת.

איך ניתוב LLM עובד

מכוונים את ה־SDK הקיים שלכם, התואם ל־OpenAI, אל הנתב במקום אל הספק. עבור כל בקשה, הנתב:

  1. בונה קבוצת מועמדים של מודלים שיכולים לטפל בבקשה (יכולות, חלון הקשר וזמינות מתאימים).
  2. מדרג את המועמדים לפי היעד שלכם, למשל "האפשרות הזולה ביותר שעומדת ברף איכות מינימלי" או "ההשהיה הנמדדת הנמוכה ביותר".
  3. מחיל אילוצים כמו תקציבים, ספקים מותרים, ריבונות נתונים ורשימות מודלים מותרים לכל מפתח.
  4. שולח ועובר לחלופה: אם הבחירה הראשונה נכשלת או שפג הזמן הקצוב, הנתב מנסה אוטומטית את המועמד הבא בדירוג.

למה צוותים מנתבים במקום לקבע מודל

  • עלות. נתבו בקשות פשוטות למודלים זולים ושמרו מודלים מובחרים לבקשות שזקוקות להם.
  • אמינות. מעבר אוטומטי בין ספקים פירושו שהשבתה אצל ספק אחד אינה משביתה את המוצר שלכם.
  • גמישות. החליפו מודלים או הוסיפו אותם בלי להפיץ קוד, מכיוון שהניתוב מוגדר במדיניות ולא באפליקציה שלכם.
  • ממשל. אכפו תקציבים, ריבונות נתונים ורפי איכות באופן מרכזי במקום בכל שירות בנפרד.

ניתוב לעומת חלופה פשוטה

חלופה ("אם OpenAI נכשל, נסו את Anthropic") היא הצורה הבסיסית ביותר של ניתוב, אך ניתוב אמיתי מבצע אופטימיזציה לכל בקשה, ולא רק במקרה של כשל, ובוחר מראש את האפשרות הטובה ביותר לפי עלות ואיכות, ולא רק כשמשהו משתבש.

יישמו את המדריך הזה עם Ailoot

חברו מודלי AI לאפליקציות, לסוכנים ולאוטומציות שלכם באמצעות API יחיד של Ailoot. בחרו את המודל המתאים למשימה שלכם ופעלו לפי התיעוד של Ailoot כדי להתחיל.