Llama 3.1 70B Instruct הוא מודל הטקסט של Meta עם 70 מיליארד פרמטרים, המותאם לדיאלוג רב-לשוני ולבקשות דמויות עוזר. זוהי נקודת ביקורת מכווננת להוראות במשפחה הכוללת גם גדלים של 8B ו-405B ומודלים נפרדים שעברו קדם-אימון. הוא מקבל טקסט ומחזיר טקסט רב-לשוני או קוד; מהדורת 70B בעלת השם המוגדר שומרת על גודלה וזהותה.
מידע על המודל והאימון
המהדורה משתמשת בארכיטקטורת Transformer אוטורגרסיבית עם קשב בשאילתות מקובצות. המודלים המכווננים מותאמים באמצעות כוונון מונחה ולמידת חיזוק עם משוב אנושי. אלה שלבי אימון להתנהגות שיחה מועילה, ואינם מתג זמן ריצה בעל שם בין מצבי הסקה וללא הסקה נפרדים.
היצרן מתעד הקשר של 128k למודלי הטקסט ותומך רשמית באנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית. האימון כולל אוסף שפות רחב יותר, שאינו הופך כל שפה לנתמכת באותה מידה. ציינו את שפת הפלט, המינוח והקורא לפני בקשת תוצר רב-לשוני.
קורפוס קדם-האימון של המשפחה מתואר ככולל כ-15 טריליון טוקנים, עם מועד סיום בדצמבר 2023. הכוונון כולל מערכי נתוני הוראות ויותר מ-25 מיליון דוגמאות סינתטיות. מועד הסיום הוא גבול נתוני אימון; שאלה התלויה במידע חדש יותר או פרטי דורשת שהמידע הזה יסופק במשימה או יוחזר ממקור מחובר.
צ׳אט דמוי עוזר וניתוח מקורות
מהדורת Instruct מיועדת להשיב לבקשה בשיחה, בעוד שהגרסה שעברה קדם-אימון היא בסיס שאפשר להתאים למשימות יצירה אחרות. לתשובה המבוססת על מקור, ספקו את השאלה ואת הקטעים הקובעים את התוצאה. תייגו את המקורות ובקשו את הסעיף או האמירה התומכים לצד כל ממצא.
השוואה מעשית יכולה לספק שני נהלים ולבקש תנאים משותפים, הבדלים וסתירות שלא נפתרו. מדריך המתקבל ממנה יכול לשמור על הרצף המקורי ועל התנאים שבהם כל פעולה חלה. משימת עריכת מסמך יכולה לציין את קהל היעד, את העובדות שחייבות להישמר והאם התוצר הסופי צריך להיות רק קטע מתוקן או קטע עם הסבר.
לתשובה ארוכה יותר, ציינו את הסעיפים הדרושים ואת מטרת כל אחד. הקשר גדול יכול לשמר חומר קשור יחד, בעוד שהתוצאה הסופית נשארת מטריצה או הסבר תמציתיים. זהויות המקורות ושאלה מוגדרת היטב חשובות יותר מהכללה פשוטה של כל מסמך זמין.
קוד ודוגמאות שנוצרו
הפלט המתועד כולל קוד. למימוש מוצע, ספקו את השפה, סוגי הקלט, התוצאה הצפויה והממשק שחייב להישאר תואם. כללו את הקטע הקיים ואת ההצהרות הרלוונטיות כאשר המשימה היא תיקון. בקשו את הקוד בנפרד מההנחות ומהדוגמאות שלו, כדי ששלב הפיתוח הבא יוכל לבחון אותו.
להסבר קוד, ספקו את הקלט שיש לעקוב אחריו ושאלו כיצד הפונקציה שסופקה מגיעה לערך המוחזר. להסבר מתמטי, הגדירו סמלים והנחות וציינו האם התוצאה צריכה להיות מדויקת, מקורבת או הוכחה. יצירת קוד והסקה כתובה אינן מהדרות בעצמן תוכנית או מבצעות חישוב.
היצרן מציין גם יצירת נתונים סינתטיים וזיקוק כשימושים במשפחה. משימת טקסט יכולה לבקש דוגמאות מגוונות בפורמט מוגדר, תוך שימור הכללים שסופקו. התאמת הדוגמאות האלה להמשך אימון היא החלטה נפרדת של היישום; פלט הטקסט לבדו אינו אימות עצמאי של נכונותן.
פורמט שיחה וכלים
הכרטיס מדגים הודעות מערכת ומשתמש נפרדות עם תבנית הצ׳אט המתאימה. השתמשו בהוראת המערכת לתפקיד, לטון ולכללי תשובה מתמשכים, ואילו בקשת המשתמש מכילה את הבעיה והמקורות בפועל. שמרו הודעות קודמות רלוונטיות בעת בקשת המשך הנבנית על תשובה קודמת.
Llama 3.1 תומך בכמה פורמטים מתועדים לשימוש בכלים. היישום מספק את הפונקציות והפרמטרים, המודל מכין קריאה מוצעת, היישום מבצע אותה ומוסיף את תוצאתה לשיחה. יצירה מאוחרת יותר יכולה להשתמש בתוצאה הזאת. הדוגמה הקצרה בכרטיס מציגה במפורש הוספה של קריאת העוזר ולאחריה תוצאת הכלי; בחירת פונקציה נפרדת מהשלמת הפעולה שלה.
לחיפוש, ציינו איזה מידע דרוש והגדירו את הפונקציה המחזירה אותו. שמרו על הערך שהוחזר בפועל לצד הקריאה המקורית לפני בקשת ההסבר הסופי. לחישוב, הבחינו בין הפעולה שהמודל מציע ובין התוצאה שמחזיר המחשבון. עיצוב כלים מובנה והייצוג הגלוי של ממשק מעטפת צריכים לשמר כל אחד את המוסכמות המתועדות שלו.
המהדורה והמגבלות המעשיות
הגדרת היצירה של 256 טוקנים בכרטיס שנקרא היא דוגמת שימוש ולא קיבולת פלט מרבית המוצהרת באופן עצמאי. הקשר 128k נוגע לחומר ולשיחה שנוצרת במסגרת המהדורה המוגדרת. אין להחליף אותו בהקשר או ביכולות החזותיות של Llama 4 או בגודל של נקודת ביקורת אחרת של Llama 3.1.
זהו מודל Instruct לטקסט בלבד. תמונה, הקלטה או וידאו דורשים הכנה של התוכן הרלוונטי באמצעות רכיב אחר. אחזור חיצוני, הרצת תוכניות ושינויי קבצים שייכים גם הם ליישום המחובר לעוזר. שמרו על מהדורת 70B Instruct המדויקת ובקשו את ההסבר המקושר למקורות, המסמך המתוקן, הקוד או הטקסט המובנה הדרושים למשימה.
", "aboutText": "Llama 3.1 70B Instruct הוא מודל הטקסט של Meta עם 70 מיליארד פרמטרים, המותאם לדיאלוג רב-לשוני ולבקשות דמויות עוזר. זוהי נקודת ביקורת מכווננת להוראות במשפחה הכוללת גם גדלים של 8B ו-405B ומודלים נפרדים שעברו קדם-אימון. הוא מקבל טקסט ומחזיר טקסט רב-לשוני או קוד; מהדורת 70B בעלת השם המוגדר שומרת על גודלה וזהותה.\n\nמידע על המודל והאימון\n\nהמהדורה משתמשת בארכיטקטורת Transformer אוטורגרסיבית עם קשב בשאילתות מקובצות. המודלים המכווננים מותאמים באמצעות כוונון מונחה ולמידת חיזוק עם משוב אנושי. אלה שלבי אימון להתנהגות שיחה מועילה, ואינם מתג זמן ריצה בעל שם בין מצבי הסקה וללא הסקה נפרדים.\n\nהיצרן מתעד הקשר של 128k למודלי הטקסט ותומך רשמית באנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית. האימון כולל אוסף שפות רחב יותר, שאינו הופך כל שפה לנתמכת באותה מידה. ציינו את שפת הפלט, המינוח והקורא לפני בקשת תוצר רב-לשוני.\n\nקורפוס קדם-האימון של המשפחה מתואר ככולל כ-15 טריליון טוקנים, עם מועד סיום בדצמבר 2023. הכוונון כולל מערכי נתוני הוראות ויותר מ-25 מיליון דוגמאות סינתטיות. מועד הסיום הוא גבול נתוני אימון; שאלה התלויה במידע חדש יותר או פרטי דורשת שהמידע הזה יסופק במשימה או יוחזר ממקור מחובר.\n\nצ׳אט דמוי עוזר וניתוח מקורות\n\nמהדורת Instruct מיועדת להשיב לבקשה בשיחה, בעוד שהגרסה שעברה קדם-אימון היא בסיס שאפשר להתאים למשימות יצירה אחרות. לתשובה המבוססת על מקור, ספקו את השאלה ואת הקטעים הקובעים את התוצאה. תייגו את המקורות ובקשו את הסעיף או האמירה התומכים לצד כל ממצא.\n\nהשוואה מעשית יכולה לספק שני נהלים ולבקש תנאים משותפים, הבדלים וסתירות שלא נפתרו. מדריך המתקבל ממנה יכול לשמור על הרצף המקורי ועל התנאים שבהם כל פעולה חלה. משימת עריכת מסמך יכולה לציין את קהל היעד, את העובדות שחייבות להישמר והאם התוצר הסופי צריך להיות רק קטע מתוקן או קטע עם הסבר.\n\nלתשובה ארוכה יותר, ציינו את הסעיפים הדרושים ואת מטרת כל אחד. הקשר גדול יכול לשמר חומר קשור יחד, בעוד שהתוצאה הסופית נשארת מטריצה או הסבר תמציתיים. זהויות המקורות ושאלה מוגדרת היטב חשובות יותר מהכללה פשוטה של כל מסמך זמין.\n\nקוד ודוגמאות שנוצרו\n\nהפלט המתועד כולל קוד. למימוש מוצע, ספקו את השפה, סוגי הקלט, התוצאה הצפויה והממשק שחייב להישאר תואם. כללו את הקטע הקיים ואת ההצהרות הרלוונטיות כאשר המשימה היא תיקון. בקשו את הקוד בנפרד מההנחות ומהדוגמאות שלו, כדי ששלב הפיתוח הבא יוכל לבחון אותו.\n\nלהסבר קוד, ספקו את הקלט שיש לעקוב אחריו ושאלו כיצד הפונקציה שסופקה מגיעה לערך המוחזר. להסבר מתמטי, הגדירו סמלים והנחות וציינו האם התוצאה צריכה להיות מדויקת, מקורבת או הוכחה. יצירת קוד והסקה כתובה אינן מהדרות בעצמן תוכנית או מבצעות חישוב.\n\nהיצרן מציין גם יצירת נתונים סינתטיים וזיקוק כשימושים במשפחה. משימת טקסט יכולה לבקש דוגמאות מגוונות בפורמט מוגדר, תוך שימור הכללים שסופקו. התאמת הדוגמאות האלה להמשך אימון היא החלטה נפרדת של היישום; פלט הטקסט לבדו אינו אימות עצמאי של נכונותן.\n\nפורמט שיחה וכלים\n\nהכרטיס מדגים הודעות מערכת ומשתמש נפרדות עם תבנית הצ׳אט המתאימה. השתמשו בהוראת המערכת לתפקיד, לטון ולכללי תשובה מתמשכים, ואילו בקשת המשתמש מכילה את הבעיה והמקורות בפועל. שמרו הודעות קודמות רלוונטיות בעת בקשת המשך הנבנית על תשובה קודמת.\n\nLlama 3.1 תומך בכמה פורמטים מתועדים לשימוש בכלים. היישום מספק את הפונקציות והפרמטרים, המודל מכין קריאה מוצעת, היישום מבצע אותה ומוסיף את תוצאתה לשיחה. יצירה מאוחרת יותר יכולה להשתמש בתוצאה הזאת. הדוגמה הקצרה בכרטיס מציגה במפורש הוספה של קריאת העוזר ולאחריה תוצאת הכלי; בחירת פונקציה נפרדת מהשלמת הפעולה שלה.\n\nלחיפוש, ציינו איזה מידע דרוש והגדירו את הפונקציה המחזירה אותו. שמרו על הערך שהוחזר בפועל לצד הקריאה המקורית לפני בקשת ההסבר הסופי. לחישוב, הבחינו בין הפעולה שהמודל מציע ובין התוצאה שמחזיר המחשבון. עיצוב כלים מובנה והייצוג הגלוי של ממשק מעטפת צריכים לשמר כל אחד את המוסכמות המתועדות שלו.\n\nהמהדורה והמגבלות המעשיות\n\nהגדרת היצירה של 256 טוקנים בכרטיס שנקרא היא דוגמת שימוש ולא קיבולת פלט מרבית המוצהרת באופן עצמאי. הקשר 128k נוגע לחומר ולשיחה שנוצרת במסגרת המהדורה המוגדרת. אין להחליף אותו בהקשר או ביכולות החזותיות של Llama 4 או בגודל של נקודת ביקורת אחרת של Llama 3.1.\n\nזהו מודל Instruct לטקסט בלבד. תמונה, הקלטה או וידאו דורשים הכנה של התוכן הרלוונטי באמצעות רכיב אחר. אחזור חיצוני, הרצת תוכניות ושינויי קבצים שייכים גם הם ליישום המחובר לעוזר. שמרו על מהדורת 70B Instruct המדויקת ובקשו את ההסבר המקושר למקורות, המסמך המתוקן, הקוד או הטקסט המובנה הדרושים למשימה.", "editorialOverlay": { "copy_fields": { "practical_html": "דוגמה טכנית באנגלית
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct הוא מודל הטקסט של Meta לדיאלוג רב-לשוני, להסקה על מסמכים ולקוד. מהדורת 70B המכווננת להוראות משתמשת בקשב בשאילתות מקובצות, בהקשר יצרן של 128k ובפורמטי שיחה מתועדים לקריאות לכלים, עם פלט טקסט וקוד.
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
Llama 3.1 70B Instruct הוא מודל הטקסט של Meta עם 70 מיליארד פרמטרים, המותאם לדיאלוג רב-לשוני ולבקשות דמויות עוזר. זוהי נקודת ביקורת מכווננת להוראות במשפחה הכוללת גם גדלים של 8B ו-405B ומודלים נפרדים שעברו קדם-אימון. הוא מקבל טקסט ומחזיר טקסט רב-לשוני או קוד; מהדורת 70B בעלת השם המוגדר שומרת על גודלה וזהותה.
מידע על המודל והאימון
המהדורה משתמשת בארכיטקטורת Transformer אוטורגרסיבית עם קשב בשאילתות מקובצות. המודלים המכווננים מותאמים באמצעות כוונון מונחה ולמידת חיזוק עם משוב אנושי. אלה שלבי אימון להתנהגות שיחה מועילה, ואינם מתג זמן ריצה בעל שם בין מצבי הסקה וללא הסקה נפרדים.
היצרן מתעד הקשר של 128k למודלי הטקסט ותומך רשמית באנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית. האימון כולל אוסף שפות רחב יותר, שאינו הופך כל שפה לנתמכת באותה מידה. ציינו את שפת הפלט, המינוח והקורא לפני בקשת תוצר רב-לשוני.
קורפוס קדם-האימון של המשפחה מתואר ככולל כ-15 טריליון טוקנים, עם מועד סיום בדצמבר 2023. הכוונון כולל מערכי נתוני הוראות ויותר מ-25 מיליון דוגמאות סינתטיות. מועד הסיום הוא גבול נתוני אימון; שאלה התלויה במידע חדש יותר או פרטי דורשת שהמידע הזה יסופק במשימה או יוחזר ממקור מחובר.
צ׳אט דמוי עוזר וניתוח מקורות
מהדורת Instruct מיועדת להשיב לבקשה בשיחה, בעוד שהגרסה שעברה קדם-אימון היא בסיס שאפשר להתאים למשימות יצירה אחרות. לתשובה המבוססת על מקור, ספקו את השאלה ואת הקטעים הקובעים את התוצאה. תייגו את המקורות ובקשו את הסעיף או האמירה התומכים לצד כל ממצא.
השוואה מעשית יכולה לספק שני נהלים ולבקש תנאים משותפים, הבדלים וסתירות שלא נפתרו. מדריך המתקבל ממנה יכול לשמור על הרצף המקורי ועל התנאים שבהם כל פעולה חלה. משימת עריכת מסמך יכולה לציין את קהל היעד, את העובדות שחייבות להישמר והאם התוצר הסופי צריך להיות רק קטע מתוקן או קטע עם הסבר.
לתשובה ארוכה יותר, ציינו את הסעיפים הדרושים ואת מטרת כל אחד. הקשר גדול יכול לשמר חומר קשור יחד, בעוד שהתוצאה הסופית נשארת מטריצה או הסבר תמציתיים. זהויות המקורות ושאלה מוגדרת היטב חשובות יותר מהכללה פשוטה של כל מסמך זמין.
קוד ודוגמאות שנוצרו
הפלט המתועד כולל קוד. למימוש מוצע, ספקו את השפה, סוגי הקלט, התוצאה הצפויה והממשק שחייב להישאר תואם. כללו את הקטע הקיים ואת ההצהרות הרלוונטיות כאשר המשימה היא תיקון. בקשו את הקוד בנפרד מההנחות ומהדוגמאות שלו, כדי ששלב הפיתוח הבא יוכל לבחון אותו.
להסבר קוד, ספקו את הקלט שיש לעקוב אחריו ושאלו כיצד הפונקציה שסופקה מגיעה לערך המוחזר. להסבר מתמטי, הגדירו סמלים והנחות וציינו האם התוצאה צריכה להיות מדויקת, מקורבת או הוכחה. יצירת קוד והסקה כתובה אינן מהדרות בעצמן תוכנית או מבצעות חישוב.
היצרן מציין גם יצירת נתונים סינתטיים וזיקוק כשימושים במשפחה. משימת טקסט יכולה לבקש דוגמאות מגוונות בפורמט מוגדר, תוך שימור הכללים שסופקו. התאמת הדוגמאות האלה להמשך אימון היא החלטה נפרדת של היישום; פלט הטקסט לבדו אינו אימות עצמאי של נכונותן.
פורמט שיחה וכלים
הכרטיס מדגים הודעות מערכת ומשתמש נפרדות עם תבנית הצ׳אט המתאימה. השתמשו בהוראת המערכת לתפקיד, לטון ולכללי תשובה מתמשכים, ואילו בקשת המשתמש מכילה את הבעיה והמקורות בפועל. שמרו הודעות קודמות רלוונטיות בעת בקשת המשך הנבנית על תשובה קודמת.
Llama 3.1 תומך בכמה פורמטים מתועדים לשימוש בכלים. היישום מספק את הפונקציות והפרמטרים, המודל מכין קריאה מוצעת, היישום מבצע אותה ומוסיף את תוצאתה לשיחה. יצירה מאוחרת יותר יכולה להשתמש בתוצאה הזאת. הדוגמה הקצרה בכרטיס מציגה במפורש הוספה של קריאת העוזר ולאחריה תוצאת הכלי; בחירת פונקציה נפרדת מהשלמת הפעולה שלה.
לחיפוש, ציינו איזה מידע דרוש והגדירו את הפונקציה המחזירה אותו. שמרו על הערך שהוחזר בפועל לצד הקריאה המקורית לפני בקשת ההסבר הסופי. לחישוב, הבחינו בין הפעולה שהמודל מציע ובין התוצאה שמחזיר המחשבון. עיצוב כלים מובנה והייצוג הגלוי של ממשק מעטפת צריכים לשמר כל אחד את המוסכמות המתועדות שלו.
המהדורה והמגבלות המעשיות
הגדרת היצירה של 256 טוקנים בכרטיס שנקרא היא דוגמת שימוש ולא קיבולת פלט מרבית המוצהרת באופן עצמאי. הקשר 128k נוגע לחומר ולשיחה שנוצרת במסגרת המהדורה המוגדרת. אין להחליף אותו בהקשר או ביכולות החזותיות של Llama 4 או בגודל של נקודת ביקורת אחרת של Llama 3.1.
זהו מודל Instruct לטקסט בלבד. תמונה, הקלטה או וידאו דורשים הכנה של התוכן הרלוונטי באמצעות רכיב אחר. אחזור חיצוני, הרצת תוכניות ושינויי קבצים שייכים גם הם ליישום המחובר לעוזר. שמרו על מהדורת 70B Instruct המדויקת ובקשו את ההסבר המקושר למקורות, המסמך המתוקן, הקוד או הטקסט המובנה הדרושים למשימה.
POST /v1/chat/completionstexttext| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות meta-llama/llama-3.1-70b-instruct | ברירת מחדל— |
שדהmessages | סוגmessage[] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 | ברירת מחדל— |
שדהmessages[].role | סוגstring | דרישהחובה | ערכים ומגבלות דוגמאות: system, user, assistant, tool, function תנאים: התפקידים האלה מיוצגים במפורש בטיפוסי התאימות בקוד המקור; מערך התפקידים המדויק נשאר ייחודי לכל מודל. תלוי במודל | ברירת מחדל— |
שדהmessages[].content | סוגstring|content_part[]|null | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].tool_calls | סוגtool_call[] | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].tool_call_id | סוגstring | דרישהרשות | ערכים ומגבלות חל כאשר: role=tool; השתמשו במזהה שהוחזר בפועל | ברירת מחדל— |
שדהmessages[].name | סוגstring | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].reasoning_content | סוגstring | דרישהרשות | ערכים ומגבלות חל כאשר: החזירו בהמשך את ההנמקה שהתקבלה בפועל כאשר המודל הזה משתמש בה | ברירת מחדל— |
שדהmessages[].reasoning_details | סוגobject|array | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהmax_tokens | סוגinteger | דרישהרשות | ערכים ומגבלות מינימום: 1 תלוי במודל | ברירת מחדל— |
שדהmax_completion_tokens | סוגinteger | דרישהרשות | ערכים ומגבלות מינימום: 1 תלוי במודל | ברירת מחדל— |
שדהstream | סוגboolean | דרישהרשות | ערכים ומגבלות | ברירת מחדלfalse |
שדהstream_options.include_usage | סוגboolean | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtemperature | סוגnumber | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtop_p | סוגnumber | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהstop | סוגstring|string[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtools | סוגfunction_tool[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtools[].type | סוגstring | דרישהרשות | ערכים ומגבלות function תלוי במודל | ברירת מחדל— |
שדהtools[].function.name | סוגstring | דרישהחובה | ערכים ומגבלות חל כאשר: סופק כלי פונקציה | ברירת מחדל— |
שדהtools[].function.description | סוגstring | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהtools[].function.parameters | סוגJSON_schema | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהtool_choice | סוגstring|object | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהparallel_tool_calls | סוגboolean | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהresponse_format | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהreasoning_effort | סוגstring | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהreasoning | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהservice_tier | סוגstring | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהinstructions | סוגstring | דרישהרשות | ערכים ומגבלות שדה תאימות | ברירת מחדל— |
שדהfunctions | סוגfunction[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהfunction_call | סוגstring|object | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהprompt_cache_options | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהmodalities | סוגstring[] | דרישהרשות | ערכים ומגבלות text | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה במסלול הטקסט הזה של Ultra | ברירת מחדל— |
שדהcache_control.ttl | סוגstring | דרישהרשות | ערכים ומגבלות תנאים: 1h נדחה במיקומים המשמשים בפועל למטמון הנחיות | ברירת מחדל— |
טקסט · טקסט UTF8
messages[].content
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, messages |
פרמטרmaterial_types | מפרטtext |
פרמטרmessages | מפרטמערך הודעות במבנה role/content |
פרמטרfile_material | מפרטמסמך UTF-8 בפועל מוכנס כטקסט מילולי; לא מוסק מזהה קובץ |
פרמטרoptional_controls | מפרטstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
פרמטרcontrol_scope | מפרטייחודי למודל; כלי פונקציות של המשתמש שונים מכלים מתארחים |
פרמטרoutput_modalities | מפרטtext |
פרמטרhosted_operations | מפרטfalse |
פרמטרmultimodal_input_binding | מפרטnull |
מחזור חיים: synchronous_or_streamed
שלחו את מזהה המודל המדויק עם messages.
אורך ההקשר אינו תקרת פלט.
קובץ טקסט יכול לספק טקסט מילולי; קלטי תמונה/אודיו/אובייקט קובץ דורשים קישור מדויק.
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.
| תצורה | טבלת תעריפים | טוקנים בהקשר, יותר מ- | טוקנים בהקשר, עד וכולל | חיוב |
|---|---|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | טוקנים בהקשר, יותר מ-— | טוקנים בהקשר, עד וכוללללא גבול עליון | חיוב קלט · טוקני קלט $0.00144 / 1K טוקנים פלט · טוקני פלט $0.00144 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
| תצורהרמת אורך בקשה 1 | טבלת תעריפים— | טוקנים בהקשר, יותר מ-0 | טוקנים בהקשר, עד וכוללללא גבול עליון | חיוב קלט · טוקני קלט $0.00144 / 1K טוקנים פלט · טוקני פלט $0.00144 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson או SSE
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל בחירה ואת התוכן, קריאות הכלים וההנמקה שלה. ב-SSE הרכיבו עדכונים לפי אינדקס הבחירה/הכלי ושמרו את סיבת הסיום הסופית ואת השימוש.
שמרו מזהי בקשות/תגובות וכותרות. לא מסופק URL כללי לאחזור משימת טקסט.
| שדה | סוג |
|---|---|
שדהchoices[].index | סוגinteger |
שדהchoices[].message.content | סוגstring|null |
שדהchoices[].message.tool_calls | סוגtool_call[] |
שדהchoices[].message.reasoning_content | סוגstring |
שדהchoices[].message.reasoning_details | סוגobject|array |
שדהchoices[].finish_reason | סוגstring|null |
שדהusage | סוגobject |
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
השתמשו בנתיבי השיטות המוצגים למעלה.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct הוא מודל הטקסט של Meta לדיאלוג רב-לשוני, להסקה על מסמכים ולקוד. מהדורת 70B המכווננת להוראות משתמשת בקשב בשאילתות מקובצות, בהקשר יצרן של 128k ובפורמטי שיחה מתועדים לקריאות לכלים, עם פלט טקסט וקוד.
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
Llama 3.1 70B Instruct הוא מודל הטקסט של Meta עם 70 מיליארד פרמטרים, המותאם לדיאלוג רב-לשוני ולבקשות דמויות עוזר. זוהי נקודת ביקורת מכווננת להוראות במשפחה הכוללת גם גדלים של 8B ו-405B ומודלים נפרדים שעברו קדם-אימון. הוא מקבל טקסט ומחזיר טקסט רב-לשוני או קוד; מהדורת 70B בעלת השם המוגדר שומרת על גודלה וזהותה.
מידע על המודל והאימון
המהדורה משתמשת בארכיטקטורת Transformer אוטורגרסיבית עם קשב בשאילתות מקובצות. המודלים המכווננים מותאמים באמצעות כוונון מונחה ולמידת חיזוק עם משוב אנושי. אלה שלבי אימון להתנהגות שיחה מועילה, ואינם מתג זמן ריצה בעל שם בין מצבי הסקה וללא הסקה נפרדים.
היצרן מתעד הקשר של 128k למודלי הטקסט ותומך רשמית באנגלית, גרמנית, צרפתית, איטלקית, פורטוגזית, הינדי, ספרדית ותאית. האימון כולל אוסף שפות רחב יותר, שאינו הופך כל שפה לנתמכת באותה מידה. ציינו את שפת הפלט, המינוח והקורא לפני בקשת תוצר רב-לשוני.
קורפוס קדם-האימון של המשפחה מתואר ככולל כ-15 טריליון טוקנים, עם מועד סיום בדצמבר 2023. הכוונון כולל מערכי נתוני הוראות ויותר מ-25 מיליון דוגמאות סינתטיות. מועד הסיום הוא גבול נתוני אימון; שאלה התלויה במידע חדש יותר או פרטי דורשת שהמידע הזה יסופק במשימה או יוחזר ממקור מחובר.
צ׳אט דמוי עוזר וניתוח מקורות
מהדורת Instruct מיועדת להשיב לבקשה בשיחה, בעוד שהגרסה שעברה קדם-אימון היא בסיס שאפשר להתאים למשימות יצירה אחרות. לתשובה המבוססת על מקור, ספקו את השאלה ואת הקטעים הקובעים את התוצאה. תייגו את המקורות ובקשו את הסעיף או האמירה התומכים לצד כל ממצא.
השוואה מעשית יכולה לספק שני נהלים ולבקש תנאים משותפים, הבדלים וסתירות שלא נפתרו. מדריך המתקבל ממנה יכול לשמור על הרצף המקורי ועל התנאים שבהם כל פעולה חלה. משימת עריכת מסמך יכולה לציין את קהל היעד, את העובדות שחייבות להישמר והאם התוצר הסופי צריך להיות רק קטע מתוקן או קטע עם הסבר.
לתשובה ארוכה יותר, ציינו את הסעיפים הדרושים ואת מטרת כל אחד. הקשר גדול יכול לשמר חומר קשור יחד, בעוד שהתוצאה הסופית נשארת מטריצה או הסבר תמציתיים. זהויות המקורות ושאלה מוגדרת היטב חשובות יותר מהכללה פשוטה של כל מסמך זמין.
קוד ודוגמאות שנוצרו
הפלט המתועד כולל קוד. למימוש מוצע, ספקו את השפה, סוגי הקלט, התוצאה הצפויה והממשק שחייב להישאר תואם. כללו את הקטע הקיים ואת ההצהרות הרלוונטיות כאשר המשימה היא תיקון. בקשו את הקוד בנפרד מההנחות ומהדוגמאות שלו, כדי ששלב הפיתוח הבא יוכל לבחון אותו.
להסבר קוד, ספקו את הקלט שיש לעקוב אחריו ושאלו כיצד הפונקציה שסופקה מגיעה לערך המוחזר. להסבר מתמטי, הגדירו סמלים והנחות וציינו האם התוצאה צריכה להיות מדויקת, מקורבת או הוכחה. יצירת קוד והסקה כתובה אינן מהדרות בעצמן תוכנית או מבצעות חישוב.
היצרן מציין גם יצירת נתונים סינתטיים וזיקוק כשימושים במשפחה. משימת טקסט יכולה לבקש דוגמאות מגוונות בפורמט מוגדר, תוך שימור הכללים שסופקו. התאמת הדוגמאות האלה להמשך אימון היא החלטה נפרדת של היישום; פלט הטקסט לבדו אינו אימות עצמאי של נכונותן.
פורמט שיחה וכלים
הכרטיס מדגים הודעות מערכת ומשתמש נפרדות עם תבנית הצ׳אט המתאימה. השתמשו בהוראת המערכת לתפקיד, לטון ולכללי תשובה מתמשכים, ואילו בקשת המשתמש מכילה את הבעיה והמקורות בפועל. שמרו הודעות קודמות רלוונטיות בעת בקשת המשך הנבנית על תשובה קודמת.
Llama 3.1 תומך בכמה פורמטים מתועדים לשימוש בכלים. היישום מספק את הפונקציות והפרמטרים, המודל מכין קריאה מוצעת, היישום מבצע אותה ומוסיף את תוצאתה לשיחה. יצירה מאוחרת יותר יכולה להשתמש בתוצאה הזאת. הדוגמה הקצרה בכרטיס מציגה במפורש הוספה של קריאת העוזר ולאחריה תוצאת הכלי; בחירת פונקציה נפרדת מהשלמת הפעולה שלה.
לחיפוש, ציינו איזה מידע דרוש והגדירו את הפונקציה המחזירה אותו. שמרו על הערך שהוחזר בפועל לצד הקריאה המקורית לפני בקשת ההסבר הסופי. לחישוב, הבחינו בין הפעולה שהמודל מציע ובין התוצאה שמחזיר המחשבון. עיצוב כלים מובנה והייצוג הגלוי של ממשק מעטפת צריכים לשמר כל אחד את המוסכמות המתועדות שלו.
המהדורה והמגבלות המעשיות
הגדרת היצירה של 256 טוקנים בכרטיס שנקרא היא דוגמת שימוש ולא קיבולת פלט מרבית המוצהרת באופן עצמאי. הקשר 128k נוגע לחומר ולשיחה שנוצרת במסגרת המהדורה המוגדרת. אין להחליף אותו בהקשר או ביכולות החזותיות של Llama 4 או בגודל של נקודת ביקורת אחרת של Llama 3.1.
זהו מודל Instruct לטקסט בלבד. תמונה, הקלטה או וידאו דורשים הכנה של התוכן הרלוונטי באמצעות רכיב אחר. אחזור חיצוני, הרצת תוכניות ושינויי קבצים שייכים גם הם ליישום המחובר לעוזר. שמרו על מהדורת 70B Instruct המדויקת ובקשו את ההסבר המקושר למקורות, המסמך המתוקן, הקוד או הטקסט המובנה הדרושים למשימה.
POST /v1/messagestextjson, sse| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות meta-llama/llama-3.1-70b-instruct | ברירת מחדל— |
שדהmessages | סוגmessage[] | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].role | סוגstring | דרישהחובה | ערכים ומגבלות user, assistant | ברירת מחדל— |
שדהmessages[].content | סוגstring | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהmax_tokens | סוגinteger | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהstream | סוגboolean | דרישהרשות | ערכים ומגבלות | ברירת מחדלfalse |
טקסט · טקסט UTF-8
מחרוזת messages[].content
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, messages, max_tokens |
פרמטרoptional_controls | מפרטstream |
פרמטרmaterial_types | מפרטtext |
פרמטרtext_file_material | מפרטקראו את מסמך UTF-8 בפועל והכניסו את הטקסט שלו לקלט שצוין או למחרוזת תוכן ההודעה. |
מחזור חיים: synchronous_or_streamed
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
התאימו כל חיוב לתנאים המוצגים. השתמשו בתעריף אחד לכל קבוצה של תצורות חלופיות.
| תצורה | טבלת תעריפים | טוקנים בהקשר, יותר מ- | טוקנים בהקשר, עד וכולל | חיוב |
|---|---|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | טוקנים בהקשר, יותר מ-— | טוקנים בהקשר, עד וכוללללא גבול עליון | חיוב קלט · טוקני קלט $0.00144 / 1K טוקנים פלט · טוקני פלט $0.00144 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
| תצורהרמת אורך בקשה 1 | טבלת תעריפים— | טוקנים בהקשר, יותר מ-0 | טוקנים בהקשר, עד וכוללללא גבול עליון | חיוב קלט · טוקני קלט $0.00144 / 1K טוקנים פלט · טוקני פלט $0.00144 / 1K טוקנים קלט · קריאה מהמטמון — / 1K טוקנים קלט · כתיבה למטמון — / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON או SSE
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו את כל בלוקי התוכן, חתימות החשיבה ומזהי השימוש בכלים בפועל. הרכיבו את כל עדכוני הבלוקים של SSE; בלוק הטקסט הראשון אינו הפלט המלא.
שמרו מזהי בקשות/תגובות וכותרות. לא מסופק URL כללי לאחזור משימת טקסט.
| שדה | סוג |
|---|---|
שדהid | סוגstring |
שדהmodel | סוגstring |
שדהcontent[] | סוגtext|thinking|tool_use|other content block |
שדהstop_reason | סוגstring|null |
שדהusage | סוגobject |
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
השתמשו בנתיבי השיטות המוצגים למעלה.
דוגמה טכנית באנגלית
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.