ERNIE 4.5 VL 424B-A47B הוא מודל השיחה של Baidu לראייה ושפה, שפותח ממודל ERNIE 4.5 VL Base המקביל. הוא משלב הוראות טקסטואליות עם חומר חזותי ומפיק תשובה בטקסט. רשת תערובת המומחים שלו כוללת 424 מיליארד פרמטרים בסך הכול, כאשר 47 מיליארד מופעלים לכל טוקן, והיצרן מפרסם אורך הקשר של 131,072 טוקנים.
מאפיינים עיקריים של ERNIE 4.5. המשפחה משתמשת בתכנון הטרוגני של תערובת מומחים, המשתף חלק מהידע בין שפה לראייה תוך שמירה על עיבוד ייעודי לכל מודליות. Baidu מתארת קדם־אימון רב־מודלי משותף, תשתית יעילה לאימון ולהסקה ואימון המשך המותאם למודליות המיועדת. במודל VL הדגש הוא על הבנת תמונות, הוראות חזותיות ייעודיות למשימה והסקה המחברת ראיות חזותיות לשפה. האימון שלו כולל כוונון מפוקח ולמידת חיזוק עם תגמולים הניתנים לאימות.
סקירת המודל. התצורה מציינת 54 שכבות, 64 ראשי קשב לשאילתות ו־8 ראשי מפתח/ערך, עם קבוצות מומחים נפרדות לטקסט ולראייה. בכל קבוצה מצוינים 64 מומחים ו־8 מומחים מופעלים. טבלת המודלים של היצרן מזהה טקסט, תמונה ווידאו כמודליות קלט למהדורה זו, וטקסט כפלט. ראו בפלט פרשנות של התוכן שסופק: תיאור, תשובה לשאלה חזותית או הסבר מנומק של מה שהחומר תומך בו.
הבנת תמונות. ספקו את התמונה המקורית ושאלה מפורשת. בעמוד מסמך, שמרו תוויות, כותרות עמודות ואת הטקסט סביב ערך השנוי במחלוקת, ואז בקשו שדות נבחרים עם מיקומם התומך בעמוד. בתרשים, ציינו אם המטרה היא להסביר את רכיביו, לעקוב אחר תהליך או להשוותו למפרט כתוב. בקשו מהמודל לדווח על התוויות הנראות לפני הסקת מסקנה, כדי שתוכלו לבדוק את התצפיות בנפרד מהפרשנות.
הסקה רב־מודלית. כאשר כמה תמונות תורמות לאותה משימה, תייגו את תפקידיהן והסבירו אילו פרטים יש להשוות. בקשה שימושית יכולה לצרף צילום מוצר למפרט שסופק ולבקש רשימה של התאמות גלויות, הבדלים ופרטים שהתמונה אינה יכולה לבסס. בחומר תלוי זמן, זהו את האירוע או השינוי שברצונכם להבין ובקשו רצף תצפיות הקשור לפריימים או לקטעים שסופקו. התוצר הסופי צריך לאפשר בדיקה קלה של הראיות שמאחורי שינוי נטען.
תשובות עם חשיבה ותשובות ישירות. Baidu מתארת מצבי חשיבה וללא חשיבה למודלי הראייה והשפה שלה. חשיבה משרתת משימות הדורשות ניתוח המשלב מידע חזותי וטקסטואלי; תשובה ישירה יכולה לשרת תיאור פשוט או שאלה חזותית פשוטה. ציינו בבירור את התוצאה הדרושה, למשל תשובה תמציתית, טבלת השוואה או הסבר עם תצפיות תומכות. בחירת המצב שייכת להגדרות ההפקה ולא לניסוח הרגיל של בקשת תמונה.
הכינו את החומר לפי השאלה. השתמשו בעמודים קריאים ובתצוגות רלוונטיות, הקפידו על עקביות בתוויות התמונות והשאירו בהקשר מקום לתשובת הטקסט המבוקשת. בקשו מהמודל לסמן טקסט בלתי קריא ולהפריד בין תכונות שהוסקו לבין פרטים גלויים. תמונה עשויה להראות תווית, צורה או סידור, בעוד שהתשובה זקוקה גם לכלל או למפרט שסופקו. אמתו ערכים קריטיים שחולצו מול המקור והשתמשו בתצוגה נוספת כאשר הראיות משאירות פרט חשוב ללא פתרון.
", "aboutText": "ERNIE 4.5 VL 424B-A47B הוא מודל השיחה של Baidu לראייה ושפה, שפותח ממודל ERNIE 4.5 VL Base המקביל. הוא משלב הוראות טקסטואליות עם חומר חזותי ומפיק תשובה בטקסט. רשת תערובת המומחים שלו כוללת 424 מיליארד פרמטרים בסך הכול, כאשר 47 מיליארד מופעלים לכל טוקן, והיצרן מפרסם אורך הקשר של 131,072 טוקנים.\n\nמאפיינים עיקריים של ERNIE 4.5. המשפחה משתמשת בתכנון הטרוגני של תערובת מומחים, המשתף חלק מהידע בין שפה לראייה תוך שמירה על עיבוד ייעודי לכל מודליות. Baidu מתארת קדם־אימון רב־מודלי משותף, תשתית יעילה לאימון ולהסקה ואימון המשך המותאם למודליות המיועדת. במודל VL הדגש הוא על הבנת תמונות, הוראות חזותיות ייעודיות למשימה והסקה המחברת ראיות חזותיות לשפה. האימון שלו כולל כוונון מפוקח ולמידת חיזוק עם תגמולים הניתנים לאימות.\n\nסקירת המודל. התצורה מציינת 54 שכבות, 64 ראשי קשב לשאילתות ו־8 ראשי מפתח/ערך, עם קבוצות מומחים נפרדות לטקסט ולראייה. בכל קבוצה מצוינים 64 מומחים ו־8 מומחים מופעלים. טבלת המודלים של היצרן מזהה טקסט, תמונה ווידאו כמודליות קלט למהדורה זו, וטקסט כפלט. ראו בפלט פרשנות של התוכן שסופק: תיאור, תשובה לשאלה חזותית או הסבר מנומק של מה שהחומר תומך בו.\n\nהבנת תמונות. ספקו את התמונה המקורית ושאלה מפורשת. בעמוד מסמך, שמרו תוויות, כותרות עמודות ואת הטקסט סביב ערך השנוי במחלוקת, ואז בקשו שדות נבחרים עם מיקומם התומך בעמוד. בתרשים, ציינו אם המטרה היא להסביר את רכיביו, לעקוב אחר תהליך או להשוותו למפרט כתוב. בקשו מהמודל לדווח על התוויות הנראות לפני הסקת מסקנה, כדי שתוכלו לבדוק את התצפיות בנפרד מהפרשנות.\n\nהסקה רב־מודלית. כאשר כמה תמונות תורמות לאותה משימה, תייגו את תפקידיהן והסבירו אילו פרטים יש להשוות. בקשה שימושית יכולה לצרף צילום מוצר למפרט שסופק ולבקש רשימה של התאמות גלויות, הבדלים ופרטים שהתמונה אינה יכולה לבסס. בחומר תלוי זמן, זהו את האירוע או השינוי שברצונכם להבין ובקשו רצף תצפיות הקשור לפריימים או לקטעים שסופקו. התוצר הסופי צריך לאפשר בדיקה קלה של הראיות שמאחורי שינוי נטען.\n\nתשובות עם חשיבה ותשובות ישירות. Baidu מתארת מצבי חשיבה וללא חשיבה למודלי הראייה והשפה שלה. חשיבה משרתת משימות הדורשות ניתוח המשלב מידע חזותי וטקסטואלי; תשובה ישירה יכולה לשרת תיאור פשוט או שאלה חזותית פשוטה. ציינו בבירור את התוצאה הדרושה, למשל תשובה תמציתית, טבלת השוואה או הסבר עם תצפיות תומכות. בחירת המצב שייכת להגדרות ההפקה ולא לניסוח הרגיל של בקשת תמונה.\n\nהכינו את החומר לפי השאלה. השתמשו בעמודים קריאים ובתצוגות רלוונטיות, הקפידו על עקביות בתוויות התמונות והשאירו בהקשר מקום לתשובת הטקסט המבוקשת. בקשו מהמודל לסמן טקסט בלתי קריא ולהפריד בין תכונות שהוסקו לבין פרטים גלויים. תמונה עשויה להראות תווית, צורה או סידור, בעוד שהתשובה זקוקה גם לכלל או למפרט שסופקו. אמתו ערכים קריטיים שחולצו מול המקור והשתמשו בתצוגה נוספת כאשר הראיות משאירות פרט חשוב ללא פתרון.", "editorialOverlay": { "copy_fields": { "practical_html": "דוגמה טכנית באנגלית
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B הוא מודל תערובת המומחים של Baidu לראייה ושפה, להבנת תמונות ולהסקה רב־מודלית. התצורה שפורסמה כוללת 424 מיליארד פרמטרים בסך הכול, 47 מיליארד פעילים לכל טוקן והקשר של 131,072 טוקנים; התשובות נוצרות כטקסט.
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
ERNIE 4.5 VL 424B-A47B הוא מודל השיחה של Baidu לראייה ושפה, שפותח ממודל ERNIE 4.5 VL Base המקביל. הוא משלב הוראות טקסטואליות עם חומר חזותי ומפיק תשובה בטקסט. רשת תערובת המומחים שלו כוללת 424 מיליארד פרמטרים בסך הכול, כאשר 47 מיליארד מופעלים לכל טוקן, והיצרן מפרסם אורך הקשר של 131,072 טוקנים.
מאפיינים עיקריים של ERNIE 4.5. המשפחה משתמשת בתכנון הטרוגני של תערובת מומחים, המשתף חלק מהידע בין שפה לראייה תוך שמירה על עיבוד ייעודי לכל מודליות. Baidu מתארת קדם־אימון רב־מודלי משותף, תשתית יעילה לאימון ולהסקה ואימון המשך המותאם למודליות המיועדת. במודל VL הדגש הוא על הבנת תמונות, הוראות חזותיות ייעודיות למשימה והסקה המחברת ראיות חזותיות לשפה. האימון שלו כולל כוונון מפוקח ולמידת חיזוק עם תגמולים הניתנים לאימות.
סקירת המודל. התצורה מציינת 54 שכבות, 64 ראשי קשב לשאילתות ו־8 ראשי מפתח/ערך, עם קבוצות מומחים נפרדות לטקסט ולראייה. בכל קבוצה מצוינים 64 מומחים ו־8 מומחים מופעלים. טבלת המודלים של היצרן מזהה טקסט, תמונה ווידאו כמודליות קלט למהדורה זו, וטקסט כפלט. ראו בפלט פרשנות של התוכן שסופק: תיאור, תשובה לשאלה חזותית או הסבר מנומק של מה שהחומר תומך בו.
הבנת תמונות. ספקו את התמונה המקורית ושאלה מפורשת. בעמוד מסמך, שמרו תוויות, כותרות עמודות ואת הטקסט סביב ערך השנוי במחלוקת, ואז בקשו שדות נבחרים עם מיקומם התומך בעמוד. בתרשים, ציינו אם המטרה היא להסביר את רכיביו, לעקוב אחר תהליך או להשוותו למפרט כתוב. בקשו מהמודל לדווח על התוויות הנראות לפני הסקת מסקנה, כדי שתוכלו לבדוק את התצפיות בנפרד מהפרשנות.
הסקה רב־מודלית. כאשר כמה תמונות תורמות לאותה משימה, תייגו את תפקידיהן והסבירו אילו פרטים יש להשוות. בקשה שימושית יכולה לצרף צילום מוצר למפרט שסופק ולבקש רשימה של התאמות גלויות, הבדלים ופרטים שהתמונה אינה יכולה לבסס. בחומר תלוי זמן, זהו את האירוע או השינוי שברצונכם להבין ובקשו רצף תצפיות הקשור לפריימים או לקטעים שסופקו. התוצר הסופי צריך לאפשר בדיקה קלה של הראיות שמאחורי שינוי נטען.
תשובות עם חשיבה ותשובות ישירות. Baidu מתארת מצבי חשיבה וללא חשיבה למודלי הראייה והשפה שלה. חשיבה משרתת משימות הדורשות ניתוח המשלב מידע חזותי וטקסטואלי; תשובה ישירה יכולה לשרת תיאור פשוט או שאלה חזותית פשוטה. ציינו בבירור את התוצאה הדרושה, למשל תשובה תמציתית, טבלת השוואה או הסבר עם תצפיות תומכות. בחירת המצב שייכת להגדרות ההפקה ולא לניסוח הרגיל של בקשת תמונה.
הכינו את החומר לפי השאלה. השתמשו בעמודים קריאים ובתצוגות רלוונטיות, הקפידו על עקביות בתוויות התמונות והשאירו בהקשר מקום לתשובת הטקסט המבוקשת. בקשו מהמודל לסמן טקסט בלתי קריא ולהפריד בין תכונות שהוסקו לבין פרטים גלויים. תמונה עשויה להראות תווית, צורה או סידור, בעוד שהתשובה זקוקה גם לכלל או למפרט שסופקו. אמתו ערכים קריטיים שחולצו מול המקור והשתמשו בתצוגה נוספת כאשר הראיות משאירות פרט חשוב ללא פתרון.
POST /v1/chat/completionstexttext| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות baidu/ernie-4.5-vl-424b-a47b | ברירת מחדל— |
שדהmessages | סוגmessage[] | דרישהחובה | ערכים ומגבלות מספר פריטים מזערי: 1 | ברירת מחדל— |
שדהmessages[].role | סוגstring | דרישהחובה | ערכים ומגבלות דוגמאות: system, user, assistant, tool, function תנאים: התפקידים האלה מיוצגים במפורש בטיפוסי התאימות בקוד המקור; מערך התפקידים המדויק נשאר ייחודי לכל מודל. תלוי במודל | ברירת מחדל— |
שדהmessages[].content | סוגstring|content_part[]|null | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].tool_calls | סוגtool_call[] | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].tool_call_id | סוגstring | דרישהרשות | ערכים ומגבלות חל כאשר: role=tool; השתמשו במזהה שהוחזר בפועל | ברירת מחדל— |
שדהmessages[].name | סוגstring | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].reasoning_content | סוגstring | דרישהרשות | ערכים ומגבלות חל כאשר: החזירו בהמשך את ההנמקה שהתקבלה בפועל כאשר המודל הזה משתמש בה | ברירת מחדל— |
שדהmessages[].reasoning_details | סוגobject|array | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהmax_tokens | סוגinteger | דרישהרשות | ערכים ומגבלות מינימום: 1 תלוי במודל | ברירת מחדל— |
שדהmax_completion_tokens | סוגinteger | דרישהרשות | ערכים ומגבלות מינימום: 1 תלוי במודל | ברירת מחדל— |
שדהstream | סוגboolean | דרישהרשות | ערכים ומגבלות | ברירת מחדלfalse |
שדהstream_options.include_usage | סוגboolean | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtemperature | סוגnumber | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtop_p | סוגnumber | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהstop | סוגstring|string[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtools | סוגfunction_tool[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהtools[].type | סוגstring | דרישהרשות | ערכים ומגבלות function תלוי במודל | ברירת מחדל— |
שדהtools[].function.name | סוגstring | דרישהחובה | ערכים ומגבלות חל כאשר: סופק כלי פונקציה | ברירת מחדל— |
שדהtools[].function.description | סוגstring | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהtools[].function.parameters | סוגJSON_schema | דרישהרשות | ערכים ומגבלות | ברירת מחדל— |
שדהtool_choice | סוגstring|object | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהparallel_tool_calls | סוגboolean | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהresponse_format | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהreasoning_effort | סוגstring | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהreasoning | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהservice_tier | סוגstring | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהinstructions | סוגstring | דרישהרשות | ערכים ומגבלות שדה תאימות | ברירת מחדל— |
שדהfunctions | סוגfunction[] | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהfunction_call | סוגstring|object | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהprompt_cache_options | סוגobject | דרישהרשות | ערכים ומגבלות תלוי במודל | ברירת מחדל— |
שדהmodalities | סוגstring[] | דרישהרשות | ערכים ומגבלות text | ברירת מחדל— |
שדהprovider | סוגobject | דרישהרשות | ערכים ומגבלות תנאים: provider.options נדחה במסלול הטקסט הזה של Ultra | ברירת מחדל— |
שדהcache_control.ttl | סוגstring | דרישהרשות | ערכים ומגבלות תנאים: 1h נדחה במיקומים המשמשים בפועל למטמון הנחיות | ברירת מחדל— |
טקסט · טקסט UTF8
messages[].content
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, messages |
פרמטרmaterial_types | מפרטtext |
פרמטרmessages | מפרטמערך הודעות במבנה role/content |
פרמטרfile_material | מפרטמסמך UTF-8 בפועל מוכנס כטקסט מילולי; לא מוסק מזהה קובץ |
פרמטרoptional_controls | מפרטstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
פרמטרcontrol_scope | מפרטייחודי למודל; כלי פונקציות של המשתמש שונים מכלים מתארחים |
פרמטרoutput_modalities | מפרטtext |
פרמטרhosted_operations | מפרטfalse |
פרמטרmultimodal_input_binding | מפרטnull |
מחזור חיים: synchronous_or_streamed
שלחו את מזהה המודל המדויק עם messages.
אורך ההקשר אינו תקרת פלט.
קובץ טקסט יכול לספק טקסט מילולי; קלטי תמונה/אודיו/אובייקט קובץ דורשים קישור מדויק.
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.000858 / 1K טוקנים פלט · טוקני פלט $0.00258 / 1K טוקנים קלט · קריאה מהמטמון $0 / 1K טוקנים קלט · כתיבה למטמון $0 / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-424b-a47b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson או SSE
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו כל בחירה ואת התוכן, קריאות הכלים וההנמקה שלה. ב-SSE הרכיבו עדכונים לפי אינדקס הבחירה/הכלי ושמרו את סיבת הסיום הסופית ואת השימוש.
שמרו מזהי בקשות/תגובות וכותרות. לא מסופק URL כללי לאחזור משימת טקסט.
| שדה | סוג |
|---|---|
שדהchoices[].index | סוגinteger |
שדהchoices[].message.content | סוגstring|null |
שדהchoices[].message.tool_calls | סוגtool_call[] |
שדהchoices[].message.reasoning_content | סוגstring |
שדהchoices[].message.reasoning_details | סוגobject|array |
שדהchoices[].finish_reason | סוגstring|null |
שדהusage | סוגobject |
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
השתמשו בנתיבי השיטות המוצגים למעלה.
baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B הוא מודל תערובת המומחים של Baidu לראייה ושפה, להבנת תמונות ולהסקה רב־מודלית. התצורה שפורסמה כוללת 424 מיליארד פרמטרים בסך הכול, 47 מיליארד פעילים לכל טוקן והקשר של 131,072 טוקנים; התשובות נוצרות כטקסט.
התיאור הזה מציג את יכולות המודל. הקלט, הפלט והאפשרויות הזמינים ב-Ailoot מפורטים בהמשך לפי השיטה שנבחרה.
ERNIE 4.5 VL 424B-A47B הוא מודל השיחה של Baidu לראייה ושפה, שפותח ממודל ERNIE 4.5 VL Base המקביל. הוא משלב הוראות טקסטואליות עם חומר חזותי ומפיק תשובה בטקסט. רשת תערובת המומחים שלו כוללת 424 מיליארד פרמטרים בסך הכול, כאשר 47 מיליארד מופעלים לכל טוקן, והיצרן מפרסם אורך הקשר של 131,072 טוקנים.
מאפיינים עיקריים של ERNIE 4.5. המשפחה משתמשת בתכנון הטרוגני של תערובת מומחים, המשתף חלק מהידע בין שפה לראייה תוך שמירה על עיבוד ייעודי לכל מודליות. Baidu מתארת קדם־אימון רב־מודלי משותף, תשתית יעילה לאימון ולהסקה ואימון המשך המותאם למודליות המיועדת. במודל VL הדגש הוא על הבנת תמונות, הוראות חזותיות ייעודיות למשימה והסקה המחברת ראיות חזותיות לשפה. האימון שלו כולל כוונון מפוקח ולמידת חיזוק עם תגמולים הניתנים לאימות.
סקירת המודל. התצורה מציינת 54 שכבות, 64 ראשי קשב לשאילתות ו־8 ראשי מפתח/ערך, עם קבוצות מומחים נפרדות לטקסט ולראייה. בכל קבוצה מצוינים 64 מומחים ו־8 מומחים מופעלים. טבלת המודלים של היצרן מזהה טקסט, תמונה ווידאו כמודליות קלט למהדורה זו, וטקסט כפלט. ראו בפלט פרשנות של התוכן שסופק: תיאור, תשובה לשאלה חזותית או הסבר מנומק של מה שהחומר תומך בו.
הבנת תמונות. ספקו את התמונה המקורית ושאלה מפורשת. בעמוד מסמך, שמרו תוויות, כותרות עמודות ואת הטקסט סביב ערך השנוי במחלוקת, ואז בקשו שדות נבחרים עם מיקומם התומך בעמוד. בתרשים, ציינו אם המטרה היא להסביר את רכיביו, לעקוב אחר תהליך או להשוותו למפרט כתוב. בקשו מהמודל לדווח על התוויות הנראות לפני הסקת מסקנה, כדי שתוכלו לבדוק את התצפיות בנפרד מהפרשנות.
הסקה רב־מודלית. כאשר כמה תמונות תורמות לאותה משימה, תייגו את תפקידיהן והסבירו אילו פרטים יש להשוות. בקשה שימושית יכולה לצרף צילום מוצר למפרט שסופק ולבקש רשימה של התאמות גלויות, הבדלים ופרטים שהתמונה אינה יכולה לבסס. בחומר תלוי זמן, זהו את האירוע או השינוי שברצונכם להבין ובקשו רצף תצפיות הקשור לפריימים או לקטעים שסופקו. התוצר הסופי צריך לאפשר בדיקה קלה של הראיות שמאחורי שינוי נטען.
תשובות עם חשיבה ותשובות ישירות. Baidu מתארת מצבי חשיבה וללא חשיבה למודלי הראייה והשפה שלה. חשיבה משרתת משימות הדורשות ניתוח המשלב מידע חזותי וטקסטואלי; תשובה ישירה יכולה לשרת תיאור פשוט או שאלה חזותית פשוטה. ציינו בבירור את התוצאה הדרושה, למשל תשובה תמציתית, טבלת השוואה או הסבר עם תצפיות תומכות. בחירת המצב שייכת להגדרות ההפקה ולא לניסוח הרגיל של בקשת תמונה.
הכינו את החומר לפי השאלה. השתמשו בעמודים קריאים ובתצוגות רלוונטיות, הקפידו על עקביות בתוויות התמונות והשאירו בהקשר מקום לתשובת הטקסט המבוקשת. בקשו מהמודל לסמן טקסט בלתי קריא ולהפריד בין תכונות שהוסקו לבין פרטים גלויים. תמונה עשויה להראות תווית, צורה או סידור, בעוד שהתשובה זקוקה גם לכלל או למפרט שסופקו. אמתו ערכים קריטיים שחולצו מול המקור והשתמשו בתצוגה נוספת כאשר הראיות משאירות פרט חשוב ללא פתרון.
POST /v1/messagestextjson, sse| שדה | סוג | דרישה | ערכים ומגבלות | ברירת מחדל |
|---|---|---|---|---|
שדהmodel | סוגstring | דרישהחובה | ערכים ומגבלות baidu/ernie-4.5-vl-424b-a47b | ברירת מחדל— |
שדהmessages | סוגmessage[] | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהmessages[].role | סוגstring | דרישהחובה | ערכים ומגבלות user, assistant | ברירת מחדל— |
שדהmessages[].content | סוגstring | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהmax_tokens | סוגinteger | דרישהחובה | ערכים ומגבלות | ברירת מחדל— |
שדהstream | סוגboolean | דרישהרשות | ערכים ומגבלות | ברירת מחדלfalse |
טקסט · טקסט UTF-8
מחרוזת messages[].content
| פרמטר | מפרט |
|---|---|
פרמטרcontent_type | מפרטapplication/json |
פרמטרrequired | מפרטmodel, messages, max_tokens |
פרמטרoptional_controls | מפרטstream |
פרמטרmaterial_types | מפרטtext |
פרמטרtext_file_material | מפרטקראו את מסמך UTF-8 בפועל והכניסו את הטקסט שלו לקלט שצוין או למחרוזת תוכן ההודעה. |
מחזור חיים: synchronous_or_streamed
מידע תעריפים אינו מוסיף אפשרויות לבקשה. הפרמטרים הנתמכים מפורטים בשיטה שנבחרה.
| תצורה | טבלת תעריפים | חיוב |
|---|---|---|
| תצורהתעריפי הבסיס לטוקנים | טבלת תעריפיםתעריף בסיס | חיוב קלט · טוקני קלט $0.000858 / 1K טוקנים פלט · טוקני פלט $0.00258 / 1K טוקנים קלט · קריאה מהמטמון $0 / 1K טוקנים קלט · כתיבה למטמון $0 / 1K טוקנים קלט · כתיבה למטמון, 1 שעה — / 1K טוקנים |
לפני הבקשה Ailoot משריינת סכום משוער. לאחר קבלת התוצאה היא מסדירה את החיוב הסופי לפי השימוש המדוד. הסדרת חיוב בהזרמה משתמשת ברשומת השימוש הסופית. איך פועלים שריון הסכום והסדרת החיוב →
{\n "model": "baidu/ernie-4.5-vl-424b-a47b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON או SSE
שמרו כל תגובה מלאה, קובץ ומקטע תוכן שהוחזרו.
שמרו את כל בלוקי התוכן, חתימות החשיבה ומזהי השימוש בכלים בפועל. הרכיבו את כל עדכוני הבלוקים של SSE; בלוק הטקסט הראשון אינו הפלט המלא.
שמרו מזהי בקשות/תגובות וכותרות. לא מסופק URL כללי לאחזור משימת טקסט.
| שדה | סוג |
|---|---|
שדהid | סוגstring |
שדהmodel | סוגstring |
שדהcontent[] | סוגtext|thinking|tool_use|other content block |
שדהstop_reason | סוגstring|null |
שדהusage | סוגobject |
| תגובה | תנאי | השלב הבא |
|---|---|---|
תגובה400 · invalid_request_error | תנאישדות נדרשים, ייצוג חומר או ערך פרמטר שאינם תקינים | השלב הבאתקנו את השדות שצוינו לפני בקשת יצירה חדשה. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
השתמשו בנתיבי השיטות המוצגים למעלה.
דוגמה טכנית באנגלית
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.