Thinking Machines: Inkling Small (free)

Inkling-Small הוא המודל הרב־מודאלי הקטן יותר, בעל המשקולות הפתוחות, של Thinking Machines Lab להסקה, לכתיבת קוד, לשיחה וליישומים המשתמשים בכלים. הוא מקבל טקסט, תמונות ואודיו ומפיק טקסט. תכנון תערובת המומחים שלו כולל 276 מיליארד פרמטרים בסך הכול, שמתוכם 12 מיליארד פעילים, לעומת 975 מיליארד בסך הכול ו־41 מיליארד פעילים ב־Inkling. ‏Small הוא מודל נפרד שפורסם עם איזון שונה בין יעילות ליכולות, ולא מצב פלט קצר יותר של Inkling.

לחקירת קוד, ספקו את הקבצים המושפעים, את ההתנהגות שנצפתה ואת השינוי הנחוץ, ואז בקשו את הנתיב האחראי ואת התיקון הממוקד. תוצר סופי מועיל כולל את העריכה המוצעת ואת הראיות מכל בדיקה שהיישום המקושר ביצע בפועל. לעוזר תמיכה, ספקו את המדיניות הרלוונטית ואת עובדות השיחה ובקשו את התשובה הבאה או את השאלה החסרה. השימושים המיועדים של המודל כוללים עוזרי קוד, צ'אטבוטים, תשובות מועשרות באחזור ומערכות סוכנים עם כלי יישום.

חלון ההקשר הוא עד מיליון טוקנים. ארגנו מאגר ארוך או אוסף מסמכים עם שמות קבצים, תוויות סעיפים ושאלה ברורה, תוך שמירת העובדות ששלב מאוחר יותר חייב להשתמש בהן. חלון גדול מועיל להשוואת פרטי מידע מרוחקים, אך התוצאה המבוקשת צריכה להישאר ממוקדת: שינוי קוד, הסבר מבוסס מקור או שדות שחולצו. מידע חדש או פרטי צריך להיכלל בראיות שסופקו או בתוצאות אחזור שהוחזרו, ולא להיחשב אוטומטית לחלק מהידע שנלמד.

אפשר לשלוט במאמץ החשיבה. מדריך המשפחה של היצרן משתמש בערכים רציפים מ־0.0 כולל ועד פחות מ־1.0, עם ערכי פתיחה none, ‏minimal, ‏low, ‏medium, ‏high ו־xhigh התואמים ל־0.0, ‏0.1, ‏0.2, ‏0.7, ‏0.9 ו־0.99. ברירת המחדל של מנגנון הרינדור של היצרן היא high. מאמץ גבוה יותר יכול לעודד הסקה רבה יותר ועשוי לדרוש תקציב יצירה גדול יותר, אך אינו מבטיח תשובה ארוכה או מדויקת יותר. הגדרת אפס מכוונת את המודל להיעדר הסקה, במקום לאכוף היעדר הסקה קשיח. בחרו מאמץ בהתאם למשימה ושמרו על דרישת פלט סופית ברורה.

תמונות יכולות לתמוך בשאלות חזותיות, בפירוש תרשימים או דיאגרמות ובהסקה מתמטית ממידע גלוי. לביצועים טובים, השתמשו בתמונות שממדיהן בין 40 ל־4,096 פיקסלים. שמרו על תוויות קריאות והסבירו את הפרט החשוב. עם כלי Python שהוגדר, המודל יכול לשלב הסקה חזותית עם חיתוך, הגדלה ובדיקה תכנותית של מסמך או תרשים. פעולות אלה דורשות ביצוע בסביבת הכלים המקושרת; התשובה הכתובה צריכה להשתמש בתצפיות שהוחזרו ממנה.

קלט האודיו הוא WAV שנדגם ב־16 kHz, עם הקלטות שרצוי שיהיו קצרות משתי דקות לביצועים מיטביים. זו המלצת הכנה, ולא הבטחה קשיחה לגבי משך. השתמשו בשאלה מדוברת רלוונטית או בקטע קצר, וציינו אם על התוצאה הכתובה לתמלל דיבור, לענות על שאלה על ההקלטה או לקשר את תוכנה לחומר אחר שסופק. התגובה המובנית היא טקסט ולא דיבור שנוצר. אין להעביר את ההמלצה הנפרדת של Inkling לאודיו ארוך יותר למהדורת Small.

תהליכי עבודה המשתמשים בכלים דורשים תיאורי כלים בעלי משמעות, הגדרות ארגומנטים ותוצאות מהפעולות שהיישום מבצע. שמרו תוצאת חיפוש מידע, חישוב או תצפית קובץ בנפרד מהפעולה שהמודל מציע. במקרה של פער בתרשים, זהו את התוויות הרלוונטיות, בחנו את הערכים שסופקו באמצעות כלי חישוב ובקשו הסבר המפנה לערכים הללו. המודל אומן לסביבות קוד וסוכנים מגוונות, ולכן יש לתאר את המשימה ואת הכלים המקיפים אותו במקום להשאירם משתמעים.

המשקולות הפתוחות תומכות במחקר מודלים, בכוונון עדין ובשילוב במוצרים בהמשך. גרסת Inkling-Small באה לאחר נקודת שמירה מוקדמת של תצוגה מקדימה וכוללת אימון נוסף לתכנות באמצעות סוכנים; המודל הסופי ואותה תצוגה מקדימה צריכים לשמור על זהויות נפרדות. לסגנון חילוץ או תשובה ייעודי, התאמה אישית משתמשת בדוגמאות מייצגות ובהתנהגות יעד מפורשת. לעומת זאת, הנחיה רגילה מספקת הקשר לבקשה הנוכחית; היא אינה יוצרת מודל שאומן מחדש ואינה עוברת אליו.

שלב בדיקה מועיל של התוצאה בודק ששינוי הקוד המוצע, התמלול, העובדות שחולצו או התשובה הכתובה תואמים לראיות שסופקו. הגדירו כיצד יופיעו אי־ודאות ומידע חסר, במיוחד בתחזית או בתשובה עובדתית שמקורה חלקי. היצרן אימן את Inkling-Small לכיול תחזיות באמצעות למידת חיזוק מול כללי ניקוד נאותים בשאלות מהעולם האמיתי, במטרה להביע ביטחון התואם לראיות הזמינות. שמרו את החומר ואת תצפיות הכלים עם התוצר, כדי ששאלת המשך תוכל לתקן סוגיה אחת בלי לאבד את המשימה המקורית. היכולות הכלליות הרב־לשוניות והרב־מודאליות של Inkling-Small נשארות נפרדות ממחולל דיבור ייעודי או משירות המבטיח ביצוע פעולה חיצונית.