Hermes Agent עם מודל מקומי: חיבור Ollama

אפשר לחבר מודל מקומי ל-Hermes Agent באפליקציית שולחן העבודה דרך Settings → Providers → Local Models בארבע לחיצות, או באופן ידני דרך Ollama. כך או כך, אין צורך במפתח, לא משלמים על כל בקשה, והשיחה לא יוצאת מהמחשב שלכם.

בחשבון של ארטמי מילר על הניסיון שלו, הוא הוציא 20 דולר ביום אחד על DeepSeek החדש. זו הסיבה שהמחבר משאיר את הסוכנים הפעילים שלו במנויים של Hermes. הפעלה של מודל מקומי לא עולה כלום, ו-Hermes יכול לעבוד איתו. העיקר הוא לבחור מודל שיכול לעבוד עם קבצים ופקודות, ולתת לו הקשר של לפחות 64,000; אחרת, הסוכן הופך לצ'אט רגיל.

נבחן איפה מודל מקומי שימושי כיום, איך לחבר אותו ואיך לבדוק שהסוכן עובד עם קבצים. בואו נתחיל.

תיעוד עזר של Ailoot: ailoot.ai/docs/.

האם כדאי להפעיל סוכן על מודל מקומי?#

ארטמי מילר מסכם את דעתו על כל המודלים המקומיים בזמן החוויה המתוארת כך: “אני חושב שכל מה שמקומי הוא טיפש כרגע.” האנלוגיה שלו: “זה כמו להעסיק את העובד הכי טיפש ממדינה רחוקה מאוד, שעדיין לא מדבר בשפה שלכם, אבל לפחות הוא בחינם.” זה בסדר לסחיבת לבנים. אבל כשבונים מערכת, מודל מקומי בדרך כלל לא מסוגל להתמודד עם זה.

ארטמי מילר מתאר את הניסיון שלו כך: “יש לי מחשב Windows עם כרטיס גרפי טוב למודלים מקומיים. הוא פשוט יושב שם עכשיו. אני לא משתמש במודלים מקומיים כי הם טיפשים, ומודל טיפש ימליץ על פעולות טיפשיות ועל מכירות טיפשיות. הוא לא ירוויח לכם כסף. אנחנו לא פורסים מודלים מקומיים משלנו: כרגע זה בזבוז כסף חסר טעם.”

הנה תחומים שבהם מודל מקומי כבר שימושי:

• תמלול דיבור. יש מודלים פתוחים וחינמיים לכך: הם קטנים ומזהים אודיו היטב. הקול שלכם לא דולף לענן, כך שכל התוכניות הערמומיות שלכם נשארות אצלכם. יש מדריך להגדרת הדבר במאמר נפרד.
• משימות שגרתיות. אפשר כבר להשתמש במודלים קטנים וטיפשים למשימות שגרתיות: הם מסוגלים לטפל בהן.
• נתונים שאתם חוששים לשלוח החוצה. אם אתם באמת מודאגים, אפשר להריץ מודל במחשב שלכם. אבל האיכות תהיה ירודה.

בשנה הבאה, מודלים מקומיים כנראה יתפסו אפילו פחות מקום. יש כבר שיטות דחיסה חזקות, ואפשר להשתמש בזיכרון RAM במקום בזיכרון וידאו. אני חושב שבעוד שנה בערך, לכולם תהיה קופסה קטנה עם מודל קטן וטיפש שמבצע משימות ברמה של Sonnet 5. נראה.

להגדרה, כדאי להחזיק בהישג יד טבלה של “איזה מודל מתאים לאיזו משימה” וקובץ PDF עם פקודות ההתקנה של Hermes.

הדרך הקלה ביותר: Local Models ב-Hermes למחשב שולחני#

אם יש לכם את אפליקציית Hermes למחשב שולחני, אין צורך להתקין שום דבר ידנית. Hermes תתקין את שרת llama.cpp המקומי, תוריד מודל ותבחר עבורכם גודל הקשר:

1. פתחו את Settings → Providers → Local Models או בחרו Run models locally בהפעלה הראשונה.
2. לחצו על Install runtime: Hermes תוריד גרסה של llama.cpp המתאימה לחומרה שלכם; מדובר בכמה מאות מגה-בייט.
3. בחרו מודל מהקטלוג ולחצו על Download.
4. לחצו על Use: צ'אטים חדשים יתנהלו באמצעות המודל המקומי.

לכל מודל בקטלוג יש תווית צבעונית: ירוק פירושו שהוא מתאים כולו לזיכרון הווידאו, צהוב פירושו שהוא רץ דרך זיכרון RAM ואיטי יותר, ואדום פירושו שהוא גדול מדי למחשב שלכם. האפליקציה מגדירה הקשר של 64,000 או יותר למודלים מומלצים. כרטיס גרפי עם 8+ GB יכול להריץ מודלים קטנים מהקטלוג; כרטיס עם 16+ GB יכול להריץ מודלים של 27-35B. אם לא משתמשים במודל במשך 15 דקות, האפליקציה פורקת אותו מהזיכרון; הוא נטען שוב כששולחים הודעה נוספת.

הסעיף כלול בגרסאות הבדיקה (canary) של האפליקציה; בגרסאות אחרות, פתחו אותו באמצעות דגל ההפעלה --local. אם אינכם רואים את Local Models בהגדרות, זו כנראה הסיבה. מהטרמינל, אותו מסלול הוא: hermes model → Local models.

אחרי שבחרתם מודל, בדקו אותו באמצעות משימה שכוללת קובץ, כמו בסעיף הבא.

אם אתם בונים פרויקטים משלכם בעזרת סוכני AI, בדקו את התוצאה במשימה קטנה ואמיתית.

שימוש ב-Ollama: איזו חומרה דרושה#

אתם זקוקים ל-Ollama אם Hermes מותקן בשרת או שאין לכם את הסעיף Local Models. דרישות החומרה לפי מדריך Hermes:

8 GB מספיקים רק למודל קטן שמחזיר טקסט בלבד. כדי שהמודל יפעל כסוכן, דרושים 24 GB או יותר; לפרטים ראו שלב 2. הכול עובד גם בלי כרטיס גרפי, אבל לאט: מודל 9B במעבד עם 8 ליבות מייצר בערך 10 טוקנים בשנייה; מודל 31B מייצר 2-5, וכל תשובה אורכת 30-120 שניות.

שלב 1. התקנת Ollama#

Ollama מריצה מודלים ישירות במחשב שלכם. ב-Mac וב-Linux, התקינו אותה בפקודה אחת בטרמינל:

curl -fsSL https://ollama.com/install.sh | sh

ב-Windows, פקודת PowerShell היא:

irm https://ollama.com/install.ps1 | iex

בדקו שהתוכנית מותקנת ושהשרת מגיב:

ollama --version
curl http://localhost:11434/api/tags

אם עדיין אין לכם מודלים, הפקודה השנייה תחזיר רשימה ריקה. זכרו את פורט 11434: Hermes משתמשת בו כדי להתחבר למודל.

שלב 2. הורדת מודל שיכול לבצע פעולות#

מה מודל עושה? הוא מייצר טקסט. המעטפת שמסביבו, Hermes, מטפלת בעבודה עם קבצים, פקודות טרמינל וחיפוש. כדי שהמעטפת תפעל, המודל חייב להיות מסוגל לקרוא לכלים. בלי זה, הסוכן רק משיב ולא עושה כלום.

רק gemma4:31b מבין ארבעת המודלים האלה פועל כסוכן. אם יש לכם פחות מ-24 GB של זיכרון, לא תוכלו להריץ סוכן: המודלים בטבלה יחזירו טקסט בלבד. מודלים חדשים מופיעים ללא הרף בספריית Ollama; עבור כל אחד מהם, בדקו קודם אם הוא מסוגל לקרוא לכלים.

ollama pull gemma4:31b

אפשר להוריד כמה מודלים ולעבור ביניהם ב-Hermes באמצעות הפקודה /model.

שלב 3. הגדלת ההקשר ל-64,000#

כברירת מחדל, Ollama נותנת למודל הקשר של 2,048 טוקנים, בעוד Hermes זקוקה לפחות ל-64,000 כדי לעבוד עם כלים. עם הקשר ברירת המחדל, המשימה לא תיכנס והסוכן ייכשל עם שגיאות.

צרו וריאנט של המודל עם הקשר גדול יותר. הריצו את הפקודות האלה בטרמינל:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

עכשיו יש לכם את המודל gemma4-64k. מעתה והלאה, השתמשו בו בכל מקום, ולא במודל המקורי.

שלב 4. חיבור ל-Hermes#

הפעילו את אשף ההגדרה:

hermes setup

כשתישאלו על הספק, בחרו Custom Endpoint והזינו:

• כתובת: http://localhost:11434/v1;
• מפתח: השאירו ריק או הזינו no-key;
• מודל: gemma4-64k.

אפשר להזין את אותה הגדרה גם באופן ידני בקובץ ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

איך לבדוק שהסוכן עובד#

הריצו hermes ותנו לו משימה שהתוצאה שלה נראית בדיסק. לדוגמה: “רשום את כל קובצי Python בתיקייה הזו וספור את מספר השורות בכל אחד,” ואז “צור קובץ בשם test.txt.” בדקו באמצעות הפקודה ls או בתיקייה אם הקובץ הופיע. מודל בלי כלים יכול להפיק בנחת רשימה שנראית סבירה בלי לפתוח אפילו קובץ אחד.

ככל שהרשת העצבית שבה אתם משתמשים זולה יותר, כך היא זקוקה לעורך מתוחכם יותר. זה אתם. ככל שהרשת העצבית שלכם חכמה יותר, כך אתם צריכים להשתמש פחות בראש שלכם, אבל תמיד צריך לעבוד.

סרטון על הגדרת Hermes Agent המלאה מאפס:

הסרטון מראה איך להתקין את Hermes מאפס, לבנות את העובד הראשון שלכם מבוסס AI, ולהשוות בין תשלום על כל בקשה לבין מנוי.

למה התשובה הראשונה אורכת כמה דקות#

בכל בקשה, Hermes שולחת חלק קבוע: את הוראות המערכת ואת התיאורים של כל הכלים הפעילים. בלי כרטיס גרפי, למודל לוקח זמן רב לעבד את החלק הזה, ורק אחר כך הוא כותב במהירות הרגילה שלו. זה תקין.

מה עוזר:

• hermes prompt-size מציג את גודל החלק הקבוע;
• hermes tools משבית קבוצות כלים מיותרות, ו-hermes skills עוזרת להסיר מיומנויות עודפות. כל MCP מחובר (שירות חיצוני) מגדיל כל בקשה: אם אינכם משתמשים בו, כבו אותו;
• ollama ps מציג כמה שכבות של המודל הועברו לכרטיס הגרפי. אפילו העברה חלקית מאיצה את הדברים: מודל 31B בכרטיס גרפי עם 12 GB מעביר אליו בערך 40 שכבות; המעבד מטפל בשאר;
• במחשב איטי, הגדירו HERMES_API_TIMEOUT=1800 בקובץ ~/.hermes/.env כדי ש-Hermes לא תפסיק את הבקשה בגלל פקיעת זמן.

אם הסוכן פועל בשרת מסביב לשעון או משיב ב-Telegram, קחו בחשבון: Ollama פורקת את המודל אחרי 5 דקות של חוסר פעילות, והתשובה הבאה תתחיל בטעינה מחדש. ההגדרה OLLAMA_KEEP_ALIVE=24h של Ollama משאירה את המודל בזיכרון. יש מדריך להעברת הסוכן לשרת במאמר על הפעלת Hermes Agent בשרת מסביב לשעון, ולהגדרת בוט במדריך ההגדרה של Hermes Telegram.

אם משהו משתבש#

מודל ענן כגיבוי#

תיעוד Hermes מציע להשאיר מודל מקומי כמודל הראשי ולחבר מודל ענן כגיבוי. לשם כך, הוסיפו את המקטע מהתיעוד לצד מקטע model בקובץ ~/.hermes/config.yaml:

מצאו מדריכים לכלים בתיעוד של Ailoot

אם המודל המקומי נכשל שלוש פעמים, Hermes שולחת את המשימה למודל הענן. הבקשות האלה בתשלום ונשלחות לענן.

אפשרות נוספת היא לתת למודל מנוי חזק לבצע את החשיבה וקבלת ההחלטות, בעוד שהמודל המקומי מטפל במשימות שגרתיות. המטרה היא לשמור על האיכות ולהפחית בהדרגה את עלויות הטוקנים. בגישה הזאת משתמשים במודלים זולים יותר לשלבים בודדים, ואפשר לשקול מודלים מקומיים בהמשך. המאמר “כמה עולה סוכן AI לעסק?” מתאר כמה עולים סוכנים שפועלים על מנויים. אם עדיין לא התקנתם את Hermes, התחילו במדריך על התקנת Hermes Agent.

ניסיתם כבר להגדיר מודל מקומי? מה אתם מריצים עליו? ספרו לנו; אנחנו סקרנים.

המשיכו לחקור את Ailoot ב-ailoot.ai.