Hermes Agent مع نموذج محلي: ربط Ollama

يمكنك ربط نموذج محلي بـ Hermes Agent في تطبيق سطح المكتب عبر Settings → Providers → Local Models بأربع نقرات، أو ربطه يدويًا عبر Ollama. في الحالتين، لا تحتاج إلى مفتاح، ولا تدفع مقابل كل طلب، ولا تغادر المحادثة جهازك.

تشغيل النموذج المحلي لا يكلف شيئًا، ويمكن لـ Hermes العمل معه. المهم هو اختيار نموذج قادر على التعامل مع الملفات والأوامر، وتزويده بسياق لا يقل عن 64,000؛ وإلا سيتحول الوكيل إلى دردشة عادية.

لنتعرّف على المجالات التي يفيد فيها النموذج المحلي اليوم، وكيفية ربطه، وكيفية التحقق من أن الوكيل يعمل مع الملفات. هيا بنا.

الوثائق المرجعية لـ Ailoot: ailoot.ai/docs/.

هل ينبغي تشغيل وكيل على نموذج محلي؟#

المجالات التي يفيد فيها النموذج المحلي بالفعل:

• تفريغ الكلام إلى نص. توجد نماذج مجانية ومفتوحة لهذا الغرض: فهي صغيرة وتتعرف على الصوت جيدًا. لا يتسرب صوتك إلى السحابة، فتظل كل خططك الماكرة معك. تجد شرحًا لكيفية إعداد ذلك في مقال منفصل.
• المهام الروتينية. يمكنك بالفعل استخدام نماذج صغيرة محدودة للمهام الروتينية؛ فهي قادرة على التعامل معها.
• البيانات التي تخشى إرسالها إلى جهة خارجية. إذا كنت قلقًا حقًا، يمكنك تشغيل نموذج على جهازك. لكن الجودة ستكون ضعيفة.

من المرجح أن تشغل النماذج المحلية مساحة أقل حتى في العام المقبل. توجد بالفعل أساليب ضغط قوية، ويمكنك استخدام ذاكرة RAM بدلًا من ذاكرة الفيديو. أظن أنه خلال عام أو نحو ذلك، سيكون لدى الجميع صندوق صغير يحتوي على نموذج صغير محدود ينفّذ المهام بمستوى Sonnet 5. سنرى.

لأغراض الإعداد، من المفيد إبقاء جدول «أي نموذج لأي مهمة» وملف PDF يتضمن أوامر تثبيت Hermes في متناول اليد.

أسهل طريقة: Local Models في Hermes لسطح المكتب#

إذا كان لديك تطبيق Hermes لسطح المكتب، فلن تحتاج إلى تثبيت أي شيء يدويًا. سيُثبّت Hermes خادم llama.cpp المحلي، وينزّل نموذجًا، ويختار حجم السياق نيابةً عنك:

1. افتح Settings → Providers → Local Models أو اختر Run models locally عند التشغيل لأول مرة.
2. انقر على Install runtime: سينزّل Hermes إصدارًا من llama.cpp متوافقًا مع جهازك؛ حجمه بضع مئات من الميغابايت.
3. اختر نموذجًا من الفهرس وانقر على Download.
4. انقر على Use: ستُنفّذ المحادثات الجديدة عبر النموذج المحلي.

لكل نموذج في الفهرس تسمية ملوّنة: الأخضر يعني أنه يناسب ذاكرة الفيديو بالكامل، والأصفر يعني أنه يعمل عبر RAM وأنه أبطأ، والأحمر يعني أنه أكبر من أن يناسب جهازك. يضبط التطبيق سياقًا بحجم 64,000 أو أكثر للنماذج الموصى بها. يمكن لبطاقة رسومات بسعة 8+ GB تشغيل النماذج الصغيرة في الفهرس؛ أما بطاقة بسعة 16+ GB فيمكنها تشغيل نماذج 27-35B. إذا لم تستخدم نموذجًا لمدة 15 دقيقة، يزيله التطبيق من الذاكرة؛ ويعيد تحميله عند إرسال رسالة أخرى.

يتضمن إصدار التطبيق التجريبي (canary) هذا القسم؛ وفي الإصدارات الأخرى، افتحه باستخدام وسيطة التشغيل --local. إذا لم يظهر Local Models في الإعدادات، فهذا على الأرجح هو السبب. ومن الطرفية، المسار نفسه هو: hermes model → Local models.

بعد اختيار نموذج، اختبره بمهمة تتضمن ملفًا، كما هو موضح في القسم أدناه.

إذا كنت تنشئ مشاريعك باستخدام وكلاء الذكاء الاصطناعي، فتحقّق من النتيجة بمهمة صغيرة وحقيقية.

استخدام Ollama: ما العتاد الذي تحتاج إليه#

تحتاج إلى Ollama إذا كان Hermes مثبتًا على خادم أو لم يكن لديك قسم Local Models. متطلبات العتاد الواردة في دليل Hermes:

تكفي سعة 8 GB لنموذج صغير يرد بالنص فقط. لكي يعمل النموذج كوكيل، تحتاج إلى 24 GB أو أكثر؛ راجع الخطوة 2 للتفاصيل. يعمل كل شيء من دون بطاقة رسومات، لكن ببطء: يولّد نموذج 9B على معالج ذي 8 أنوية نحو 10 رموز في الثانية؛ أما نموذج 31B فيولّد 2-5، ويستغرق كل رد 30-120 ثانية.

الخطوة 1. تثبيت Ollama#

يشغّل Ollama النماذج مباشرة على جهازك. على Mac وLinux، ثبّته بأمر واحد في الطرفية:

curl -fsSL https://ollama.com/install.sh | sh

على Windows، أمر PowerShell هو:

irm https://ollama.com/install.ps1 | iex

تحقّق من تثبيت البرنامج واستجابة الخادم:

ollama --version
curl http://localhost:11434/api/tags

إذا لم يكن لديك أي نماذج بعد، فسيُرجع الأمر الثاني قائمة فارغة. تذكّر المنفذ 11434: يستخدمه Hermes للوصول إلى النموذج.

الخطوة 2. تنزيل نموذج قادر على تنفيذ الإجراءات#

ماذا يفعل النموذج؟ يولّد النص. أما الغلاف المحيط به، Hermes، فيتولى العمل مع الملفات وأوامر الطرفية والبحث. لكي يعمل الغلاف، يجب أن يكون النموذج قادرًا على استدعاء الأدوات. من دون ذلك، يكتفي الوكيل بالرد ولا يفعل شيئًا.

من بين هذه النماذج الأربعة، لا يعمل كوكيل سوى gemma4:31b. إذا كانت ذاكرتك أقل من 24 GB، فلن تتمكن من تشغيل وكيل: ستقتصر النماذج الواردة في الجدول على الرد بالنص. تظهر نماذج جديدة باستمرار في مكتبة Ollama؛ تحقّق أولًا من قدرة كل نموذج على استدعاء الأدوات.

ollama pull gemma4:31b

يمكنك تنزيل عدة نماذج والتبديل بينها في Hermes باستخدام الأمر /model.

الخطوة 3. زيادة السياق إلى 64,000#

يمنح Ollama النموذج افتراضيًا سياقًا بحجم 2,048 رمزًا، بينما يحتاج Hermes إلى 64,000 على الأقل للعمل مع الأدوات. لن تتسع المهمة في السياق الافتراضي، وسيفشل الوكيل مع ظهور أخطاء.

أنشئ نسخة من النموذج بسياق أكبر. نفّذ هذا في الطرفية:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

أصبح لديك الآن النموذج gemma4-64k. استخدمه من الآن فصاعدًا في كل المواضع بدلًا من النموذج الأصلي.

الخطوة 4. ربطه بـ Hermes#

ابدأ معالج الإعداد:

hermes setup

عندما يُطلب منك اختيار المزوّد، اختر Custom Endpoint وأدخل:

• العنوان: http://localhost:11434/v1؛
• المفتاح: اتركه فارغًا أو أدخل no-key؛
• النموذج: gemma4-64k.

يمكنك إدخال الإعداد نفسه يدويًا في ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

كيفية التحقق من أن الوكيل يعمل#

شغّل hermes واطلب منه مهمة تظهر نتيجتها على القرص. على سبيل المثال: «اسرد جميع ملفات Python في هذا المجلد واحسب عدد الأسطر في كل منها»، ثم «أنشئ ملفًا اسمه test.txt». تحقّق باستخدام الأمر ls أو من داخل المجلد لترى ما إذا كان الملف قد ظهر. قد ينتج نموذج لا يستخدم الأدوات قائمة تبدو معقولة بكل هدوء، من دون فتح ملف واحد.

كلما كان النموذج العصبي الذي تستخدمه أرخص، احتاج إلى محرر جلود أكثر تطورًا. وهذا المحرر هو أنت. كلما كان نموذجك العصبي أذكى، قلّت حاجتك إلى استخدام عقلك، لكن العمل يظل مطلوبًا دائمًا.

فيديو عن إعداد Hermes Agent بالكامل من الصفر:

يوضح الفيديو كيفية تثبيت Hermes من الصفر، وإنشاء موظفك الأول المعتمد على الذكاء الاصطناعي، ومقارنة الدفع مقابل كل طلب بالاشتراك.

لماذا يستغرق الرد الأول عدة دقائق#

مع كل طلب، يرسل Hermes جزءًا ثابتًا: تعليمات النظام وأوصاف جميع الأدوات المفعّلة. ومن دون بطاقة رسومات، يستغرق النموذج وقتًا طويلًا لمعالجة هذا الجزء أولًا، ثم يكتب بسرعته المعتادة. هذا أمر طبيعي.

ما يساعد:

• يعرض hermes prompt-size حجم الجزء الثابت؛
• يعطّل hermes tools مجموعات الأدوات غير اللازمة، ويساعدك hermes skills على إزالة المهارات الزائدة. تجعل كل خدمة MCP متصلة (خدمة خارجية) كل طلب أكبر؛ إذا لم تستخدمها، فأوقفها؛
• يعرض ollama ps عدد طبقات النموذج التي نُقلت إلى بطاقة الرسومات. حتى النقل الجزئي يسرّع العمل: يضع نموذج 31B على بطاقة رسومات ذات 12 GB نحو 40 طبقة عليها؛ ويتولى المعالج الباقي؛
• على جهاز بطيء، اضبط HERMES_API_TIMEOUT=1800 في ~/.hermes/.env حتى لا يقطع Hermes الطلب عند انتهاء المهلة.

إذا كان الوكيل يعمل على خادم على مدار الساعة أو يرد عبر Telegram، فتذكّر أن Ollama يزيل النموذج بعد 5 دقائق من عدم النشاط، وأن الرد التالي سيبدأ بإعادة تحميله. يحافظ إعداد Ollama OLLAMA_KEEP_ALIVE=24h على النموذج في الذاكرة. تجد شرحًا لنقل الوكيل إلى خادم في المقال عن تشغيل Hermes Agent على خادم على مدار الساعة، ولإعداد بوت في دليل إعداد Hermes Telegram.

إذا حدث خطأ ما#

نموذج سحابي كخيار احتياطي#

تقترح وثائق Hermes إبقاء نموذج محلي بوصفه النموذج الأساسي وربط نموذج سحابي بوصفه خيارًا احتياطيًا. لإجراء ذلك، أضف المقطع الوارد في الوثائق إلى جانب قسم model في ~/.hermes/config.yaml:

ابحث عن أدلة استخدام الأدوات في توثيق Ailoot

إذا فشل النموذج المحلي ثلاث مرات، يرسل Hermes المهمة إلى النموذج السحابي. هذه الطلبات مدفوعة وتُرسل إلى السحابة.

وثمة خيار آخر، وهو استخدام نموذج اشتراك قوي للتفكير واتخاذ القرارات، بينما يتولى النموذج المحلي المهام الروتينية. الهدف هو الحفاظ على الجودة وخفض تكاليف الرموز تدريجيًا. يستخدم هذا النهج نماذج أرخص لخطوات منفردة، مع إمكانية استخدام النماذج المحلية لاحقًا. يشرح مقال «كم تبلغ تكلفة وكيل ذكاء اصطناعي للأعمال؟» تكلفة الوكلاء الذين يعملون بالاشتراكات. إذا لم تكن قد ثبّت Hermes بعد، فابدأ بالشرح حول كيفية تثبيت Hermes Agent.

هل جرّبت إعداد نموذج محلي؟ ما الذي تشغّله عليه؟ أخبرنا، فنحن فضوليون.

تابع استكشاف Ailoot على ailoot.ai.