Mahalliy model bilan Hermes Agent: Ollama’ni ulash

Mahalliy modelni Hermes Agentga desktop ilovasi orqali Settings → Providers → Local Models bo‘limida to‘rt marta bosib yoki Ollama orqali qo‘lda ulashingiz mumkin. Har ikkala holatda ham kalit kerak emas, har bir so‘rov uchun pul to‘lamaysiz va suhbat qurilmangizdan tashqariga chiqmaydi.

Mahalliy modelni ishga tushirish bepul, Hermes esa u bilan ishlay oladi. Asosiysi, fayllar va buyruqlar bilan ishlay oladigan modelni tanlash va unga kamida 64 000 kontekst berish; aks holda agent oddiy chatga aylanadi.

Keling, bugun mahalliy model qayerda foydali ekanini, uni qanday ulashni va agent fayllar bilan ishlayotganini qanday tekshirishni ko‘rib chiqamiz. Boshladik.

Ailoot ma’lumotnoma hujjatlari: ailoot.ai/docs/.

Agentni mahalliy modelda ishlatish kerakmi?#

Mahalliy model hozirdanoq foydali bo‘ladigan holatlar:

• Nutqni matnga aylantirish. Buning uchun bepul, ochiq modellar bor: ular kichik va audioni yaxshi taniydi. Ovozingiz bulutga chiqmaydi, demak, barcha maxfiy rejalaringiz o‘zingizda qoladi. Buni qanday sozlash haqida alohida maqolada bosqichma-bosqich yo‘riqnoma bor.
• Muntazam vazifalar. Oddiy vazifalar uchun hozirdanoq sodda, kichik modellardan foydalanishingiz mumkin: ular bunday ishlarning uddasidan chiqadi.
• Tashqariga yuborishdan xavotirlanadigan ma’lumotlar. Haqiqatan xavotirda bo‘lsangiz, modelni o‘z qurilmangizda ishlatishingiz mumkin. Ammo sifati past bo‘ladi.

Kelasi yili mahalliy modellar, ehtimol, yanada kam joy egallaydi. Kuchli siqish usullari allaqachon bor, videoxotira o‘rniga operativ xotiradan foydalanish mumkin. Menimcha, bir yilcha ichida hammada Sonnet 5 darajasida vazifalarni bajaradigan sodda, kichik model o‘rnatilgan mitti quti bo‘ladi. Ko‘ramiz.

Sozlash uchun “qaysi vazifaga qaysi model” jadvali va Hermes’ni o‘rnatish buyruqlari yozilgan PDF faylni yoningizda tutish foydali.

Eng oson yo‘li: Hermes desktop ilovasidagi Local Models#

Agar sizda Hermes desktop ilovasi bo‘lsa, hech narsani qo‘lda o‘rnatishingiz shart emas. Hermes mahalliy llama.cpp serverini o‘rnatadi, modelni yuklab oladi va kontekst hajmini o‘zi tanlaydi:

1. Settings → Providers → Local Models bo‘limini oching yoki ilk ishga tushganda Run models locally bandini tanlang.
2. Install runtime tugmasini bosing: Hermes qurilmangizga mos llama.cpp yig‘ilmasini yuklab oladi; uning hajmi bir necha yuz megabayt.
3. Katalogdan model tanlang va Download tugmasini bosing.
4. Use tugmasini bosing: yangi chatlar mahalliy model orqali ishlaydi.

Katalogdagi har bir model rangli yorliq bilan ko‘rsatiladi: yashil — model videoxotiraga to‘liq sig‘adi, sariq — operativ xotira orqali ishlaydi va sekinroq, qizil — kompyuteringiz uchun haddan tashqari katta. Ilova tavsiya etilgan modellar uchun 64,000 yoki undan ko‘p kontekst o‘rnatadi. 8+ GB xotirali videokarta katalogdagi kichik modellarni, 16+ GB xotiralisi esa 27-35B modellarni ishlata oladi. Modeldan 15 daqiqa foydalanilmasa, ilova uni xotiradan chiqaradi; keyingi xabarni yuborganingizda qayta yuklaydi.

Bu bo‘lim ilovaning sinov (canary) yig‘ilmalariga kiritilgan; boshqa yig‘ilmalarda uni --local ishga tushirish bayrog‘i bilan oching. Sozlamalarda Local Models ko‘rinmasa, ehtimol sababi shu. Terminaldan ayni yo‘l: hermes model → Local models.

Modelni tanlaganingizdan so‘ng, quyidagi bo‘limda ko‘rsatilganidek, fayl bilan ishlaydigan vazifa orqali tekshiring.

Agar AI agentlar bilan o‘z loyihalaringizni qursangiz, natijani kichik, haqiqiy vazifada tekshirib ko‘ring.

Ollama’dan foydalanish: qanday uskuna kerak#

Agar Hermes serverga o‘rnatilgan bo‘lsa yoki sizda Local Models bo‘limi bo‘lmasa, Ollama kerak bo‘ladi. Hermes qo‘llanmasidagi uskuna talablari:

8 GB faqat matnli javob beradigan kichik model uchun yetarli. Model agent sifatida ishlashi uchun 24 GB yoki undan ko‘p kerak; tafsilotlar uchun 2-bosqichga qarang. Videokartasiz hammasi ishlaydi, ammo sekin: 8 yadroli protsessorda 9B model soniyasiga taxminan 10 ta token, 31B model esa 2-5 ta token hosil qiladi va har bir javob 30-120 soniya oladi.

1-bosqich. Ollama’ni o‘rnating#

Ollama modellarni bevosita kompyuteringizda ishga tushiradi. Mac va Linux’da uni terminalda bitta buyruq bilan o‘rnating:

curl -fsSL https://ollama.com/install.sh | sh

Windows’da PowerShell buyrug‘i:

irm https://ollama.com/install.ps1 | iex

Dastur o‘rnatilganini va server javob berayotganini tekshiring:

ollama --version
curl http://localhost:11434/api/tags

Hali birorta ham model bo‘lmasa, ikkinchi buyruq bo‘sh ro‘yxat qaytaradi. 11434 portini yodda tuting: Hermes modelga shu port orqali ulanadi.

2-bosqich. Harakat qila oladigan modelni yuklab oling#

Model nima qiladi? U matn hosil qiladi. Uning ustidagi qatlam — Hermes — fayllar, terminal buyruqlari va qidiruv bilan ishlaydi. Bu qatlam ishlashi uchun model vositalarni chaqira olishi kerak. Bu imkoniyatsiz agent faqat javob beradi, hech narsa bajarmaydi.

Ushbu to‘rtta model ichida faqat gemma4:31b agent sifatida ishlaydi. Xotirangiz 24 GB dan kam bo‘lsa, agentni ishga tushira olmaysiz: jadvaldagi modellar faqat matn bilan javob beradi. Ollama kutubxonasida doim yangi modellar paydo bo‘lib turadi; har birida avval vositalarni chaqira olishini tekshiring.

ollama pull gemma4:31b

Bir nechta modelni yuklab olishingiz va Hermes’da /model buyrug‘i bilan ular orasida almashishingiz mumkin.

3-bosqich. Kontekstni 64,000 gacha oshiring#

Odatiy holatda Ollama modelga 2,048 tokenlik kontekst beradi, Hermes esa vositalar bilan ishlashi uchun kamida 64,000 kerak. Standart kontekstda vazifa sig‘maydi, agent esa xatolar bilan ishlamay qoladi.

Kattaroq kontekstli model variantini yarating. Buni terminalda bajaring:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Endi sizda gemma4-64k modeli bor. Bundan buyon asl modelni emas, shu modelni hamma joyda ishlating.

4-bosqich. Uni Hermes’ga ulang#

Sozlash ustasini ishga tushiring:

hermes setup

Provayder haqida so‘ralganda, Custom Endpointni tanlang va quyidagilarni kiriting:

• manzil: http://localhost:11434/v1;
• kalit: bo‘sh qoldiring yoki no-key deb kiriting;
• model: gemma4-64k.

Xuddi shu sozlamani ~/.hermes/config.yaml fayliga qo‘lda kiritishingiz mumkin:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Agent ishlayotganini qanday tekshirish mumkin#

hermes buyrug‘ini ishga tushirib, natijasi diskda ko‘rinadigan vazifa bering. Masalan: “Ushbu jilddagi barcha Python fayllarini sanab, har biridagi satrlarni hisobla”, so‘ng “test.txt nomli fayl yarat”. Fayl paydo bo‘lganini ls buyrug‘i bilan yoki jildning ichidan tekshiring. Vositalardan foydalana olmaydigan model birorta faylni ochmasdan ham ishonarli ko‘rinadigan ro‘yxatni bemalol tuzib beradi.

Qanchalik arzon neyron tarmoqdan foydalansangiz, unga shunchalik mohir muharrir kerak bo‘ladi. Bu — siz. Neyron tarmog‘ingiz qanchalik aqlli bo‘lsa, o‘z boshingizni shunchalik kam ishlatishingizga to‘g‘ri keladi, ammo baribir ishlash kerak.

Hermes Agentni noldan to‘liq sozlash haqida video:

Videoda Hermes’ni noldan o‘rnatish, birinchi AI xodimingizni yaratish va har bir so‘rov uchun haq to‘lashni obuna bilan solishtirish ko‘rsatiladi.

Nega birinchi javobga bir necha daqiqa ketadi#

Har bir so‘rovda Hermes o‘zgarmas bir qismini yuboradi: tizim ko‘rsatmalari va yoqilgan barcha vositalar tavsiflarini. Videokartasiz model avval bu qismni uzoq qayta ishlaydi, keyin odatdagi tezligida yozadi. Bu normal holat.

Nimalar yordam beradi:

• hermes prompt-size o‘zgarmas qismning hajmini ko‘rsatadi;
• hermes tools keraksiz vositalar to‘plamlarini o‘chiradi, hermes skills esa ortiqcha ko‘nikmalarni olib tashlashga yordam beradi. Ulangan har bir MCP (tashqi xizmat) har bir so‘rovni kattalashtiradi: foydalanmasangiz, o‘chirib qo‘ying;
• ollama ps videokartaga qancha model qatlami ko‘chirilganini ko‘rsatadi. Qisman ko‘chirish ham tezlikni oshiradi: 12 GB videoxotirali videokartada 31B modelning taxminan 40 qatlami ishlaydi; qolganini protsessor bajaradi;
• sekin kompyuterda ~/.hermes/.env ichida HERMES_API_TIMEOUT=1800 o‘rnating, shunda Hermes vaqt tugagani uchun so‘rovni uzmaydi.

Agar agent serverda kecha-kunduz ishlasa yoki Telegram’da javob bersa, yodda tuting: Ollama 5 daqiqa harakatsizlikdan keyin modelni xotiradan chiqaradi, keyingi javob esa uni qayta yuklashdan boshlanadi. Ollama’ning OLLAMA_KEEP_ALIVE=24h sozlamasi modelni xotirada saqlaydi. Agentni kecha-kunduz serverga ko‘chirish bo‘yicha yo‘riqnoma Hermes Agentni serverda kecha-kunduz ishlatish haqidagi maqolada, bot sozlash bo‘yicha esa Hermes Telegram sozlash qo‘llanmasida bor.

Biror narsa noto‘g‘ri ketsa#

Zaxira variant sifatida bulut modeli#

Hermes hujjatlari mahalliy modelni asosiy model sifatida qoldirib, bulut modelini zaxira variant sifatida ulashni tavsiya qiladi. Buning uchun ~/.hermes/config.yaml ichidagi model bo‘limi yoniga hujjatlardagi blokni qo‘shing:

Ailoot hujjatlaridan vositalar bo‘yicha qo‘llanmalarni toping

Mahalliy model uch marta ishlamasa, Hermes vazifani bulut modeliga yuboradi. Bunday so‘rovlar pulli va bulutga yuboriladi.

Yana bir imkoniyat — kuchli obuna modeliga fikrlash va qaror qabul qilishni topshirib, muntazam vazifalarni mahalliy modelga berish. Maqsad — sifatni saqlab, token xarajatlarini asta-sekin kamaytirish. Bu yondashuv ayrim bosqichlarda arzonroq modellardan foydalanadi, keyinroq esa mahalliy modellar ham variant bo‘lishi mumkin. “Biznes uchun AI agent qancha turadi?” maqolasida obuna asosidagi agentlar narxi tasvirlangan. Hermes’ni hali o‘rnatmagan bo‘lsangiz, Hermes Agentni qanday o‘rnatish haqidagi yo‘riqnomadan boshlang.

Mahalliy modelni sozlab ko‘rganmisiz? Unda nimani ishga tushiryapsiz? Bizga ayting, qiziqyapmiz.

Ailoot’ni ailoot.ai saytida o‘rganishda davom eting.