Жергілікті моделі бар Hermes Agent: Ollama-ны қосу

Жергілікті модельді Hermes Agent-ке desktop қолданбасындағы Settings → Providers → Local Models арқылы төрт рет шертіп қосуға немесе Ollama арқылы қолмен қосуға болады. Қай тәсілді таңдасаңыз да, кілт қажет емес, әр сұрау үшін ақы төлемейсіз және әңгіме құрылғыңыздан шықпайды.

Бүгінде жергілікті модель қай кезде пайдалы екенін, оны қалай қосатынын және агенттің файлдармен жұмыс істеп тұрғанын қалай тексеруге болатынын қарастырайық. Бастайық.

Ailoot анықтамалық құжаттамасы: ailoot.ai/docs/.

Агентті жергілікті модельге қосу керек пе?#

Жергілікті модель қазірдің өзінде пайдалы болатын жағдайлар:

• Сөйлеуді мәтінге айналдыру. Мұны істейтін ашық, тегін модельдер бар: олар шағын әрі аудионы жақсы таниды. Дауысыңыз бұлтқа кетпейді, сондықтан барлық айлакер жоспарыңыз өзіңізде қалады. Мұны қалай баптау керектігі жеке мақалада көрсетілген.
• Күнделікті тапсырмалар. Күнделікті тапсырмаларға шағын, қарапайым модельдерді қазірдің өзінде қолдануға болады: олар мұндай тапсырмаларды орындай алады.
• Сыртқа жіберуге қорқатын деректер. Қатты алаңдасаңыз, модельді өз компьютеріңізде іске қоса аласыз. Бірақ сапасы төмен болады.

Келесі жылы жергілікті модельдер одан да аз орын алатын шығар. Қазірдің өзінде қуатты сығымдау әдістері бар, әрі видеожадтың орнына жедел жадты қолдануға болады. Меніңше, бір жылдан кейін әркімде Sonnet 5 деңгейінде тапсырма орындайтын шағын моделі бар кішкентай қорапша болады. Көре жатармыз.

Баптауға дайындалғанда, «қай тапсырмаға қай модель» кестесі мен Hermes орнату командалары бар PDF файлын жаныңызда ұстаған пайдалы.

Ең оңай жолы: Hermes desktop қолданбасындағы Local Models#

Hermes desktop қолданбасы болса, ештеңені қолмен орнатудың қажеті жоқ. Hermes жергілікті llama.cpp серверін орнатып, модельді жүктеп, контекст өлшемін өзі таңдайды:

1. Settings → Providers → Local Models тармағын ашыңыз немесе алғаш іске қосқанда Run models locally таңдаңыз.
2. Install runtime түймесін басыңыз: Hermes құрылғыңызға арналған llama.cpp нұсқасын жүктейді; ол бірнеше жүз мегабайт болады.
3. Каталогтан модель таңдап, Download түймесін басыңыз.
4. Use түймесін басыңыз: жаңа чаттар жергілікті модель арқылы жүреді.

Каталогтағы әр модельдің түрлі-түсті белгісі бар: жасыл — модель видеожадқа түгел сияды, сары — жедел жад арқылы жұмыс істеп, баяуырақ болады, қызыл — компьютеріңіз үшін тым үлкен. Қолданба ұсынылған модельдерге 64 000 немесе одан үлкен контекст қояды. 8+ GB видеокартасы каталогтағы шағын модельдерді іске қоса алады; 16+ GB видеокартасы 27-35B модельдерін іске қоса алады. Модельді 15 минут қолданбасаңыз, қолданба оны жадтан шығарады; тағы хабар жібергенде қайта жүктейді.

Бұл бөлім қолданбаның тестілік (canary) құрастырылымдарына қосылған; басқа құрастырылымдарда оны --local іске қосу жалаушасымен ашыңыз. Баптаулардан Local Models көрінбесе, себебі осы болуы ықтимал. Терминалдан да осы жолға баруға болады: hermes model → Local models.

Модельді таңдағаннан кейін оны төмендегі бөлімдегідей файлға қатысты тапсырмамен тексеріңіз.

Жасанды интеллект агенттерімен өз жобаларыңызды құратын болсаңыз, нәтижені шағын, нақты тапсырмада тексеріңіз.

Ollama қолдану: қандай жабдық қажет#

Hermes серверде орнатылса немесе Local Models бөлімі болмаса, Ollama қажет. Hermes нұсқаулығында көрсетілген жабдық талаптары:

8 GB тек мәтін түрінде жауап беретін шағын модельге жеткілікті. Модель агент ретінде жұмыс істеуі үшін 24 GB немесе одан көп жад керек; толық мәліметті 2-қадамнан қараңыз. Видеокартасыз да бәрі жұмыс істейді, бірақ баяу: 8 ядролы процессордағы 9B модель секундына шамамен 10 токен, ал 31B модель 2-5 токен шығарады, сондықтан әр жауапқа 30-120 секунд кетеді.

1-қадам. Ollama орнату#

Ollama модельдерді компьютеріңіздің өзінде іске қосады. Mac пен Linux-та оны терминалдағы бір командамен орнатыңыз:

curl -fsSL https://ollama.com/install.sh | sh

Windows-та PowerShell командасы:

irm https://ollama.com/install.ps1 | iex

Бағдарламаның орнатылғанын және сервердің жауап беретінін тексеріңіз:

ollama --version
curl http://localhost:11434/api/tags

Әзірге ешбір модель болмаса, екінші команда бос тізім қайтарады. 11434 портын есте сақтаңыз: Hermes модельге осы порт арқылы қосылады.

2-қадам. Әрекет жасай алатын модельді жүктеу#

Модель не істейді? Ол мәтін жасайды. Оның айналасындағы қаптама — Hermes — файлдармен, терминал командаларымен және іздеумен жұмыс істейді. Қаптама жұмыс істеуі үшін модель құралдарды шақыра алуы керек. Ондай мүмкіндік болмаса, агент тек жауап беріп, ештеңе істемейді.

Осы төрт модельдің ішінде агент ретінде тек gemma4:31b жұмыс істейді. Жады 24 GB-тан аз болса, агентті іске қоса алмайсыз: кестедегі модельдер тек мәтінмен жауап береді. Ollama кітапханасында жаңа модельдер үнемі пайда болып тұрады; әрқайсысы үшін құралдарды шақыра алатынын алдымен тексеріңіз.

ollama pull gemma4:31b

Бірнеше модельді жүктеп алып, Hermes ішінде /model командасымен ауыстырып қолдана аласыз.

3-қадам. Контекстті 64,000-ға дейін үлкейту#

Әдепкі бойынша Ollama модельге 2,048 токен контекст береді, ал Hermes құралдармен жұмыс істеу үшін кемінде 64,000 қажет етеді. Әдепкі контекстте тапсырма сыймай, агент қателерге тап болады.

Контексті үлкендеу модель нұсқасын жасаңыз. Терминалда мынаны орындаңыз:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Енді қолыңызда gemma4-64k моделі бар. Бұдан былай бастапқы модельді емес, осыны барлық жерде қолданыңыз.

4-қадам. Hermes-ке қосу#

Баптау шеберін іске қосыңыз:

hermes setup

Провайдер туралы сұрағанда Custom Endpoint таңдап, мыналарды енгізіңіз:

• мекенжай: http://localhost:11434/v1;
• кілт: бос қалдырыңыз немесе no-key енгізіңіз;
• модель: gemma4-64k.

Осындай баптауды ~/.hermes/config.yaml файлына қолмен де енгізуге болады:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Агенттің жұмыс істеп тұрғанын қалай тексеруге болады#

hermes іске қосып, нәтижесі дискіден көрінетін тапсырма беріңіз. Мысалы: “Осы қалтадағы барлық Python файлдарын тізіп, әрқайсысындағы жол санын есепте”, содан кейін “test.txt атты файл жаса”. Файлдың пайда болғанын ls командасымен немесе қалта ішінен тексеріңіз. Құралдары жоқ модель бірде-бір файлды ашпай-ақ нанымды көрінетін тізімді жай ғана ойдан шығара алады.

Қолданатын нейрондық желі неғұрлым арзан болса, оған соғұрлым білікті былғары редактор керек. Ол — сіз. Нейрондық желі неғұрлым ақылды болса, өз ақылыңызды соғұрлым аз жұмсайсыз, бірақ бәрібір жұмыс істеу керек.

Hermes Agent-ті нөлден бастап толық баптау туралы видео:

Видеода Hermes-ті нөлден бастап орнату, алғашқы AI қызметкерді жасау және әр сұрауға ақы төлеуді жазылыммен салыстыру көрсетілген.

Неліктен алғашқы жауапқа бірнеше минут кетеді#

Әр сұрауда Hermes тұрақты бөлікті жібереді: жүйелік нұсқаулар мен қосылған барлық құралдардың сипаттамаларын. Видеокартасыз модель алдымен осы бөлікті ұзақ өңдейді, содан кейін әдеттегі жылдамдығымен мәтін жазады. Бұл — қалыпты жағдай.

Көмектесетін нәрселер:

• hermes prompt-size тұрақты бөліктің өлшемін көрсетеді;
• hermes tools қажетсіз құралдар жиынтығын өшіреді, ал hermes skills артық дағдыларды алып тастауға көмектеседі. Әр қосылған MCP (сыртқы қызмет) әр сұрауды үлкейтеді: қолданбасаңыз, өшіріп қойыңыз;
• ollama ps видеокартаға қанша модель қабаты шығарылғанын көрсетеді. Ішінара шығару да жылдамдықты арттырады: 12 GB видеокартасы бар жүйеде 31B модель шамамен 40 қабатты видеокартаға орналастырады, қалғанын процессор өңдейді;
• компьютер баяу болса, Hermes сұрауды күту уақыты біткенде үзбеуі үшін ~/.hermes/.env ішіне HERMES_API_TIMEOUT=1800 орнатыңыз.

Агент серверде тәулік бойы жұмыс істесе немесе Telegram-да жауап берсе, мынаны ескеріңіз: Ollama 5 минут әрекетсіздіктен кейін модельді жадтан шығарады, ал келесі жауап басталарда оны қайта жүктейді. Ollama-ның OLLAMA_KEEP_ALIVE=24h баптауы модельді жадта ұстайды. Агентті серверге көшіру Hermes Agent-ті тәулік бойы серверде іске қосу туралы мақалада, ал ботты баптау Hermes Telegram баптау нұсқаулығында көрсетілген.

Бірдеңе дұрыс болмаса#

Қосалқы нұсқа ретінде бұлттық модель#

Hermes құжаттамасы жергілікті модельді негізгі етіп қалдырып, қосалқы ретінде бұлттық модель қосуды ұсынады. Ол үшін құжаттамадағы блокты ~/.hermes/config.yaml файлының model бөлімінің жанына қосыңыз:

Құралдар жөніндегі нұсқаулықтарды Ailoot құжаттамасынан табыңыз

Жергілікті модель үш рет істемей қалса, Hermes тапсырманы бұлттық модельге жібереді. Мұндай сұраулар ақылы және бұлтқа жіберіледі.

Тағы бір нұсқа — ойлау мен шешім қабылдауды қуатты жазылым моделі атқарып, ал күнделікті тапсырмаларды жергілікті модель орындасын. Мақсат — сапаны сақтап, токен құнын біртіндеп азайту. Бұл тәсілде жеке қадамдарға арзанырақ модельдер пайдаланылады, ал жергілікті модельдер кейін қолданылуы мүмкін. «Бизнеске арналған AI агенті қанша тұрады?» мақаласында жазылыммен жұмыс істейтін агенттердің құны сипатталған. Hermes-ті әлі орнатпаған болсаңыз, Hermes Agent-ті орнату жолы туралы нұсқаулықтан бастаңыз.

Жергілікті модельді баптап көрдіңіз бе? Оған нені жүктейсіз? Бізге айтыңыз, білгіміз келеді.

Ailoot туралы оқуды ailoot.ai сайтында жалғастырыңыз.