„Hermes Agent“ su vietiniu modeliu: „Ollama“ prijungimas

Vietinį modelį prie „Hermes Agent“ galite prijungti darbalaukio programėlėje per „Settings“ → „Providers“ → „Local Models“ vos keturiais paspaudimais arba rankiniu būdu per „Ollama“. Bet kuriuo atveju nereikia rakto, nemokate už kiekvieną užklausą, o pokalbis neišeina iš jūsų kompiuterio.

Vietinio modelio paleidimas nieko nekainuoja, o „Hermes“ gali su juo dirbti. Svarbiausia pasirinkti modelį, kuris geba dirbti su failais ir komandomis, ir skirti jam bent 64 000 kontekstą; kitaip agentas virsta įprastu pokalbių robotu.

Pažvelkime, kur vietinis modelis šiandien naudingas, kaip jį prijungti ir kaip patikrinti, ar agentas dirba su failais. Pirmyn.

„Ailoot“ informacinė dokumentacija: ailoot.ai/docs/.

Ar verta agentui naudoti vietinį modelį?#

Kur vietinis modelis jau naudingas:

• Kalbos transkribavimas. Tam yra nemokamų atvirųjų modelių: jie maži ir gerai atpažįsta garsą. Jūsų balsas nenutekės į debesiją, todėl visi jūsų gudrūs planai liks su jumis. Kaip tai nustatyti, aprašyta atskirame straipsnyje.
• Įprastos užduotys. Įprastoms užduotims jau galite naudoti mažus, kvailus modelius: jie jas atlieka.
• Duomenys, kurių bijote siųsti už savo įrenginio ribų. Jei iš tiesų nerimaujate, modelį galite paleisti savo kompiuteryje. Tačiau kokybė bus prasta.

Kitais metais vietiniai modeliai tikriausiai užims dar mažiau vietos. Jau yra galingų glaudinimo metodų, be to, vietoj vaizdo atminties galima naudoti RAM. Manau, maždaug po metų kiekvienas turės mažą dėžutę su nedideliu kvailu modeliu, kuris atliks užduotis „Sonnet 5“ lygmeniu. Pamatysime.

Ruošiantis diegti pravartu turėti po ranka lentelę „kuris modelis kokiai užduočiai“ ir PDF su „Hermes“ diegimo komandomis.

Paprasčiausias būdas: „Local Models“ „Hermes“ darbalaukio programėlėje#

Jei turite „Hermes“ darbalaukio programėlę, nieko nereikia diegti rankiniu būdu. „Hermes“ įdiegs vietinį „llama.cpp“ serverį, atsisiųs modelį ir pats parinks konteksto dydį:

1. Atidarykite Settings → Providers → Local Models arba per pirmąjį paleidimą pasirinkite Run models locally.
2. Spustelėkite Install runtime: „Hermes“ atsisiųs jūsų aparatinei įrangai skirtą „llama.cpp“ versiją; ji užima kelis šimtus megabaitų.
3. Pasirinkite modelį iš katalogo ir spustelėkite Download.
4. Spustelėkite Use: naujuose pokalbiuose bus naudojamas vietinis modelis.

Kiekvienas katalogo modelis pažymėtas spalvota žyma: žalia reiškia, kad modelis visas telpa vaizdo atmintyje, geltona – kad veikia naudodamas RAM ir yra lėtesnis, o raudona – kad jūsų kompiuteriui jis per didelis. Rekomenduojamiems modeliams programėlė nustato 64 000 ar didesnį kontekstą. Vaizdo plokštė su 8+ GB atminties gali paleisti mažus katalogo modelius, o turinti 16+ GB – 27-35B modelius. Jei modelio nenaudojate 15 minučių, programėlė pašalina jį iš atminties; išsiuntus kitą pranešimą, jis vėl įkeliamas.

Ši skiltis įtraukta į bandomąsias (canary) programėlės versijas; kitose versijose ją atidarykite paleidimo vėliavėle --local. Jei nustatymuose nematote „Local Models“, greičiausiai dėl to. Tą patį veiksmą terminale atliksite taip: hermes model → Local models.

Pasirinkę modelį, patikrinkite jį atlikdami su failu susijusią užduotį, aprašytą toliau esančioje skiltyje.

Jei kuriate savo projektus su DI agentais, patikrinkite rezultatą atlikę nedidelę realią užduotį.

„Ollama“ naudojimas: kokios aparatinės įrangos reikia#

„Ollama“ reikia, jei „Hermes“ įdiegtas serveryje arba neturite „Local Models“ skilties. „Hermes“ vadove nurodyti aparatinės įrangos reikalavimai:

8 GB užtenka tik mažam modeliui, kuris atsako vien tekstu. Kad modelis galėtų veikti kaip agentas, reikia 24 GB ar daugiau; daugiau informacijos rasite 2 žingsnyje. Be vaizdo plokštės viskas veikia, bet lėtai: 9B modelis 8 branduolių procesoriuje sugeneruoja apie 10 žetonų per sekundę, o 31B modelis – 2-5, tad kiekvienas atsakymas trunka 30-120 sekundžių.

1 žingsnis. Įdiekite „Ollama“#

„Ollama“ modelius paleidžia tiesiai jūsų kompiuteryje. „Mac“ ir „Linux“ sistemose ją įdiekite terminale viena komanda:

curl -fsSL https://ollama.com/install.sh | sh

„Windows“ sistemoje naudokite šią „PowerShell“ komandą:

irm https://ollama.com/install.ps1 | iex

Patikrinkite, ar programa įdiegta ir serveris atsako:

ollama --version
curl http://localhost:11434/api/tags

Jei dar neturite modelių, antroji komanda grąžins tuščią sąrašą. Įsidėmėkite 11434 prievadą: „Hermes“ jį naudoja prisijungti prie modelio.

2 žingsnis. Atsisiųskite modelį, galintį atlikti veiksmus#

Ką daro modelis? Jis generuoja tekstą. Aplink jį esantis apvalkalas – „Hermes“ – tvarko darbą su failais, terminalo komandomis ir paieška. Kad apvalkalas veiktų, modelis turi gebėti iškviesti įrankius. Be to agentas tik atsako ir nieko nedaro.

Iš šių keturių modelių kaip agentas veikia tik gemma4:31b. Jei turite mažiau nei 24 GB atminties, agento paleisti negalėsite: lentelėje pateikti modeliai atsakys tik tekstu. „Ollama“ bibliotekoje nuolat atsiranda naujų modelių; pirmiausia patikrinkite, ar kiekvienas jų geba iškviesti įrankius.

ollama pull gemma4:31b

Galite atsisiųsti kelis modelius ir perjungti juos „Hermes“ komanda /model.

3 žingsnis. Padidinkite kontekstą iki 64 000#

Pagal numatytuosius nustatymus „Ollama“ modelio kontekstui skiria 2 048 žetonus, o „Hermes“, kad galėtų dirbti su įrankiais, reikia bent 64 000. Numatytojo konteksto užduočiai neužteks ir agentas pateiks klaidų.

Sukurkite modelio variantą su didesniu kontekstu. Terminale paleiskite:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Dabar turite modelį gemma4-64k. Nuo šiol visur naudokite jį, o ne pradinį modelį.

4 žingsnis. Prijunkite jį prie „Hermes“#

Paleiskite sąrankos vedlį:

hermes setup

Paklausti apie teikėją, pasirinkite Custom Endpoint ir įveskite:

• adresas: http://localhost:11434/v1;
• raktas: palikite tuščią arba įveskite no-key;
• modelis: gemma4-64k.

Tą pačią konfigūraciją galite įvesti rankiniu būdu faile ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Kaip patikrinti, ar agentas veikia#

Paleiskite hermes ir duokite jam užduotį, kurios rezultatas matomas diske. Pavyzdžiui: „Išvardyk visus šiame aplanke esančius „Python“ failus ir suskaičiuok kiekvieno eilutes“, o tada – „Sukurk failą pavadinimu test.txt“. Komanda ls arba patikrinę aplanką įsitikinkite, kad failas atsirado. Modelis be įrankių gali ramiai pateikti įtikinamai atrodantį sąrašą neatidaręs nė vieno failo.

Kuo pigesnį neuroninį tinklą naudojate, tuo tobulesnio odinio redaktoriaus jam reikia. Tai jūs. Kuo išmanesnis jūsų neuroninis tinklas, tuo mažiau reikia naudotis savo galva, bet dirbti vis tiek teks.

Vaizdo įrašas apie visą „Hermes Agent“ sąranką nuo pradžių:

Vaizdo įraše rodoma, kaip nuo pradžių įdiegti „Hermes“, sukurti pirmąjį DI darbuotoją ir palyginti mokėjimą už kiekvieną užklausą su prenumerata.

Kodėl pirmasis atsakymas užtrunka kelias minutes#

Su kiekviena užklausa „Hermes“ išsiunčia nekintančią dalį: sistemos instrukcijas ir visų įjungtų įrankių aprašus. Be vaizdo plokštės modelis ilgai ją apdoroja, o vėliau rašo įprastu greičiu. Tai normalu.

Kas padeda:

• hermes prompt-size parodo, kokio dydžio yra nekintanti dalis;
• hermes tools išjungia nereikalingus įrankių rinkinius, o hermes skills padeda pašalinti perteklinius įgūdžius. Kiekvienas prijungtas MCP (išorinė paslauga) padidina kiekvieną užklausą: jei jo nenaudojate, išjunkite;
• ollama ps parodo, kiek modelio sluoksnių perkelta į vaizdo plokštę. Net dalinis perkėlimas pagreitina darbą: 31B modelio maždaug 40 sluoksnių perkeliama į 12 GB vaizdo plokštę, o likusią dalį apdoroja procesorius;
• lėtame kompiuteryje nustatykite HERMES_API_TIMEOUT=1800 faile ~/.hermes/.env, kad „Hermes“ nenutrauktų užklausos dėl skirtojo laiko pabaigos.

Jei agentas veikia serveryje visą parą arba atsakinėja „Telegram“, atminkite: „Ollama“ po 5 minučių neveikimo iškelia modelį iš atminties, todėl kitam atsakymui jį vėl reikės įkelti. „Ollama“ nustatymas OLLAMA_KEEP_ALIVE=24h išlaiko modelį atmintyje. Instrukcijas, kaip perkelti agentą į serverį, rasite straipsnyje apie „Hermes Agent“ veikimą serveryje visą parą, o kaip nustatyti robotą – „Hermes“ sąrankos „Telegram“ vadove.

Jei kas nors nepavyksta#

Debesijos modelis kaip atsarginis variantas#

„Hermes“ dokumentacijoje siūloma pagrindiniu palikti vietinį modelį, o atsargai prijungti debesijos modelį. Tam šalia model skilties faile ~/.hermes/config.yaml pridėkite dokumentacijoje pateiktą bloką:

Raskite įrankių naudojimo vadovus Ailoot dokumentacijoje

Jei vietinis modelis tris kartus neveikia, „Hermes“ išsiunčia užduotį debesijos modeliui. Už šias užklausas mokama, jos siunčiamos į debesiją.

Kitas variantas – leisti galingam prenumeruojamam modeliui mąstyti ir priimti sprendimus, o vietiniam modeliui patikėti įprastas užduotis. Tikslas – išlaikyti kokybę ir palaipsniui mažinti žetonų sąnaudas. Taikant šį būdą atskiriems žingsniams naudojami pigesni modeliai, o vietiniai modeliai gali būti pasirinkti vėliau. Straipsnyje „Kiek kainuoja DI agentas verslui?“ aprašoma, kiek kainuoja prenumeruojami agentai. Jei dar neįdiegėte „Hermes“, pradėkite nuo vadovo kaip įdiegti „Hermes Agent“.

Ar jau bandėte nustatyti vietinį modelį? Ką jame paleidžiate? Papasakokite – mums smalsu.

Toliau susipažinkite su „Ailoot“ svetainėje ailoot.ai.