Hermes Agent paikallisella mallilla: Ollaman yhdistäminen

Voit yhdistää paikallisen mallin Hermes Agentiin työpöytäsovelluksessa neljällä napsautuksella valitsemalla Settings → Providers → Local Models tai tehdä sen manuaalisesti Ollaman kautta. Kummassakaan tapauksessa et tarvitse avainta, et maksa jokaisesta pyynnöstä, eikä keskustelu poistu tietokoneeltasi.

Siksi kirjoittaja pitää työagenttinsa Hermes-tilauksilla. Paikallisen mallin käyttäminen ei maksa mitään, ja Hermes osaa työskennellä sen kanssa. Tärkeintä on valita malli, joka pystyy käsittelemään tiedostoja ja komentoja, sekä asettaa sen kontekstiksi vähintään 64 000; muuten agentista tulee tavallinen chat.

Katsotaan, missä paikallisesta mallista on nykyään hyötyä, miten sellaisen voi yhdistää ja miten tarkistaa, että agentti käsittelee tiedostoja. Aloitetaan.

Ailootin viitedokumentaatio: ailoot.ai/docs/.

Kannattaako agenttia käyttää paikallisella mallilla?#

Paikallinen malli on jo hyödyllinen seuraavissa tilanteissa:

• Puheen litterointi. Siihen on saatavilla ilmaisia avoimia malleja: ne ovat pieniä ja tunnistavat ääntä hyvin. Äänesi ei vuoda pilveen, joten kaikki salaiset suunnitelmasi pysyvät sinulla. Erillisessä artikkelissa on ohjeet tämän käyttöönottoon erillisessä artikkelissa.
• Rutiinitehtävät. Voit jo käyttää pieniä ja yksinkertaisia malleja rutiinitehtävissä: ne pärjäävät niistä.
• Tiedot, joita et halua lähettää oman koneesi ulkopuolelle. Jos olet siitä todella huolissasi, voit ajaa mallia omalla tietokoneellasi. Laatu on kuitenkin heikko.

Ensi vuonna paikalliset mallit vievät luultavasti vielä vähemmän tilaa. Tehokkaita pakkausmenetelmiä on jo olemassa, ja näytönohjaimen muistin sijaan voi käyttää keskusmuistia. Uskon, että vuoden tai parin päästä kaikilla on pieni laatikko, jossa on yksinkertainen pieni malli, joka suoriutuu tehtävistä Sonnet 5:n tasolla. Saa nähdä.

Asennusta varten kannattaa pitää lähellä taulukkoa siitä, mikä malli sopii mihinkin tehtävään, sekä PDF-tiedostoa, jossa on Hermesin asennuskomennot.

Helpoin tapa: Local Models Hermesin työpöytäsovelluksessa#

Jos sinulla on Hermesin työpöytäsovellus, sinun ei tarvitse asentaa mitään manuaalisesti. Hermes asentaa paikallisen llama.cpp-palvelimen, lataa mallin ja valitsee kontekstin koon puolestasi:

1. Avaa Settings → Providers → Local Models tai valitse Run models locally ensimmäisellä käynnistyskerralla.
2. Napsauta Install runtime: Hermes lataa laitteistollesi sopivan llama.cpp-koontiversion; se vie muutaman sadan megatavun verran tilaa.
3. Valitse malli luettelosta ja napsauta Download.
4. Napsauta Use: uudet chatit käyttävät paikallista mallia.

Jokaisella luettelon mallilla on värillinen tunniste: vihreä tarkoittaa, että malli mahtuu kokonaan näytönohjaimen muistiin, keltainen tarkoittaa, että se käyttää keskusmuistia ja toimii hitaammin, ja punainen tarkoittaa, että se on tietokoneellesi liian suuri. Sovellus asettaa suositelluille malleille kontekstiksi vähintään 64 000. Näytönohjain, jossa on vähintään 8 GB muistia, pystyy ajamaan luettelon pieniä malleja; vähintään 16 GB:n näytönohjaimella voi ajaa 27–35B-malleja. Jos et käytä mallia 15 minuuttiin, sovellus poistaa sen muistista; se ladataan uudelleen, kun lähetät uuden viestin.

Osio sisältyy sovelluksen testiversioihin (canary); muissa versioissa sen voi avata käynnistyslipulla --local. Jos et näe Local Models -osiota asetuksissa, se johtuu todennäköisesti tästä. Sama reitti terminaalissa on hermes model → Local models.

Kun olet valinnut mallin, tarkista se tiedostoa käyttävällä tehtävällä, kuten alla olevassa osiossa.

Jos rakennat omia projekteja tekoälyagenttien avulla, tarkista tulos pienellä, todellisella tehtävällä.

Ollaman käyttö: millaista laitteistoa tarvitset?#

Tarvitset Ollaman, jos Hermes on asennettu palvelimelle tai Local Models -osiota ei ole käytettävissä. Hermes-oppaan laitteistovaatimukset:

8 GB riittää vain pieneen malliin, joka vastaa pelkällä tekstillä. Jotta malli toimisi agenttina, tarvitset vähintään 24 GB; katso lisätiedot vaiheesta 2. Kaikki toimii ilman näytönohjainta, mutta hitaasti: 8-ytimisellä prosessorilla toimiva 9B-malli tuottaa noin 10 tokenia sekunnissa; 31B-malli tuottaa 2–5, ja jokaiseen vastaukseen kuluu 30–120 sekuntia.

Vaihe 1. Asenna Ollama#

Ollama ajaa malleja suoraan tietokoneellasi. Macissa ja Linuxissa voit asentaa sen terminaalissa yhdellä komennolla:

curl -fsSL https://ollama.com/install.sh | sh

Windowsissa PowerShell-komento on:

irm https://ollama.com/install.ps1 | iex

Tarkista, että ohjelma on asennettu ja palvelin vastaa:

ollama --version
curl http://localhost:11434/api/tags

Jos sinulla ei ole vielä yhtään mallia, toinen komento palauttaa tyhjän luettelon. Muista portti 11434: Hermes käyttää sitä yhteyden muodostamiseen malliin.

Vaihe 2. Lataa toimintoihin pystyvä malli#

Mitä malli tekee? Se tuottaa tekstiä. Sen ympärillä oleva kääre, Hermes, huolehtii tiedostojen ja terminaalikomentojen käsittelystä sekä hauista. Jotta kääre toimisi, mallin on pystyttävä kutsumaan työkaluja. Muuten agentti vain vastaa eikä tee mitään.

Näistä neljästä mallista vain gemma4:31b toimii agenttina. Jos muistia on alle 24 GB, et pysty ajamaan agenttia: taulukon mallit pystyvät vain vastaamaan tekstillä. Ollama-kirjastoon ilmestyy jatkuvasti uusia malleja; tarkista kunkin kohdalla ensin, pystyykö se kutsumaan työkaluja.

ollama pull gemma4:31b

Voit ladata useita malleja ja vaihtaa niiden välillä Hermesissä komennolla /model.

Vaihe 3. Suurenna konteksti 64 000:een#

Oletuksena Ollama antaa mallille 2 048 tokenin kontekstin, kun taas Hermes tarvitsee työkalujen käyttöön vähintään 64 000. Oletuskontekstiin tehtävä ei mahdu, ja agentti epäonnistuu virheisiin.

Luo mallista muunnelma, jossa on suurempi konteksti. Suorita tämä terminaalissa:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Nyt sinulla on malli gemma4-64k. Käytä tästä lähtien sitä kaikkialla alkuperäisen mallin sijaan.

Vaihe 4. Yhdistä se Hermesiin#

Käynnistä asennusvelho:

hermes setup

Kun sinulta kysytään palveluntarjoajaa, valitse Custom Endpoint ja anna seuraavat tiedot:

• osoite: http://localhost:11434/v1;
• avain: jätä tyhjäksi tai kirjoita no-key;
• malli: gemma4-64k.

Voit syöttää saman asetuksen käsin tiedostoon ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Näin tarkistat, että agentti toimii#

Käynnistä hermes ja anna sille tehtävä, jonka tulos näkyy levyllä. Esimerkiksi: ”Luettele kaikki tämän kansion Python-tiedostot ja laske kunkin rivimäärä” ja sen jälkeen ”Luo tiedosto nimeltä test.txt.” Tarkista ls-komennolla tai kansiosta, ilmestyikö tiedosto sinne. Ilman työkaluja toimiva malli voi huoletta tuottaa uskottavan näköisen luettelon avaamatta yhtäkään tiedostoa.

Mitä edullisempaa neuroverkkoa käytät, sitä kehittyneempää nahkaeditoria se tarvitsee. Se olet sinä. Mitä älykkäämpi neuroverkko on, sitä vähemmän sinun tarvitsee käyttää omaa päätäsi, mutta työtä sinun on aina tehtävä.

Video Hermes Agentin täydellisestä asennuksesta alusta asti:

Videolla näytetään, miten Hermes asennetaan alusta asti, rakennetaan ensimmäinen tekoälytyöntekijä ja verrataan pyyntökohtaisia maksuja tilaukseen.

Miksi ensimmäiseen vastaukseen kuluu useita minuutteja?#

Hermes lähettää jokaisen pyynnön mukana kiinteän osan: järjestelmäohjeet ja kaikkien käytössä olevien työkalujen kuvaukset. Ilman näytönohjainta mallilla kestää kauan käsitellä tämä ensin, minkä jälkeen se kirjoittaa tavalliseen tahtiinsa. Se on normaalia.

Näistä on apua:

• hermes prompt-size näyttää, kuinka suuri kiinteä osa on;
• hermes tools poistaa käytöstä tarpeettomat työkaluryhmät, ja hermes skills auttaa poistamaan ylimääräisiä taitoja. Jokainen yhdistetty MCP (ulkoinen palvelu) kasvattaa jokaista pyyntöä: jos et käytä sitä, poista se käytöstä;
• ollama ps näyttää, kuinka monta mallikerrosta on siirretty näytönohjaimelle. Osittainenkin siirto nopeuttaa toimintaa: 31B-mallin noin 40 kerrosta voidaan siirtää 12 GB:n näytönohjaimelle; prosessori käsittelee loput;
• hitaalla koneella aseta HERMES_API_TIMEOUT=1800 tiedostoon ~/.hermes/.env, jotta Hermes ei katkaise pyyntöä aikakatkaisun vuoksi.

Jos agentti toimii palvelimella ympäri vuorokauden tai vastaa Telegramissa, muista, että Ollama poistaa mallin muistista 5 minuutin käyttämättömyyden jälkeen. Seuraavan vastauksen yhteydessä malli ladataan taas. Ollaman asetus OLLAMA_KEEP_ALIVE=24h pitää mallin muistissa. Ohjeet agentin siirtämiseen ympäri vuorokauden toimivalle palvelimelle ovat artikkelissa Hermes Agentin käyttämisestä palvelimella ympäri vuorokauden, ja botin asentamiseen Hermesin Telegram-asennusoppaassa.

Jos jokin menee pieleen#

Pilvimalli varalla#

Hermes-dokumentaatiossa suositellaan paikallisen mallin säilyttämistä ensisijaisena ja pilvimallin yhdistämistä varalle. Lisää dokumentaation lohko model-osion rinnalle tiedostoon ~/.hermes/config.yaml:

Etsi työkalujen käyttöoppaita Ailoot-dokumentaatiosta

Jos paikallinen malli epäonnistuu kolme kertaa, Hermes lähettää tehtävän pilvimallille. Nämä pyynnöt ovat maksullisia ja lähetetään pilveen.

Toinen vaihtoehto on antaa tehokkaan tilausmallin hoitaa ajattelu ja päätöksenteko paikallisen mallin suorittaessa rutiinitehtävät. Tavoitteena on säilyttää laatu ja vähentää tokenkustannuksia vähitellen. Tässä lähestymistavassa yksittäisissä vaiheissa käytetään halvempia malleja, ja paikallisia malleja voidaan ottaa käyttöön myöhemmin. Artikkelissa ”Paljonko tekoälyagentti yritykselle maksaa?” kerrotaan, mitä tilauspohjaiset agentit maksavat. Jos et ole vielä asentanut Hermesiä, aloita oppaasta Hermes Agentin asentamiseen.

Oletko jo kokeillut paikallisen mallin asentamista? Mitä ajatat sillä? Kerro meille; olemme uteliaita.

Jatka Ailootiin tutustumista osoitteessa ailoot.ai.