Hermes Agent dengan model tempatan: menyambungkan Ollama

Anda boleh menyambungkan model tempatan kepada Hermes Agent dalam aplikasi desktop melalui Settings → Providers → Local Models dengan empat klik, atau secara manual melalui Ollama. Dalam kedua-dua cara, anda tidak memerlukan kunci, tidak perlu membayar untuk setiap permintaan, dan perbualan tidak meninggalkan komputer anda.

Model tempatan tidak memerlukan kos untuk dijalankan, dan Hermes boleh menggunakannya. Perkara utama ialah memilih model yang boleh bekerja dengan fail dan arahan, serta memberikannya konteks sekurang-kurangnya 64,000; jika tidak, ejen itu akan menjadi sembang biasa.

Mari lihat kegunaan model tempatan pada hari ini, cara menyambungkannya dan cara menyemak sama ada ejen berfungsi dengan fail. Mari kita mulakan.

Dokumentasi rujukan Ailoot: ailoot.ai/docs/.

Patutkah anda menggunakan model tempatan untuk ejen?#

Kegunaan model tempatan pada masa ini:

• Transkripsi pertuturan. Terdapat model percuma dan sumber terbuka untuk tujuan ini: modelnya kecil dan boleh mengecam audio dengan baik. Suara anda tidak bocor ke awan, jadi semua rancangan licik anda kekal dengan anda. Panduan tentang cara menyediakannya ada dalam artikel berasingan.
• Tugas rutin. Anda sudah boleh menggunakan model kecil yang kurang pintar untuk tugas rutin: model itu mampu melakukannya.
• Data yang anda takut hantar ke luar. Jika anda benar-benar bimbang, anda boleh menjalankan model pada komputer sendiri. Tetapi kualitinya akan rendah.

Tahun depan, model tempatan mungkin akan menggunakan ruang yang lebih kecil lagi. Kaedah pemampatan yang berkuasa sudah tersedia, dan anda boleh menggunakan RAM dan bukannya memori video. Saya rasa dalam masa setahun atau lebih, semua orang akan mempunyai sebuah kotak kecil dengan model kecil yang kurang pintar, yang mampu melaksanakan tugas pada tahap Sonnet 5. Kita lihat nanti.

Untuk persediaan, elok sediakan jadual “model yang sesuai untuk tugas tertentu” dan PDF dengan arahan pemasangan Hermes.

Cara paling mudah: Local Models dalam Hermes desktop#

Jika anda mempunyai aplikasi Hermes desktop, anda tidak perlu memasang apa-apa secara manual. Hermes akan memasang pelayan llama.cpp tempatan, memuat turun model dan memilih saiz konteks untuk anda:

1. Buka Settings → Providers → Local Models atau pilih Run models locally semasa pelancaran pertama.
2. Klik Install runtime: Hermes akan memuat turun binaan llama.cpp yang sesuai untuk perkakasan anda; saiznya beberapa ratus megabait.
3. Pilih model daripada katalog dan klik Download.
4. Klik Use: sembang baharu akan menggunakan model tempatan.

Setiap model dalam katalog mempunyai label berwarna: hijau bermaksud model muat sepenuhnya dalam memori video, kuning bermaksud model berjalan melalui RAM dan lebih perlahan, manakala merah bermaksud model terlalu besar untuk komputer anda. Aplikasi menetapkan konteks sekurang-kurangnya 64,000 untuk model yang disyorkan. Kad grafik dengan 8+ GB boleh menjalankan model kecil dalam katalog; kad dengan 16+ GB boleh menjalankan model 27-35B. Jika model tidak digunakan selama 15 minit, aplikasi akan memunggahnya daripada memori; model itu akan dimuatkan semula apabila anda menghantar mesej seterusnya.

Bahagian ini disertakan dalam binaan ujian (canary) aplikasi; untuk binaan lain, bukanya dengan bendera pelancaran --local. Jika anda tidak nampak Local Models dalam tetapan, itulah kemungkinan sebabnya. Dari terminal, laluan yang sama ialah: hermes model → Local models.

Selepas memilih model, semaknya dengan tugasan yang melibatkan fail seperti dalam bahagian di bawah.

Jika anda membina projek sendiri dengan ejen AI, semak hasilnya menggunakan tugasan kecil yang sebenar.

Menggunakan Ollama: perkakasan yang diperlukan#

Anda memerlukan Ollama jika Hermes dipasang pada pelayan atau anda tidak mempunyai bahagian Local Models. Keperluan perkakasan daripada panduan Hermes:

8 GB hanya mencukupi untuk model kecil yang membalas dengan teks sahaja. Untuk menjadikan model berfungsi sebagai ejen, anda memerlukan 24 GB atau lebih; lihat langkah 2 untuk butirannya. Semuanya boleh berfungsi tanpa kad grafik, tetapi perlahan: model 9B pada pemproses 8 teras menjana kira-kira 10 token sesaat; model 31B pula 2-5 token sesaat, dan setiap balasan mengambil masa 30-120 saat.

Langkah 1. Pasang Ollama#

Ollama menjalankan model terus pada komputer anda. Pada Mac dan Linux, pasangkannya dengan satu arahan dalam terminal:

curl -fsSL https://ollama.com/install.sh | sh

Pada Windows, arahan PowerShell ialah:

irm https://ollama.com/install.ps1 | iex

Semak sama ada program telah dipasang dan pelayan memberikan respons:

ollama --version
curl http://localhost:11434/api/tags

Jika anda belum mempunyai sebarang model, arahan kedua akan memulangkan senarai kosong. Ingat port 11434: Hermes menggunakannya untuk mengakses model.

Langkah 2. Muat turun model yang boleh mengambil tindakan#

Apakah yang dilakukan oleh model? Model menjana teks. Pembalut di sekelilingnya, iaitu Hermes, mengendalikan kerja dengan fail, arahan terminal dan carian. Untuk pembalut itu berfungsi, model mestilah boleh memanggil alat. Tanpa keupayaan itu, ejen hanya membalas dan tidak melakukan apa-apa.

Daripada empat model ini, hanya gemma4:31b boleh berfungsi sebagai ejen. Jika memori anda kurang daripada 24 GB, anda tidak akan dapat menjalankan ejen: model dalam jadual hanya akan membalas dengan teks. Model baharu sentiasa muncul dalam pustaka Ollama; bagi setiap model, semak dahulu sama ada model itu boleh memanggil alat.

ollama pull gemma4:31b

Anda boleh memuat turun beberapa model dan bertukar antara model tersebut dalam Hermes menggunakan arahan /model.

Langkah 3. Tingkatkan konteks kepada 64,000#

Secara lalai, Ollama memberikan model konteks sebanyak 2,048 token, sedangkan Hermes memerlukan sekurang-kurangnya 64,000 untuk bekerja dengan alat. Dengan konteks lalai, tugasan tidak akan muat dan ejen akan gagal dengan ralat.

Cipta varian model dengan konteks yang lebih besar. Jalankan ini dalam terminal:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Kini anda mempunyai model gemma4-64k. Mulai sekarang, gunakan model ini di mana-mana, bukan model asal.

Langkah 4. Sambungkan model kepada Hermes#

Mulakan wizard persediaan:

hermes setup

Apabila ditanya tentang penyedia, pilih Custom Endpoint dan masukkan:

• alamat: http://localhost:11434/v1;
• kunci: biarkan kosong atau masukkan no-key;
• model: gemma4-64k.

Anda boleh memasukkan konfigurasi yang sama secara manual dalam ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Cara menyemak sama ada ejen berfungsi#

Jalankan hermes dan berikan tugasan yang hasilnya boleh dilihat pada cakera. Contohnya: “Senaraikan semua fail Python dalam folder ini dan kira bilangan baris dalam setiap fail,” kemudian “Cipta fail bernama test.txt.” Semak menggunakan arahan ls atau dalam folder untuk melihat sama ada fail itu muncul. Model tanpa alat boleh memberikan senarai yang nampak meyakinkan tanpa membuka walau satu fail pun.

Semakin murah rangkaian neural yang anda gunakan, semakin canggih penyunting kulit yang diperlukannya. Andalah penyunting itu. Semakin pintar rangkaian neural anda, semakin kurang anda perlu menggunakan fikiran sendiri, tetapi anda tetap perlu bekerja.

Video tentang persediaan lengkap Hermes Agent dari awal:

Video ini menunjukkan cara memasang Hermes dari awal, membina pekerja AI pertama anda dan membandingkan bayaran bagi setiap permintaan dengan langganan.

Mengapa balasan pertama mengambil masa beberapa minit#

Bagi setiap permintaan, Hermes menghantar bahagian tetap: arahan sistem dan huraian semua alat yang didayakan. Tanpa kad grafik, model mengambil masa yang lama untuk memproses bahagian ini terlebih dahulu, kemudian menulis pada kelajuan biasanya. Itu perkara biasa.

Perkara yang membantu:

• hermes prompt-size menunjukkan saiz bahagian tetap;
• hermes tools menyahdayakan set alat yang tidak diperlukan, manakala hermes skills membantu membuang kemahiran tambahan. Setiap MCP yang disambungkan (perkhidmatan luaran) membesarkan setiap permintaan: jika anda tidak menggunakannya, matikannya;
• ollama ps menunjukkan bilangan lapisan model yang telah dipindahkan ke kad grafik. Pemindahan separa pun mempercepatkan proses: model 31B pada kad grafik dengan 12 GB meletakkan kira-kira 40 lapisan padanya; pemproses mengendalikan selebihnya;
• pada komputer yang perlahan, tetapkan HERMES_API_TIMEOUT=1800 dalam ~/.hermes/.env supaya Hermes tidak menghentikan permintaan apabila had masa tamat.

Jika ejen berjalan pada pelayan sepanjang masa atau membalas dalam Telegram, ambil perhatian: Ollama memunggah model selepas 5 minit tidak aktif, dan balasan seterusnya akan bermula dengan memuatkannya semula. Tetapan Ollama OLLAMA_KEEP_ALIVE=24h mengekalkan model dalam memori. Panduan untuk memindahkan ejen ke pelayan supaya berjalan sepanjang masa ada dalam artikel tentang menjalankan Hermes Agent pada pelayan sepanjang masa, manakala panduan menyediakan bot ada dalam panduan persediaan Hermes untuk Telegram.

Jika berlaku masalah#

Model awan sebagai pilihan sandaran#

Dokumentasi Hermes mencadangkan supaya model tempatan dikekalkan sebagai model utama dan model awan disambungkan sebagai pilihan sandaran. Untuk berbuat demikian, tambah blok daripada dokumentasi bersebelahan bahagian model dalam ~/.hermes/config.yaml:

Cari panduan alat dalam dokumentasi Ailoot

Jika model tempatan gagal tiga kali, Hermes akan menghantar tugasan kepada model awan. Permintaan tersebut berbayar dan dihantar ke awan.

Pilihan lain ialah menggunakan model langganan yang berkuasa untuk berfikir dan membuat keputusan, sementara model tempatan mengendalikan tugas rutin. Matlamatnya ialah mengekalkan kualiti dan mengurangkan kos token secara beransur-ansur. Pendekatan ini menggunakan model yang lebih murah untuk langkah individu, manakala model tempatan mungkin menjadi pilihan kemudian. Artikel “Berapakah kos ejen AI untuk perniagaan?” menerangkan kos ejen yang menggunakan langganan. Jika anda belum memasang Hermes, mulakan dengan panduan tentang cara memasang Hermes Agent.

Pernahkah anda mencuba menyediakan model tempatan? Apakah yang anda jalankan dengannya? Beritahu kami; kami ingin tahu.

Teruskan meneroka Ailoot di ailoot.ai.