Hermes Agent dengan model lokal: menghubungkan Ollama

Anda dapat menghubungkan model lokal ke Hermes Agent di aplikasi desktop melalui Settings → Providers → Local Models dalam empat klik, atau secara manual melalui Ollama. Apa pun caranya, tidak diperlukan kunci, Anda tidak membayar untuk setiap permintaan, dan percakapan tidak meninggalkan komputer Anda.

Model lokal tidak memerlukan biaya untuk dijalankan, dan Hermes dapat bekerja dengannya. Hal utama adalah memilih model yang mampu bekerja dengan file dan perintah, lalu memberinya konteks setidaknya 64.000; jika tidak, agen akan berubah menjadi obrolan biasa.

Mari kita lihat kapan model lokal berguna saat ini, cara menghubungkannya, dan cara memeriksa apakah agen bekerja dengan file. Mari mulai.

Dokumentasi referensi Ailoot: ailoot.ai/docs/.

Sebaiknya agen dijalankan dengan model lokal?#

Kegunaan model lokal saat ini:

• Mentranskripsikan ucapan. Ada model gratis dan terbuka untuk ini: ukurannya kecil dan mampu mengenali audio dengan baik. Suara Anda tidak bocor ke cloud, jadi semua rencana rahasia Anda tetap milik Anda. Ada panduan tentang cara menyiapkannya di artikel terpisah.
• Tugas rutin. Anda sudah bisa memakai model kecil yang kurang cerdas untuk tugas rutin: model-model itu mampu menanganinya.
• Data yang Anda khawatirkan jika dikirim ke luar. Jika Anda benar-benar khawatir, Anda dapat menjalankan model di komputer sendiri. Namun, kualitasnya akan buruk.

Tahun depan, model lokal mungkin akan membutuhkan ruang yang lebih kecil lagi. Metode kompresi yang canggih sudah tersedia, dan Anda dapat menggunakan RAM sebagai pengganti memori video. Menurut saya, dalam sekitar setahun, semua orang akan memiliki kotak kecil dengan model kecil yang kurang cerdas, tetapi mampu mengerjakan tugas setingkat Sonnet 5. Kita lihat saja.

Untuk penyiapan, ada baiknya menyimpan tabel “model mana untuk tugas apa” dan PDF berisi perintah instalasi Hermes di dekat Anda.

Cara termudah: Local Models di Hermes desktop#

Jika Anda memiliki aplikasi Hermes desktop, Anda tidak perlu memasang apa pun secara manual. Hermes akan memasang server llama.cpp lokal, mengunduh model, dan memilih ukuran konteks untuk Anda:

1. Buka Settings → Providers → Local Models atau pilih Run models locally saat pertama kali dibuka.
2. Klik Install runtime: Hermes akan mengunduh build llama.cpp untuk perangkat keras Anda; ukurannya beberapa ratus megabita.
3. Pilih model dari katalog dan klik Download.
4. Klik Use: obrolan baru akan menggunakan model lokal.

Setiap model di katalog memiliki label berwarna: hijau berarti model sepenuhnya muat di memori video, kuning berarti model berjalan melalui RAM dan lebih lambat, sedangkan merah berarti ukurannya terlalu besar untuk komputer Anda. Aplikasi mengatur konteks sebesar 64.000 atau lebih untuk model yang direkomendasikan. Kartu grafis dengan 8+ GB dapat menjalankan model kecil di katalog; kartu dengan 16+ GB dapat menjalankan model 27-35B. Jika model tidak digunakan selama 15 menit, aplikasi akan mengeluarkannya dari memori; model akan dimuat kembali saat Anda mengirim pesan berikutnya.

Bagian ini disertakan dalam build uji (canary) aplikasi; di build lainnya, buka dengan flag peluncuran --local. Jika Local Models tidak terlihat di pengaturan, kemungkinan besar itulah sebabnya. Dari terminal, alurnya sama: hermes model → Local models.

Setelah memilih model, periksa dengan tugas yang melibatkan file, seperti pada bagian di bawah.

Jika Anda membuat proyek sendiri dengan agen AI, periksa hasilnya pada tugas kecil yang nyata.

Menggunakan Ollama: perangkat keras yang Anda butuhkan#

Anda memerlukan Ollama jika Hermes dipasang di server atau bagian Local Models tidak tersedia. Persyaratan perangkat keras menurut panduan Hermes:

8 GB hanya cukup untuk model kecil yang menghasilkan teks saja. Agar model dapat bekerja sebagai agen, Anda membutuhkan 24 GB atau lebih; lihat langkah 2 untuk detailnya. Semuanya dapat berjalan tanpa kartu grafis, tetapi lambat: model 9B pada prosesor 8 inti menghasilkan sekitar 10 token per detik; model 31B, 2-5 token per detik, dan setiap balasan memerlukan 30-120 detik.

Langkah 1. Pasang Ollama#

Ollama menjalankan model langsung di komputer Anda. Di Mac dan Linux, pasang dengan satu perintah di terminal:

curl -fsSL https://ollama.com/install.sh | sh

Di Windows, perintah PowerShell-nya adalah:

irm https://ollama.com/install.ps1 | iex

Pastikan program sudah terpasang dan server merespons:

ollama --version
curl http://localhost:11434/api/tags

Jika belum memiliki model apa pun, perintah kedua akan mengembalikan daftar kosong. Ingat port 11434: Hermes menggunakannya untuk terhubung ke model.

Langkah 2. Unduh model yang dapat bertindak#

Apa yang dilakukan model? Model menghasilkan teks. Pembungkus di sekelilingnya, Hermes, menangani pekerjaan dengan file, perintah terminal, dan pencarian. Agar pembungkus dapat bekerja, model harus mampu memanggil alat. Tanpa kemampuan itu, agen hanya membalas dan tidak melakukan apa-apa.

Dari empat model ini, hanya gemma4:31b yang dapat berfungsi sebagai agen. Jika memori Anda kurang dari 24 GB, Anda tidak akan dapat menjalankan agen: model-model dalam tabel hanya akan membalas dengan teks. Model baru terus bermunculan di pustaka Ollama; untuk setiap model, periksa terlebih dahulu apakah model itu dapat memanggil alat.

ollama pull gemma4:31b

Anda dapat mengunduh beberapa model dan beralih di antaranya dalam Hermes dengan perintah /model.

Langkah 3. Tingkatkan konteks menjadi 64.000#

Secara bawaan, Ollama memberikan konteks 2,048 token kepada model, sedangkan Hermes membutuhkan setidaknya 64.000 untuk bekerja dengan alat. Dengan konteks bawaan, tugas tidak akan muat dan agen akan gagal dengan kesalahan.

Buat varian model dengan konteks yang lebih besar. Jalankan ini di terminal:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Sekarang Anda memiliki model gemma4-64k. Gunakan model ini untuk semua keperluan selanjutnya, bukan model aslinya.

Langkah 4. Hubungkan ke Hermes#

Mulai wizard penyiapan:

hermes setup

Saat ditanya tentang penyedia, pilih Custom Endpoint lalu masukkan:

• alamat: http://localhost:11434/v1;
• kunci: biarkan kosong atau masukkan no-key;
• model: gemma4-64k.

Anda dapat memasukkan konfigurasi yang sama secara manual ke ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Cara memeriksa apakah agen berfungsi#

Jalankan hermes dan berikan tugas yang hasilnya terlihat di disk. Contohnya: “Daftar semua file Python di folder ini dan hitung jumlah baris masing-masing,” lalu “Buat file bernama test.txt.” Periksa dengan perintah ls atau di folder tersebut untuk melihat apakah file sudah muncul. Model tanpa alat dapat dengan santai menghasilkan daftar yang tampak meyakinkan tanpa membuka satu file pun.

Semakin murah jaringan saraf yang Anda gunakan, semakin canggih editor kulit yang dibutuhkannya. Editor itu adalah Anda. Semakin cerdas jaringan saraf Anda, semakin sedikit Anda perlu memakai pikiran sendiri, tetapi Anda tetap harus bekerja.

Video tentang penyiapan Hermes Agent lengkap dari awal:

Video ini menunjukkan cara memasang Hermes dari awal, membuat karyawan AI pertama Anda, dan membandingkan pembayaran untuk setiap permintaan dengan langganan.

Mengapa balasan pertama memerlukan beberapa menit#

Pada setiap permintaan, Hermes mengirimkan bagian tetap: instruksi sistem dan deskripsi semua alat yang diaktifkan. Tanpa kartu grafis, model memerlukan waktu lama untuk memproses bagian ini terlebih dahulu, lalu menulis dengan kecepatan biasanya. Itu normal.

Yang membantu:

• hermes prompt-size menunjukkan ukuran bagian tetap;
• hermes tools menonaktifkan kumpulan alat yang tidak diperlukan, dan hermes skills membantu menghapus keterampilan tambahan. Setiap MCP yang terhubung (layanan eksternal) memperbesar setiap permintaan: jika tidak digunakan, nonaktifkan;
• ollama ps menunjukkan jumlah lapisan model yang dialihkan ke kartu grafis. Bahkan pengalihan sebagian dapat mempercepat proses: model 31B pada kartu grafis dengan 12 GB menempatkan sekitar 40 lapisan di sana; prosesor menangani sisanya;
• pada komputer yang lambat, atur HERMES_API_TIMEOUT=1800 di ~/.hermes/.env agar Hermes tidak memutus permintaan saat batas waktu tercapai.

Jika agen berjalan di server sepanjang waktu atau merespons di Telegram, ingat: Ollama mengeluarkan model setelah tidak aktif selama 5 menit, dan balasan berikutnya akan dimulai dengan memuatnya kembali. Pengaturan Ollama OLLAMA_KEEP_ALIVE=24h membuat model tetap berada di memori. Ada panduan untuk memindahkan agen ke server dalam artikel tentang menjalankan Hermes Agent di server sepanjang waktu, dan untuk menyiapkan bot dalam panduan penyiapan Hermes Telegram.

Jika terjadi masalah#

Model cloud sebagai cadangan#

Dokumentasi Hermes menyarankan untuk menjadikan model lokal sebagai model utama dan menghubungkan model cloud sebagai cadangan. Untuk melakukannya, tambahkan blok dari dokumentasi di samping bagian model dalam ~/.hermes/config.yaml:

Temukan panduan alat dalam dokumentasi Ailoot

Jika model lokal gagal tiga kali, Hermes mengirimkan tugas ke model cloud. Permintaan tersebut berbayar dan dikirim ke cloud.

Pilihan lainnya adalah menggunakan model langganan yang canggih untuk berpikir dan mengambil keputusan, sementara model lokal menangani tugas rutin. Tujuannya adalah mempertahankan kualitas dan secara bertahap mengurangi biaya token. Pendekatan ini menggunakan model yang lebih murah untuk langkah tertentu, dengan model lokal sebagai pilihan yang mungkin digunakan nanti. Artikel “Berapa biaya agen AI untuk bisnis?” menjelaskan biaya agen berbasis langganan. Jika Anda belum memasang Hermes, mulailah dengan panduan cara memasang Hermes Agent.

Sudah pernah mencoba menyiapkan model lokal? Apa yang Anda jalankan dengannya? Ceritakan kepada kami; kami penasaran.

Lanjutkan menjelajahi Ailoot di ailoot.ai.