# Hermes Agent dengan model lokal: menghubungkan Ollama

> Cara menghubungkan model lokal ke Hermes Agent: Local Models di aplikasi desktop atau Ollama, model dengan pemanggilan alat, konteks 64.000, dan cara memeriksa apakah semuanya berfungsi.

Source: https://ailoot.ai/blog/id/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/id/hermes-local-model-ollama-context/
Language: id
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-30ea13e2b2c9ad000e656980def3e7c1160c7506dfcc37da67a8cfcb80d2edbc


Anda dapat menghubungkan model lokal ke Hermes Agent di aplikasi desktop melalui Settings → Providers → Local Models dalam empat klik, atau secara manual melalui Ollama. Apa pun caranya, tidak diperlukan kunci, Anda tidak membayar untuk setiap permintaan, dan percakapan tidak meninggalkan komputer Anda.

Model lokal tidak memerlukan biaya untuk dijalankan, dan Hermes dapat bekerja dengannya. Hal utama adalah memilih model yang mampu bekerja dengan file dan perintah, lalu memberinya konteks setidaknya 64.000; jika tidak, agen akan berubah menjadi obrolan biasa.

Mari kita lihat kapan model lokal berguna saat ini, cara menghubungkannya, dan cara memeriksa apakah agen bekerja dengan file. Mari mulai.

Dokumentasi referensi Ailoot: [ailoot.ai/docs/](https://ailoot.ai/docs/).



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Key points in this section">

Poin utama

Cara termudah adalah melalui Hermes desktop: Settings → Providers → Local Models, Install runtime, pilih model, Download, lalu Use. Aplikasi akan memilih ukuran konteks untuk Anda. Dengan Ollama: unduh model dengan pemanggilan alat (dari tabel Hermes, hanya `gemma4:31b` yang mendukungnya, dan model ini membutuhkan memori 24+ GB), atur konteks menjadi 64.000 alih-alih nilai bawaan 2,048, lalu pilih Custom Endpoint di `hermes setup` dengan alamat `http://localhost:11434/v1` dan tanpa kunci. Periksa dengan tugas yang menghasilkan sesuatu di disk, bukan dari teks balasannya.

</div>

## Sebaiknya agen dijalankan dengan model lokal?





Kegunaan model lokal saat ini:

- **Mentranskripsikan ucapan.** Ada model gratis dan terbuka untuk ini: ukurannya kecil dan mampu mengenali audio dengan baik. Suara Anda tidak bocor ke cloud, jadi semua rencana rahasia Anda tetap milik Anda. Ada panduan tentang cara menyiapkannya [di artikel terpisah](https://ailoot.ai/blog/id/free-voice-input-whisper/).
- **Tugas rutin.** Anda sudah bisa memakai model kecil yang kurang cerdas untuk tugas rutin: model-model itu mampu menanganinya.
- **Data yang Anda khawatirkan jika dikirim ke luar.** Jika Anda benar-benar khawatir, Anda dapat menjalankan model di komputer sendiri. Namun, kualitasnya akan buruk.

Tahun depan, model lokal mungkin akan membutuhkan ruang yang lebih kecil lagi. Metode kompresi yang canggih sudah tersedia, dan Anda dapat menggunakan RAM sebagai pengganti memori video. Menurut saya, dalam sekitar setahun, semua orang akan memiliki kotak kecil dengan model kecil yang kurang cerdas, tetapi mampu mengerjakan tugas setingkat Sonnet 5. Kita lihat saja.

Untuk penyiapan, ada baiknya menyimpan tabel “model mana untuk tugas apa” dan PDF berisi perintah instalasi Hermes di dekat Anda.

## Cara termudah: Local Models di Hermes desktop

Jika Anda memiliki aplikasi Hermes desktop, Anda tidak perlu memasang apa pun secara manual. Hermes akan memasang server llama.cpp lokal, mengunduh model, dan memilih ukuran konteks untuk Anda:

1. Buka **Settings → Providers → Local Models** atau pilih **Run models locally** saat pertama kali dibuka.
2. Klik **Install runtime**: Hermes akan mengunduh build llama.cpp untuk perangkat keras Anda; ukurannya beberapa ratus megabita.
3. Pilih model dari katalog dan klik **Download**.
4. Klik **Use**: obrolan baru akan menggunakan model lokal.

Setiap model di katalog memiliki label berwarna: hijau berarti model sepenuhnya muat di memori video, kuning berarti model berjalan melalui RAM dan lebih lambat, sedangkan merah berarti ukurannya terlalu besar untuk komputer Anda. Aplikasi mengatur konteks sebesar 64.000 atau lebih untuk model yang direkomendasikan. Kartu grafis dengan 8+ GB dapat menjalankan model kecil di katalog; kartu dengan 16+ GB dapat menjalankan model 27-35B. Jika model tidak digunakan selama 15 menit, aplikasi akan mengeluarkannya dari memori; model akan dimuat kembali saat Anda mengirim pesan berikutnya.

Bagian ini disertakan dalam build uji (canary) aplikasi; di build lainnya, buka dengan flag peluncuran `--local`. Jika Local Models tidak terlihat di pengaturan, kemungkinan besar itulah sebabnya. Dari terminal, alurnya sama: `hermes model` → **Local models**.

Setelah memilih model, periksa dengan tugas yang melibatkan file, seperti pada bagian di bawah.

Jika Anda membuat proyek sendiri dengan agen AI, periksa hasilnya pada tugas kecil yang nyata.



## Menggunakan Ollama: perangkat keras yang Anda butuhkan

Anda memerlukan Ollama jika Hermes dipasang di server atau bagian Local Models tidak tersedia. Persyaratan perangkat keras menurut panduan Hermes:

| Apa | Minimum | Lebih baik |
|----|----|----|
| RAM | 8 GB (model 3B) | 32+ GB (model 27B+) |
| Ruang disk | 5 GB | 30+ GB jika memiliki beberapa model |
| Prosesor | 4 inti | 8+ inti |
| Kartu grafis | Tidak diperlukan | NVIDIA dengan memori video 8+ GB memberikan perbedaan yang terasa |

8 GB hanya cukup untuk model kecil yang menghasilkan teks saja. Agar model dapat bekerja sebagai agen, Anda membutuhkan 24 GB atau lebih; lihat langkah 2 untuk detailnya. Semuanya dapat berjalan tanpa kartu grafis, tetapi lambat: model 9B pada prosesor 8 inti menghasilkan sekitar 10 token per detik; model 31B, 2-5 token per detik, dan setiap balasan memerlukan 30-120 detik.

## Langkah 1. Pasang Ollama

Ollama menjalankan model langsung di komputer Anda. Di Mac dan Linux, pasang dengan satu perintah di terminal:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

Di Windows, perintah PowerShell-nya adalah:

```powershell
irm https://ollama.com/install.ps1 | iex
```

Pastikan program sudah terpasang dan server merespons:

```bash
ollama --version
curl http://localhost:11434/api/tags
```

Jika belum memiliki model apa pun, perintah kedua akan mengembalikan daftar kosong. Ingat port 11434: Hermes menggunakannya untuk terhubung ke model.

## Langkah 2. Unduh model yang dapat bertindak

Apa yang dilakukan model? Model menghasilkan teks. Pembungkus di sekelilingnya, Hermes, menangani pekerjaan dengan file, perintah terminal, dan pencarian. Agar pembungkus dapat bekerja, model harus mampu memanggil alat. Tanpa kemampuan itu, agen hanya membalas dan tidak melakukan apa-apa.

| Model         | Di disk | Memori | Pemanggilan alat |
|---------------|----------|--------|--------------------|
| `gemma4:31b`  | ~20 GB   | 24+ GB | ya                 |
| `gemma2:27b`  | ~16 GB   | 20+ GB | tidak              |
| `gemma2:9b`   | ~5 GB    | 8+ GB  | tidak              |
| `llama3.2:3b` | ~2 GB    | 4+ GB  | tidak              |

Dari empat model ini, hanya `gemma4:31b` yang dapat berfungsi sebagai agen. Jika memori Anda kurang dari 24 GB, Anda tidak akan dapat menjalankan agen: model-model dalam tabel hanya akan membalas dengan teks. Model baru terus bermunculan di pustaka Ollama; untuk setiap model, periksa terlebih dahulu apakah model itu dapat memanggil alat.

```bash
ollama pull gemma4:31b
```

Anda dapat mengunduh beberapa model dan beralih di antaranya dalam Hermes dengan perintah `/model`.

## Langkah 3. Tingkatkan konteks menjadi 64.000

Secara bawaan, Ollama memberikan konteks 2,048 token kepada model, sedangkan Hermes membutuhkan setidaknya 64.000 untuk bekerja dengan alat. Dengan konteks bawaan, tugas tidak akan muat dan agen akan gagal dengan kesalahan.

Buat varian model dengan konteks yang lebih besar. Jalankan ini di terminal:

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

Sekarang Anda memiliki model `gemma4-64k`. Gunakan model ini untuk semua keperluan selanjutnya, bukan model aslinya.

## Langkah 4. Hubungkan ke Hermes

Mulai wizard penyiapan:

```bash
hermes setup
```

Saat ditanya tentang penyedia, pilih **Custom Endpoint** lalu masukkan:

- alamat: `http://localhost:11434/v1`;
- kunci: biarkan kosong atau masukkan `no-key`;
- model: `gemma4-64k`.

Anda dapat memasukkan konfigurasi yang sama secara manual ke `~/.hermes/config.yaml`:

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## Cara memeriksa apakah agen berfungsi

Jalankan `hermes` dan berikan tugas yang hasilnya terlihat di disk. Contohnya: “Daftar semua file Python di folder ini dan hitung jumlah baris masing-masing,” lalu “Buat file bernama test.txt.” Periksa dengan perintah `ls` atau di folder tersebut untuk melihat apakah file sudah muncul. Model tanpa alat dapat dengan santai menghasilkan daftar yang tampak meyakinkan tanpa membuka satu file pun.

Semakin murah jaringan saraf yang Anda gunakan, semakin canggih editor kulit yang dibutuhkannya. Editor itu adalah Anda. Semakin cerdas jaringan saraf Anda, semakin sedikit Anda perlu memakai pikiran sendiri, tetapi Anda tetap harus bekerja.

Video tentang penyiapan Hermes Agent lengkap dari awal:

<figure>
Video akan dimuat saat Anda menggulir
<figcaption>Panduan lengkap Hermes Agent dari awal untuk otomatisasi bisnis</figcaption>
</figure>

Video ini menunjukkan cara memasang Hermes dari awal, membuat karyawan AI pertama Anda, dan membandingkan pembayaran untuk setiap permintaan dengan langganan.

## Mengapa balasan pertama memerlukan beberapa menit

Pada setiap permintaan, Hermes mengirimkan bagian tetap: instruksi sistem dan deskripsi semua alat yang diaktifkan. Tanpa kartu grafis, model memerlukan waktu lama untuk memproses bagian ini terlebih dahulu, lalu menulis dengan kecepatan biasanya. Itu normal.

Yang membantu:

- `hermes prompt-size` menunjukkan ukuran bagian tetap;
- `hermes tools` menonaktifkan kumpulan alat yang tidak diperlukan, dan `hermes skills` membantu menghapus keterampilan tambahan. Setiap MCP yang terhubung (layanan eksternal) memperbesar setiap permintaan: jika tidak digunakan, nonaktifkan;
- `ollama ps` menunjukkan jumlah lapisan model yang dialihkan ke kartu grafis. Bahkan pengalihan sebagian dapat mempercepat proses: model 31B pada kartu grafis dengan 12 GB menempatkan sekitar 40 lapisan di sana; prosesor menangani sisanya;
- pada komputer yang lambat, atur `HERMES_API_TIMEOUT=1800` di `~/.hermes/.env` agar Hermes tidak memutus permintaan saat batas waktu tercapai.

Jika agen berjalan di server sepanjang waktu atau merespons di Telegram, ingat: Ollama mengeluarkan model setelah tidak aktif selama 5 menit, dan balasan berikutnya akan dimulai dengan memuatnya kembali. Pengaturan Ollama `OLLAMA_KEEP_ALIVE=24h` membuat model tetap berada di memori. Ada panduan untuk memindahkan agen ke server [dalam artikel tentang menjalankan Hermes Agent di server sepanjang waktu](https://ailoot.ai/blog/id/hermes-agent-vps-24-7/), dan untuk menyiapkan bot [dalam panduan penyiapan Hermes Telegram](https://ailoot.ai/blog/id/hermes-agent-telegram-setup/).

## Jika terjadi masalah

| Yang terlihat | Yang harus dilakukan |
|----|----|
| “Connection refused” saat memulai | Ollama tidak berjalan: `ollama serve` atau `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | Masukkan alamat Ollama di `providers.ollama.base_url` atau `model.base_url` |
| Agen merespons tetapi tidak melakukan apa-apa | Model tidak dapat memanggil alat; pasang `gemma4:31b` dan atur konteksnya menjadi 64.000 |
| Kesalahan yang disebabkan oleh konteks | Langkah 3 belum dilakukan |
| Percakapan panjang berjalan lambat | Jalankan `/compress` secara berkala |

## Model cloud sebagai cadangan

Dokumentasi Hermes menyarankan untuk menjadikan model lokal sebagai model utama dan menghubungkan model cloud sebagai cadangan. Untuk melakukannya, tambahkan blok dari dokumentasi di samping bagian `model` dalam `~/.hermes/config.yaml`:

[Temukan panduan alat dalam dokumentasi Ailoot](https://ailoot.ai/docs/)

Jika model lokal gagal tiga kali, Hermes mengirimkan tugas ke model cloud. Permintaan tersebut berbayar dan dikirim ke cloud.

Pilihan lainnya adalah menggunakan model langganan yang canggih untuk berpikir dan mengambil keputusan, sementara model lokal menangani tugas rutin. Tujuannya adalah mempertahankan kualitas dan secara bertahap mengurangi biaya token. Pendekatan ini menggunakan model yang lebih murah untuk langkah tertentu, dengan model lokal sebagai pilihan yang mungkin digunakan nanti. Artikel “Berapa biaya agen AI untuk bisnis?” menjelaskan biaya agen berbasis langganan. Jika Anda belum memasang Hermes, mulailah dengan panduan [cara memasang Hermes Agent](https://ailoot.ai/blog/id/hermes-agent-install-setup/).

Sudah pernah mencoba menyiapkan model lokal? Apa yang Anda jalankan dengannya? Ceritakan kepada kami; kami penasaran.

<div class="section" role="doc-bibliography" aria-label="Sources">

### Sumber

- [Hermes Agent: Run Hermes Locally with Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - persyaratan perangkat keras, instalasi dan verifikasi Ollama, tabel model dan pemanggilan alat, ukuran konteks 2,048 dan 64.000, koneksi melalui Custom Endpoint, balasan pertama dan batas waktu, pengeluaran model setelah 5 menit, pemecahan masalah, penyedia cadangan (diperiksa 7 Oktober 2026, sesuai dengan versi saat ini).
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - Local Models di aplikasi desktop, label memori, konteks 64K, pengeluaran model setelah 15 menit, `hermes model`, flag `--local` (diakses 7 Oktober 2026).
- [Ollama: download for Windows](https://ollama.com/download/windows) - perintah instalasi untuk Mac, Linux, dan Windows (diakses 7 Oktober 2026).

</div>








Lanjutkan menjelajahi Ailoot di [ailoot.ai](https://ailoot.ai/).

## Pertanyaan tentang Hermes Agent dengan model lokal: menghubungkan Ollama

### Bagaimana memverifikasi pemakaian alat, bukan balasan teks yang tampak masuk akal?

Minta Hermes mengerjakan tugas file kecil, lalu periksa folder dan isi file yang sebenarnya sendiri. Daftar yang dihasilkan dalam chat tidak membuktikan model membaca file atau membuat artefak.

### Apakah fallback model lokal menjaga setiap permintaan tetap pada mesin saya?

Hanya selama permintaan tetap ditangani model lokal. Konfigurasi fallback opsional yang dijelaskan di sini mengirim tugas kepada penyedia cloud setelah kegagalan lokal berulang; permintaan itu keluar dari mesin dan mungkin berbayar.


## Ailoot · Perusahaan dan portofolio proyeknya

Ailoot bertumpu pada pengalaman operasional yang teruji, basis pelanggan yang besar, layanan yang stabil, dan pemantauan KPI berkelanjutan.

Perusahaan dan portofolio proyeknya: jutaan pelanggan; penjualan miliaran setiap bulan.

Ailoot memanfaatkan pengalaman operasional ini untuk akses API ke fitur AI dalam produk pelanggan, agen, aplikasi, dan otomatisasi.