# Hermes Agent dengan model tempatan: menyambungkan Ollama

> Cara menyambungkan model tempatan kepada Hermes Agent: Local Models dalam aplikasi desktop atau Ollama, model dengan panggilan alat, konteks 64,000 dan cara menyemak sama ada ia berfungsi.

Source: https://ailoot.ai/blog/ms/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/ms/hermes-local-model-ollama-context/
Language: ms
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-750f76899f4f258809109fd7c062acda1439e4fbacc55585ac921ceab0ea859b


Anda boleh menyambungkan model tempatan kepada Hermes Agent dalam aplikasi desktop melalui Settings → Providers → Local Models dengan empat klik, atau secara manual melalui Ollama. Dalam kedua-dua cara, anda tidak memerlukan kunci, tidak perlu membayar untuk setiap permintaan, dan perbualan tidak meninggalkan komputer anda.

Model tempatan tidak memerlukan kos untuk dijalankan, dan Hermes boleh menggunakannya. Perkara utama ialah memilih model yang boleh bekerja dengan fail dan arahan, serta memberikannya konteks sekurang-kurangnya 64,000; jika tidak, ejen itu akan menjadi sembang biasa.

Mari lihat kegunaan model tempatan pada hari ini, cara menyambungkannya dan cara menyemak sama ada ejen berfungsi dengan fail. Mari kita mulakan.

Dokumentasi rujukan Ailoot: [ailoot.ai/docs/](https://ailoot.ai/docs/).



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Perkara utama dalam bahagian ini">

Perkara utama

Cara paling mudah ialah melalui Hermes desktop: Settings → Providers → Local Models, Install runtime, pilih model, Download dan Use. Aplikasi akan memilih saiz konteks untuk anda. Dengan Ollama: muat turun model yang menyokong panggilan alat (daripada jadual Hermes, hanya `gemma4:31b` menyokongnya dan model ini memerlukan memori 24+ GB), tetapkan konteks kepada 64,000 dan bukannya nilai lalai 2,048, kemudian pilih Custom Endpoint dalam `hermes setup` dengan alamat `http://localhost:11434/v1` dan tanpa kunci. Semak dengan tugasan yang menghasilkan sesuatu pada cakera, bukan berdasarkan teks balasan.

</div>

## Patutkah anda menggunakan model tempatan untuk ejen?





Kegunaan model tempatan pada masa ini:

- **Transkripsi pertuturan.** Terdapat model percuma dan sumber terbuka untuk tujuan ini: modelnya kecil dan boleh mengecam audio dengan baik. Suara anda tidak bocor ke awan, jadi semua rancangan licik anda kekal dengan anda. Panduan tentang cara menyediakannya ada [dalam artikel berasingan](https://ailoot.ai/blog/ms/free-voice-input-whisper/).
- **Tugas rutin.** Anda sudah boleh menggunakan model kecil yang kurang pintar untuk tugas rutin: model itu mampu melakukannya.
- **Data yang anda takut hantar ke luar.** Jika anda benar-benar bimbang, anda boleh menjalankan model pada komputer sendiri. Tetapi kualitinya akan rendah.

Tahun depan, model tempatan mungkin akan menggunakan ruang yang lebih kecil lagi. Kaedah pemampatan yang berkuasa sudah tersedia, dan anda boleh menggunakan RAM dan bukannya memori video. Saya rasa dalam masa setahun atau lebih, semua orang akan mempunyai sebuah kotak kecil dengan model kecil yang kurang pintar, yang mampu melaksanakan tugas pada tahap Sonnet 5. Kita lihat nanti.

Untuk persediaan, elok sediakan jadual “model yang sesuai untuk tugas tertentu” dan PDF dengan arahan pemasangan Hermes.

## Cara paling mudah: Local Models dalam Hermes desktop

Jika anda mempunyai aplikasi Hermes desktop, anda tidak perlu memasang apa-apa secara manual. Hermes akan memasang pelayan llama.cpp tempatan, memuat turun model dan memilih saiz konteks untuk anda:

1. Buka **Settings → Providers → Local Models** atau pilih **Run models locally** semasa pelancaran pertama.
2. Klik **Install runtime**: Hermes akan memuat turun binaan llama.cpp yang sesuai untuk perkakasan anda; saiznya beberapa ratus megabait.
3. Pilih model daripada katalog dan klik **Download**.
4. Klik **Use**: sembang baharu akan menggunakan model tempatan.

Setiap model dalam katalog mempunyai label berwarna: hijau bermaksud model muat sepenuhnya dalam memori video, kuning bermaksud model berjalan melalui RAM dan lebih perlahan, manakala merah bermaksud model terlalu besar untuk komputer anda. Aplikasi menetapkan konteks sekurang-kurangnya 64,000 untuk model yang disyorkan. Kad grafik dengan 8+ GB boleh menjalankan model kecil dalam katalog; kad dengan 16+ GB boleh menjalankan model 27-35B. Jika model tidak digunakan selama 15 minit, aplikasi akan memunggahnya daripada memori; model itu akan dimuatkan semula apabila anda menghantar mesej seterusnya.

Bahagian ini disertakan dalam binaan ujian (canary) aplikasi; untuk binaan lain, bukanya dengan bendera pelancaran `--local`. Jika anda tidak nampak Local Models dalam tetapan, itulah kemungkinan sebabnya. Dari terminal, laluan yang sama ialah: `hermes model` → **Local models**.

Selepas memilih model, semaknya dengan tugasan yang melibatkan fail seperti dalam bahagian di bawah.

Jika anda membina projek sendiri dengan ejen AI, semak hasilnya menggunakan tugasan kecil yang sebenar.



## Menggunakan Ollama: perkakasan yang diperlukan

Anda memerlukan Ollama jika Hermes dipasang pada pelayan atau anda tidak mempunyai bahagian Local Models. Keperluan perkakasan daripada panduan Hermes:

| Perkara | Minimum | Lebih baik |
|----|----|----|
| RAM | 8 GB (model 3B) | 32+ GB (model 27B+) |
| Ruang cakera | 5 GB | 30+ GB jika anda mempunyai beberapa model |
| Pemproses | 4 teras | 8+ teras |
| Kad grafik | Tidak diperlukan | NVIDIA dengan memori video 8+ GB memberikan perbezaan yang ketara |

8 GB hanya mencukupi untuk model kecil yang membalas dengan teks sahaja. Untuk menjadikan model berfungsi sebagai ejen, anda memerlukan 24 GB atau lebih; lihat langkah 2 untuk butirannya. Semuanya boleh berfungsi tanpa kad grafik, tetapi perlahan: model 9B pada pemproses 8 teras menjana kira-kira 10 token sesaat; model 31B pula 2-5 token sesaat, dan setiap balasan mengambil masa 30-120 saat.

## Langkah 1. Pasang Ollama

Ollama menjalankan model terus pada komputer anda. Pada Mac dan Linux, pasangkannya dengan satu arahan dalam terminal:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

Pada Windows, arahan PowerShell ialah:

```powershell
irm https://ollama.com/install.ps1 | iex
```

Semak sama ada program telah dipasang dan pelayan memberikan respons:

```bash
ollama --version
curl http://localhost:11434/api/tags
```

Jika anda belum mempunyai sebarang model, arahan kedua akan memulangkan senarai kosong. Ingat port 11434: Hermes menggunakannya untuk mengakses model.

## Langkah 2. Muat turun model yang boleh mengambil tindakan

Apakah yang dilakukan oleh model? Model menjana teks. Pembalut di sekelilingnya, iaitu Hermes, mengendalikan kerja dengan fail, arahan terminal dan carian. Untuk pembalut itu berfungsi, model mestilah boleh memanggil alat. Tanpa keupayaan itu, ejen hanya membalas dan tidak melakukan apa-apa.

| Model         | Pada cakera | Memori | Panggilan alat |
|---------------|----------|--------|--------------------|
| `gemma4:31b`  | ~20 GB   | 24+ GB | ya                |
| `gemma2:27b`  | ~16 GB   | 20+ GB | tidak                 |
| `gemma2:9b`   | ~5 GB    | 8+ GB  | tidak                 |
| `llama3.2:3b` | ~2 GB    | 4+ GB  | tidak                 |

Daripada empat model ini, hanya `gemma4:31b` boleh berfungsi sebagai ejen. Jika memori anda kurang daripada 24 GB, anda tidak akan dapat menjalankan ejen: model dalam jadual hanya akan membalas dengan teks. Model baharu sentiasa muncul dalam pustaka Ollama; bagi setiap model, semak dahulu sama ada model itu boleh memanggil alat.

```bash
ollama pull gemma4:31b
```

Anda boleh memuat turun beberapa model dan bertukar antara model tersebut dalam Hermes menggunakan arahan `/model`.

## Langkah 3. Tingkatkan konteks kepada 64,000

Secara lalai, Ollama memberikan model konteks sebanyak 2,048 token, sedangkan Hermes memerlukan sekurang-kurangnya 64,000 untuk bekerja dengan alat. Dengan konteks lalai, tugasan tidak akan muat dan ejen akan gagal dengan ralat.

Cipta varian model dengan konteks yang lebih besar. Jalankan ini dalam terminal:

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

Kini anda mempunyai model `gemma4-64k`. Mulai sekarang, gunakan model ini di mana-mana, bukan model asal.

## Langkah 4. Sambungkan model kepada Hermes

Mulakan wizard persediaan:

```bash
hermes setup
```

Apabila ditanya tentang penyedia, pilih **Custom Endpoint** dan masukkan:

- alamat: `http://localhost:11434/v1`;
- kunci: biarkan kosong atau masukkan `no-key`;
- model: `gemma4-64k`.

Anda boleh memasukkan konfigurasi yang sama secara manual dalam `~/.hermes/config.yaml`:

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## Cara menyemak sama ada ejen berfungsi

Jalankan `hermes` dan berikan tugasan yang hasilnya boleh dilihat pada cakera. Contohnya: “Senaraikan semua fail Python dalam folder ini dan kira bilangan baris dalam setiap fail,” kemudian “Cipta fail bernama test.txt.” Semak menggunakan arahan `ls` atau dalam folder untuk melihat sama ada fail itu muncul. Model tanpa alat boleh memberikan senarai yang nampak meyakinkan tanpa membuka walau satu fail pun.

Semakin murah rangkaian neural yang anda gunakan, semakin canggih penyunting kulit yang diperlukannya. Andalah penyunting itu. Semakin pintar rangkaian neural anda, semakin kurang anda perlu menggunakan fikiran sendiri, tetapi anda tetap perlu bekerja.

Video tentang persediaan lengkap Hermes Agent dari awal:

<figure>
Video akan dimuatkan apabila anda menatal
<figcaption>Panduan lengkap Hermes Agent dari awal untuk automasi perniagaan</figcaption>
</figure>

Video ini menunjukkan cara memasang Hermes dari awal, membina pekerja AI pertama anda dan membandingkan bayaran bagi setiap permintaan dengan langganan.

## Mengapa balasan pertama mengambil masa beberapa minit

Bagi setiap permintaan, Hermes menghantar bahagian tetap: arahan sistem dan huraian semua alat yang didayakan. Tanpa kad grafik, model mengambil masa yang lama untuk memproses bahagian ini terlebih dahulu, kemudian menulis pada kelajuan biasanya. Itu perkara biasa.

Perkara yang membantu:

- `hermes prompt-size` menunjukkan saiz bahagian tetap;
- `hermes tools` menyahdayakan set alat yang tidak diperlukan, manakala `hermes skills` membantu membuang kemahiran tambahan. Setiap MCP yang disambungkan (perkhidmatan luaran) membesarkan setiap permintaan: jika anda tidak menggunakannya, matikannya;
- `ollama ps` menunjukkan bilangan lapisan model yang telah dipindahkan ke kad grafik. Pemindahan separa pun mempercepatkan proses: model 31B pada kad grafik dengan 12 GB meletakkan kira-kira 40 lapisan padanya; pemproses mengendalikan selebihnya;
- pada komputer yang perlahan, tetapkan `HERMES_API_TIMEOUT=1800` dalam `~/.hermes/.env` supaya Hermes tidak menghentikan permintaan apabila had masa tamat.

Jika ejen berjalan pada pelayan sepanjang masa atau membalas dalam Telegram, ambil perhatian: Ollama memunggah model selepas 5 minit tidak aktif, dan balasan seterusnya akan bermula dengan memuatkannya semula. Tetapan Ollama `OLLAMA_KEEP_ALIVE=24h` mengekalkan model dalam memori. Panduan untuk memindahkan ejen ke pelayan supaya berjalan sepanjang masa ada [dalam artikel tentang menjalankan Hermes Agent pada pelayan sepanjang masa](https://ailoot.ai/blog/ms/hermes-agent-vps-24-7/), manakala panduan menyediakan bot ada [dalam panduan persediaan Hermes untuk Telegram](https://ailoot.ai/blog/ms/hermes-agent-telegram-setup/).

## Jika berlaku masalah

| Perkara yang anda lihat | Tindakan |
|----|----|
| “Connection refused” semasa permulaan | Ollama tidak berjalan: `ollama serve` atau `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | Masukkan alamat Ollama dalam `providers.ollama.base_url` atau `model.base_url` |
| Ejen membalas tetapi tidak melakukan apa-apa | Model tidak boleh memanggil alat; pasang `gemma4:31b` dan tetapkan konteks kepada 64,000 |
| Ralat yang disebabkan oleh konteks | Langkah 3 belum dilakukan |
| Perbualan panjang berjalan perlahan | Jalankan `/compress` dengan kerap |

## Model awan sebagai pilihan sandaran

Dokumentasi Hermes mencadangkan supaya model tempatan dikekalkan sebagai model utama dan model awan disambungkan sebagai pilihan sandaran. Untuk berbuat demikian, tambah blok daripada dokumentasi bersebelahan bahagian `model` dalam `~/.hermes/config.yaml`:

[Cari panduan alat dalam dokumentasi Ailoot](https://ailoot.ai/docs/)

Jika model tempatan gagal tiga kali, Hermes akan menghantar tugasan kepada model awan. Permintaan tersebut berbayar dan dihantar ke awan.

Pilihan lain ialah menggunakan model langganan yang berkuasa untuk berfikir dan membuat keputusan, sementara model tempatan mengendalikan tugas rutin. Matlamatnya ialah mengekalkan kualiti dan mengurangkan kos token secara beransur-ansur. Pendekatan ini menggunakan model yang lebih murah untuk langkah individu, manakala model tempatan mungkin menjadi pilihan kemudian. Artikel “Berapakah kos ejen AI untuk perniagaan?” menerangkan kos ejen yang menggunakan langganan. Jika anda belum memasang Hermes, mulakan dengan panduan tentang [cara memasang Hermes Agent](https://ailoot.ai/blog/ms/hermes-agent-install-setup/).

Pernahkah anda mencuba menyediakan model tempatan? Apakah yang anda jalankan dengannya? Beritahu kami; kami ingin tahu.

<div class="section" role="doc-bibliography" aria-label="Sumber">

### Sumber

- [Hermes Agent: Run Hermes Locally with Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - keperluan perkakasan, pemasangan dan pengesahan Ollama, jadual model dan panggilan alat, saiz konteks 2,048 dan 64,000, sambungan melalui Custom Endpoint, balasan pertama dan had masa, pemunggahan selepas 5 minit, penyelesaian masalah, penyedia sandaran (disemak pada 7 Oktober 2026, sepadan dengan versi semasa).
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - Local Models dalam aplikasi desktop, label memori, konteks 64K, pemunggahan selepas 15 minit, `hermes model`, bendera `--local` (diperoleh pada 7 Oktober 2026).
- [Ollama: download for Windows](https://ollama.com/download/windows) - arahan pemasangan untuk Mac, Linux dan Windows (diperoleh pada 7 Oktober 2026).

</div>








Teruskan meneroka Ailoot di [ailoot.ai](https://ailoot.ai/).

## Soalan lazim: Hermes Agent dengan model tempatan: menyambungkan Ollama

### Bagaimanakah saya mengesahkan penggunaan alat, bukan sekadar jawapan teks yang munasabah?

Minta Hermes melakukan tugasan fail kecil, kemudian periksa folder dan kandungan fail sebenar sendiri. Senarai dijana dalam sembang tidak membuktikan model membaca fail atau mencipta artifak.

### Adakah pilihan sandaran model setempat memastikan setiap permintaan kekal pada mesin saya?

Hanya selagi permintaan kekal dengan model setempat. Konfigurasi sandaran pilihan yang diterangkan menghantar tugasan kepada penyedia awan selepas kegagalan setempat berulang; permintaan itu meninggalkan mesin dan mungkin berbayar.


## Ailoot · Syarikat dan portfolio projeknya

Ailoot berteraskan pengalaman operasi yang mantap, pangkalan pelanggan yang besar, perkhidmatan yang stabil dan pemantauan KPI berterusan.

Syarikat dan portfolio projeknya: jutaan pelanggan; jualan bernilai berbilion setiap bulan.

Ailoot menggunakan pengalaman operasi ini untuk akses API kepada ciri AI dalam produk pelanggan, ejen, aplikasi dan automasi.