# 使用本機模型搭配 Hermes Agent：連接 Ollama

> 如何將本機模型連接至 Hermes Agent：使用桌面應用程式的 Local Models 或 Ollama、支援工具呼叫的模型、64,000 的上下文，以及如何確認運作正常。

Source: https://ailoot.ai/blog/zh-hant-tw/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/zh-hant-tw/hermes-local-model-ollama-context/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-0b18dd4fb7ed2c3f91db5ca30a812262f7f87510f65ca337be859929d6a8d3de


你可以在桌面應用程式中透過 Settings → Providers → Local Models，只需點擊四下就將本機模型連接至 Hermes Agent；也可以透過 Ollama 手動設定。無論採用哪種方式，都不需要金鑰、不必為每次請求付費，而且對話不會離開你的電腦。

本機模型執行起來不花錢，而 Hermes 可以搭配本機模型運作。最重要的是選擇能處理檔案和命令的模型，並提供至少 64,000 的上下文；否則，代理就會變成一般聊天工具。

來看看本機模型目前適用於哪些情況、如何連接，以及如何確認代理能處理檔案。開始吧。

Ailoot 參考文件：[ailoot.ai/docs/](https://ailoot.ai/docs/)。



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Key points in this section">

本節重點

最簡單的方式是在桌面版 Hermes 中依序開啟 Settings → Providers → Local Models、Install runtime、選擇模型、Download，然後按 Use。應用程式會自動為你選擇上下文大小。使用 Ollama 時，請下載支援工具呼叫的模型（Hermes 表格中的模型只有 `gemma4:31b` 支援，而且需要 24+ GB 記憶體），將上下文設為 64,000，而非預設的 2,048，並在 `hermes setup` 中選擇 Custom Endpoint，輸入網址 `http://localhost:11434/v1`，且不填金鑰。請用能在磁碟上產生結果的任務進行確認，不要只看回覆文字。

</div>

## 該不該讓代理使用本機模型？





本機模型已經派得上用場的情況：

- **語音轉錄。** 這方面有免費的開源模型：體積小，而且能準確辨識音訊。你的語音不會外洩到雲端，所以那些見不得人的計畫都只留在自己手上。如何設定的操作指南請見[另一篇文章](https://ailoot.ai/blog/zh-hant-tw/free-voice-input-whisper/)。
- **例行工作。** 現在就可以用小型的笨模型處理例行工作：它們能勝任。
- **你不想傳到外部的資料。** 如果你真的很在意，可以在自己的電腦上執行模型。但品質會比較差。

明年，本機模型大概還會更省空間。現在已經有強大的壓縮方法，也可以用 RAM 取代視訊記憶體。我想，大約一年後，每個人都會有一台小盒子，裡面裝著一個能以 Sonnet 5 的水準執行任務的小型笨模型。到時候再看看吧。

設定時，手邊最好備有一份「不同任務該用哪個模型」的表格，以及一份列有 Hermes 安裝命令的 PDF。

## 最簡單的方式：桌面版 Hermes 的 Local Models

如果你有 Hermes 桌面應用程式，就不必手動安裝任何東西。Hermes 會安裝本機 llama.cpp 伺服器、下載模型，並自動為你選擇上下文大小：

1. 開啟 **Settings → Providers → Local Models**，或在第一次啟動時選擇 **Run models locally**。
2. 按一下 **Install runtime**：Hermes 會依你的硬體下載 llama.cpp 組建檔，大小約數百 MB。
3. 從目錄中選擇模型，並按一下 **Download**。
4. 按一下 **Use**：新對話就會使用本機模型。

目錄中的每個模型都有彩色標籤：綠色表示模型可完全放進視訊記憶體；黃色表示會使用 RAM 執行，因此速度較慢；紅色表示模型對你的電腦來說太大。應用程式會為建議的模型設定 64,000 或更大的上下文。配備 8+ GB 記憶體的顯示卡可以執行目錄中的小型模型；16+ GB 則可執行 27-35B 模型。如果 15 分鐘沒有使用模型，應用程式就會將它從記憶體卸載；你再次傳送訊息時，它會重新載入。

此功能包含在應用程式的測試（canary）版本中；其他版本請使用 `--local` 啟動旗標開啟。如果你在設定中看不到 Local Models，很可能就是這個原因。在終端機中，使用相同功能的路徑為：`hermes model` → **Local models**。

選好模型後，請用下方章節所述、涉及檔案的任務確認它是否正常運作。

如果你使用 AI 代理打造自己的專案，請用一個小型的實際任務檢查結果。



## 使用 Ollama：需要哪些硬體

如果 Hermes 安裝在伺服器上，或你沒有 Local Models 區段，就需要 Ollama。Hermes 指南列出的硬體需求如下：

| 項目 | 最低需求 | 較佳配置 |
|----|----|----|
| RAM | 8 GB（3B 模型） | 32+ GB（27B+ 模型） |
| 磁碟空間 | 5 GB | 使用多個模型時需 30+ GB |
| 處理器 | 4 核心 | 8+ 核心 |
| 顯示卡 | 不需要 | 配備 8+ GB 視訊記憶體的 NVIDIA 顯示卡會帶來明顯差異 |

8 GB 只夠執行僅以文字回覆的小型模型。若要讓模型作為代理運作，你需要 24 GB 或更多記憶體；詳情請見步驟 2。沒有顯示卡也能運作，但速度較慢：9B 模型在 8 核心處理器上每秒約產生 10 個 token；31B 模型每秒產生 2-5 個 token，每次回覆要花 30-120 秒。

## 步驟 1. 安裝 Ollama

Ollama 會直接在你的電腦上執行模型。在 Mac 和 Linux 上，請在終端機輸入一個命令來安裝：

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

在 Windows 上，PowerShell 命令如下：

```powershell
irm https://ollama.com/install.ps1 | iex
```

確認程式已安裝，而且伺服器能正常回應：

```bash
ollama --version
curl http://localhost:11434/api/tags
```

如果你還沒有任何模型，第二個命令會傳回空清單。記住連接埠 11434：Hermes 會透過它連接模型。

## 步驟 2. 下載能採取行動的模型

模型會做什麼？它會產生文字。Hermes 是包在模型外面的包裝層，負責處理檔案、終端機命令和搜尋。包裝層要能運作，模型就必須能呼叫工具。否則，代理只會回覆，不會做任何事。

| 模型 | 磁碟空間 | 記憶體 | 工具呼叫 |
|---------------|----------|--------|--------------------|
| `gemma4:31b` | 約 20 GB | 24+ GB | 是 |
| `gemma2:27b` | 約 16 GB | 20+ GB | 否 |
| `gemma2:9b` | 約 5 GB | 8+ GB | 否 |
| `llama3.2:3b` | 約 2 GB | 4+ GB | 否 |

這四個模型中，只有 `gemma4:31b` 能作為代理運作。如果你的記憶體少於 24 GB，就無法執行代理：表中的模型只會回覆文字。Ollama 模型庫持續有新模型推出；每個新模型都要先確認是否能呼叫工具。

```bash
ollama pull gemma4:31b
```

你可以下載多個模型，並在 Hermes 中使用 `/model` 命令切換。

## 步驟 3. 將上下文增加至 64,000

Ollama 預設只給模型 2,048 個 token 的上下文，而 Hermes 至少需要 64,000 才能使用工具。使用預設上下文時，任務放不下，代理就會發生錯誤。

建立一個上下文較大的模型變體。在終端機執行以下命令：

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

現在你有了 `gemma4-64k` 模型。從現在起，所有地方都使用它，不要再用原始模型。

## 步驟 4. 將模型連接至 Hermes

啟動設定精靈：

```bash
hermes setup
```

系統詢問供應商時，選擇 **Custom Endpoint**，並輸入：

- 網址：`http://localhost:11434/v1`；
- 金鑰：留白或輸入 `no-key`；
- 模型：`gemma4-64k`。

你也可以手動在 `~/.hermes/config.yaml` 中輸入相同設定：

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## 如何確認代理能正常運作

執行 `hermes`，並交給它一項能在磁碟上看到結果的任務。例如：「列出這個資料夾中的所有 Python 檔案，並計算每個檔案的行數」，接著再說「建立一個名為 test.txt 的檔案」。使用 `ls` 命令，或直接查看資料夾，確認檔案是否出現。沒有工具的模型可以若無其事地產生看似合理的清單，卻連一個檔案都沒開過。

你使用的神經網路越便宜，就越需要一位高明的「皮革編輯器」。那就是你自己。神經網路越聰明，你就越少需要動腦，但你始終都得工作。

Hermes Agent 從零開始完整設定的影片：

<figure>
Video will load when you scroll
<figcaption>Hermes Agent 商業自動化從零開始完整指南</figcaption>
</figure>

影片會示範如何從零開始安裝 Hermes、打造第一位 AI 員工，以及比較每次請求付費與訂閱方案。

## 為什麼第一則回覆需要好幾分鐘

每次收到請求時，Hermes 都會傳送一段固定內容：系統指示，以及所有已啟用工具的說明。沒有顯示卡時，模型首先需要很長時間處理這部分，接著才會以平常的速度撰寫回覆。這是正常的。

以下方法可以改善情況：

- `hermes prompt-size`會顯示固定內容有多大；
- `hermes tools`可停用不需要的工具組，`hermes skills`則可協助移除多餘的技能。每個連接的 MCP（外部服務）都會讓每次請求變大；不使用的服務就關掉；
- `ollama ps`會顯示有多少模型層已卸載到顯示卡。即使只卸載一部分也會加快速度：視訊記憶體 12 GB 的顯示卡可載入 31B 模型約 40 層，其餘由處理器負責；
- 如果電腦速度很慢，請在 `~/.hermes/.env` 中設定 `HERMES_API_TIMEOUT=1800`，避免 Hermes 因逾時而中斷請求。

如果代理全天候在伺服器上執行，或透過 Telegram 回覆，請留意：Ollama 閒置 5 分鐘後會卸載模型，因此下一次回覆會先重新載入模型。Ollama 設定 `OLLAMA_KEEP_ALIVE=24h` 可讓模型留在記憶體中。如何將代理移至伺服器的操作指南，請見[Hermes Agent 全天候在伺服器上執行的文章](https://ailoot.ai/blog/zh-hant-tw/hermes-agent-vps-24-7/)；如何設定機器人，請見[Hermes Telegram 設定指南](https://ailoot.ai/blog/zh-hant-tw/hermes-agent-telegram-setup/)。

## 發生問題時

| 看到的情況 | 該怎麼做 |
|----|----|
| 啟動時出現「Connection refused」 | Ollama 沒有執行：執行 `ollama serve` 或 `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | 在 `providers.ollama.base_url` 或 `model.base_url` 中輸入 Ollama 網址 |
| 代理有回覆，卻什麼也沒做 | 模型無法呼叫工具；安裝 `gemma4:31b`，並將上下文設為 64,000 |
| 因上下文造成錯誤 | 尚未完成步驟 3 |
| 長對話速度很慢 | 定期執行 `/compress` |

## 以雲端模型作為備援

Hermes 文件建議將本機模型設為主要模型，並連接雲端模型作為備援。若要這樣設定，請將文件中的區塊新增至 `~/.hermes/config.yaml`，與 `model` 區段並列：

[在 Ailoot 說明文件中尋找工具使用指南](https://ailoot.ai/docs/)

如果本機模型連續失敗三次，Hermes 會將任務傳送給雲端模型。這些請求需要付費，而且會送往雲端。

另一種方式是讓功能強大的訂閱模型負責思考和決策，再由本機模型處理例行工作。目標是在維持品質的同時逐步降低 token 成本。這種做法會將較便宜的模型用於個別步驟，本機模型則可作為日後的選項。「商業用 AI 代理要花多少錢？」一文說明訂閱制代理的費用。如果你還沒安裝 Hermes，請從[如何安裝 Hermes Agent](https://ailoot.ai/blog/zh-hant-tw/hermes-agent-install-setup/)的操作指南開始。

你試過設定本機模型嗎？你用它來執行什麼？告訴我們吧，我們很好奇。

<div class="section" role="doc-bibliography" aria-label="Sources">

### 來源

- [Hermes Agent：使用 Ollama 在本機執行 Hermes](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - 硬體需求、Ollama 安裝與驗證、模型表和工具呼叫、2,048 與 64,000 的上下文大小、透過 Custom Endpoint 連接、第一則回覆與逾時、閒置 5 分鐘後卸載、疑難排解、備援供應商（2026 年 10 月 7 日查閱，內容與目前版本相符）。
- [Hermes Agent：Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - 桌面應用程式中的 Local Models、記憶體標籤、64K 上下文、閒置 15 分鐘後卸載、`hermes model`、`--local` 旗標（2026 年 10 月 7 日取得）。
- [Ollama：Windows 版下載](https://ollama.com/download/windows) - Mac、Linux 和 Windows 的安裝命令（2026 年 10 月 7 日取得）。

</div>








繼續探索 Ailoot：[ailoot.ai](https://ailoot.ai/)。

## 常見問題：使用本機模型搭配 Hermes Agent：連接 Ollama

### 如何確認真的使用工具，而不只是合理的文字回覆？

請 Hermes 做一項小型檔案任務，再親自檢查實際資料夾與內容。聊天中的生成清單，不能證明模型讀過檔案或建立成果。

### 本機模型 fallback 會讓所有請求都留在電腦嗎？

只有請求仍由本機模型處理時才會。本文選用的 fallback 設定會在多次本機失敗後把任務送到雲端供應商；那些請求會離開電腦，也可能收費。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。