使用本機模型搭配 Hermes Agent：連接 Ollama

你可以在桌面應用程式中透過 Settings → Providers → Local Models，只需點擊四下就將本機模型連接至 Hermes Agent；也可以透過 Ollama 手動設定。無論採用哪種方式，都不需要金鑰、不必為每次請求付費，而且對話不會離開你的電腦。

本機模型執行起來不花錢，而 Hermes 可以搭配本機模型運作。最重要的是選擇能處理檔案和命令的模型，並提供至少 64,000 的上下文；否則，代理就會變成一般聊天工具。

來看看本機模型目前適用於哪些情況、如何連接，以及如何確認代理能處理檔案。開始吧。

Ailoot 參考文件：ailoot.ai/docs/。

該不該讓代理使用本機模型？#

本機模型已經派得上用場的情況：

• 語音轉錄。 這方面有免費的開源模型：體積小，而且能準確辨識音訊。你的語音不會外洩到雲端，所以那些見不得人的計畫都只留在自己手上。如何設定的操作指南請見另一篇文章。
• 例行工作。 現在就可以用小型的笨模型處理例行工作：它們能勝任。
• 你不想傳到外部的資料。 如果你真的很在意，可以在自己的電腦上執行模型。但品質會比較差。

明年，本機模型大概還會更省空間。現在已經有強大的壓縮方法，也可以用 RAM 取代視訊記憶體。我想，大約一年後，每個人都會有一台小盒子，裡面裝著一個能以 Sonnet 5 的水準執行任務的小型笨模型。到時候再看看吧。

設定時，手邊最好備有一份「不同任務該用哪個模型」的表格，以及一份列有 Hermes 安裝命令的 PDF。

最簡單的方式：桌面版 Hermes 的 Local Models#

如果你有 Hermes 桌面應用程式，就不必手動安裝任何東西。Hermes 會安裝本機 llama.cpp 伺服器、下載模型，並自動為你選擇上下文大小：

1. 開啟 Settings → Providers → Local Models，或在第一次啟動時選擇 Run models locally。
2. 按一下 Install runtime：Hermes 會依你的硬體下載 llama.cpp 組建檔，大小約數百 MB。
3. 從目錄中選擇模型，並按一下 Download。
4. 按一下 Use：新對話就會使用本機模型。

目錄中的每個模型都有彩色標籤：綠色表示模型可完全放進視訊記憶體；黃色表示會使用 RAM 執行，因此速度較慢；紅色表示模型對你的電腦來說太大。應用程式會為建議的模型設定 64,000 或更大的上下文。配備 8+ GB 記憶體的顯示卡可以執行目錄中的小型模型；16+ GB 則可執行 27-35B 模型。如果 15 分鐘沒有使用模型，應用程式就會將它從記憶體卸載；你再次傳送訊息時，它會重新載入。

此功能包含在應用程式的測試（canary）版本中；其他版本請使用 --local 啟動旗標開啟。如果你在設定中看不到 Local Models，很可能就是這個原因。在終端機中，使用相同功能的路徑為：hermes model → Local models。

選好模型後，請用下方章節所述、涉及檔案的任務確認它是否正常運作。

如果你使用 AI 代理打造自己的專案，請用一個小型的實際任務檢查結果。

使用 Ollama：需要哪些硬體#

如果 Hermes 安裝在伺服器上，或你沒有 Local Models 區段，就需要 Ollama。Hermes 指南列出的硬體需求如下：

8 GB 只夠執行僅以文字回覆的小型模型。若要讓模型作為代理運作，你需要 24 GB 或更多記憶體；詳情請見步驟 2。沒有顯示卡也能運作，但速度較慢：9B 模型在 8 核心處理器上每秒約產生 10 個 token；31B 模型每秒產生 2-5 個 token，每次回覆要花 30-120 秒。

步驟 1. 安裝 Ollama#

Ollama 會直接在你的電腦上執行模型。在 Mac 和 Linux 上，請在終端機輸入一個命令來安裝：

curl -fsSL https://ollama.com/install.sh | sh

在 Windows 上，PowerShell 命令如下：

irm https://ollama.com/install.ps1 | iex

確認程式已安裝，而且伺服器能正常回應：

ollama --version
curl http://localhost:11434/api/tags

如果你還沒有任何模型，第二個命令會傳回空清單。記住連接埠 11434：Hermes 會透過它連接模型。

步驟 2. 下載能採取行動的模型#

模型會做什麼？它會產生文字。Hermes 是包在模型外面的包裝層，負責處理檔案、終端機命令和搜尋。包裝層要能運作，模型就必須能呼叫工具。否則，代理只會回覆，不會做任何事。

這四個模型中，只有 gemma4:31b 能作為代理運作。如果你的記憶體少於 24 GB，就無法執行代理：表中的模型只會回覆文字。Ollama 模型庫持續有新模型推出；每個新模型都要先確認是否能呼叫工具。

ollama pull gemma4:31b

你可以下載多個模型，並在 Hermes 中使用 /model 命令切換。

步驟 3. 將上下文增加至 64,000#

Ollama 預設只給模型 2,048 個 token 的上下文，而 Hermes 至少需要 64,000 才能使用工具。使用預設上下文時，任務放不下，代理就會發生錯誤。

建立一個上下文較大的模型變體。在終端機執行以下命令：

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

現在你有了 gemma4-64k 模型。從現在起，所有地方都使用它，不要再用原始模型。

步驟 4. 將模型連接至 Hermes#

啟動設定精靈：

hermes setup

系統詢問供應商時，選擇 Custom Endpoint，並輸入：

• 網址：http://localhost:11434/v1；
• 金鑰：留白或輸入 no-key；
• 模型：gemma4-64k。

你也可以手動在 ~/.hermes/config.yaml 中輸入相同設定：

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

如何確認代理能正常運作#

執行 hermes，並交給它一項能在磁碟上看到結果的任務。例如：「列出這個資料夾中的所有 Python 檔案，並計算每個檔案的行數」，接著再說「建立一個名為 test.txt 的檔案」。使用 ls 命令，或直接查看資料夾，確認檔案是否出現。沒有工具的模型可以若無其事地產生看似合理的清單，卻連一個檔案都沒開過。

你使用的神經網路越便宜，就越需要一位高明的「皮革編輯器」。那就是你自己。神經網路越聰明，你就越少需要動腦，但你始終都得工作。

Hermes Agent 從零開始完整設定的影片：

影片會示範如何從零開始安裝 Hermes、打造第一位 AI 員工，以及比較每次請求付費與訂閱方案。

為什麼第一則回覆需要好幾分鐘#

每次收到請求時，Hermes 都會傳送一段固定內容：系統指示，以及所有已啟用工具的說明。沒有顯示卡時，模型首先需要很長時間處理這部分，接著才會以平常的速度撰寫回覆。這是正常的。

以下方法可以改善情況：

• hermes prompt-size會顯示固定內容有多大；
• hermes tools可停用不需要的工具組，hermes skills則可協助移除多餘的技能。每個連接的 MCP（外部服務）都會讓每次請求變大；不使用的服務就關掉；
• ollama ps會顯示有多少模型層已卸載到顯示卡。即使只卸載一部分也會加快速度：視訊記憶體 12 GB 的顯示卡可載入 31B 模型約 40 層，其餘由處理器負責；
• 如果電腦速度很慢，請在 ~/.hermes/.env 中設定 HERMES_API_TIMEOUT=1800，避免 Hermes 因逾時而中斷請求。

如果代理全天候在伺服器上執行，或透過 Telegram 回覆，請留意：Ollama 閒置 5 分鐘後會卸載模型，因此下一次回覆會先重新載入模型。Ollama 設定 OLLAMA_KEEP_ALIVE=24h 可讓模型留在記憶體中。如何將代理移至伺服器的操作指南，請見Hermes Agent 全天候在伺服器上執行的文章；如何設定機器人，請見Hermes Telegram 設定指南。

發生問題時#

以雲端模型作為備援#

Hermes 文件建議將本機模型設為主要模型，並連接雲端模型作為備援。若要這樣設定，請將文件中的區塊新增至 ~/.hermes/config.yaml，與 model 區段並列：

在 Ailoot 說明文件中尋找工具使用指南

如果本機模型連續失敗三次，Hermes 會將任務傳送給雲端模型。這些請求需要付費，而且會送往雲端。

另一種方式是讓功能強大的訂閱模型負責思考和決策，再由本機模型處理例行工作。目標是在維持品質的同時逐步降低 token 成本。這種做法會將較便宜的模型用於個別步驟，本機模型則可作為日後的選項。「商業用 AI 代理要花多少錢？」一文說明訂閱制代理的費用。如果你還沒安裝 Hermes，請從如何安裝 Hermes Agent的操作指南開始。

你試過設定本機模型嗎？你用它來執行什麼？告訴我們吧，我們很好奇。

繼續探索 Ailoot：ailoot.ai。