ローカルモデルを使ったHermes Agent：Ollamaの接続方法

デスクトップアプリでは、Settings → Providers → Local Modelsから4クリックでローカルモデルをHermes Agentに接続できます。または、Ollama経由で手動設定することもできます。どちらの方法でも、キーは不要で、リクエストごとの支払いもなく、会話が端末の外に出ることもありません。

ローカルモデルは無料で実行でき、Hermesはローカルモデルにも対応しています。大切なのは、ファイルやコマンドを扱えるモデルを選び、少なくとも64,000のコンテキストを与えることです。そうしないと、エージェントは普通のチャットになってしまいます。

今日はローカルモデルがどんな場面で役立つのか、接続方法、そしてエージェントがファイルを扱えているかの確認方法を見ていきます。始めましょう。

Ailootの参考ドキュメント：ailoot.ai/docs/。

エージェントをローカルモデルで動かすべきか？#

ローカルモデルがすでに役立つ場面：

• 音声の文字起こし。 これには無料のオープンモデルがあります。小型で、音声をうまく認識します。音声がクラウドに漏れないので、秘密の計画も手元に残ります。設定方法は別の記事で解説しています。
• 定型作業。 定型作業なら、すでに小さくて賢くないモデルを使えます。こうした作業には対応できます。
• 外部に送るのが不安なデータ。 本当に心配なら、自分の端末でモデルを実行できます。ただし、品質は低くなります。

来年には、ローカルモデルがさらに省スペースになるでしょう。強力な圧縮方法はすでにあり、ビデオメモリの代わりにRAMを使うこともできます。1年ほどで、誰もがSonnet 5と同程度のタスクをこなす、小さな賢くないモデルを載せた小型端末を持つようになると思います。様子を見ましょう。

設定するときは、「タスクごとのモデル」表とHermesのインストールコマンドをまとめたPDFを手元に置いておくと便利です。

いちばん簡単な方法：デスクトップ版HermesのLocal Models#

Hermesのデスクトップアプリがあれば、手動で何かをインストールする必要はありません。Hermesがローカルのllama.cppサーバーをインストールし、モデルをダウンロードして、コンテキストサイズも自動で選びます。

1. Settings → Providers → Local Modelsを開くか、初回起動時にRun models locallyを選びます。
2. Install runtimeをクリックします。Hermesがハードウェアに合ったllama.cppビルドをダウンロードします。サイズは数百メガバイトです。
3. カタログからモデルを選び、Downloadをクリックします。
4. Useをクリックすると、新しいチャットでローカルモデルが使われます。

カタログ内の各モデルには色付きラベルがあります。緑はビデオメモリに完全に収まること、黄色はRAMを使って動作し、速度が遅くなること、赤はコンピューターに対して大きすぎることを示します。アプリは推奨モデルに64,000以上のコンテキストを設定します。8+ GBのグラフィックカードならカタログ内の小型モデルを実行できます。16+ GBなら27-35Bモデルを実行できます。15分間モデルを使わないと、アプリはメモリからモデルをアンロードします。次のメッセージを送ると、再び読み込まれます。

このセクションはアプリのテスト（canary）ビルドに含まれています。それ以外のビルドでは、起動フラグ--localを付けて開きます。設定にLocal Modelsが見当たらない場合は、それが理由である可能性が高いです。ターミナルからは、同じ機能をhermes model → Local modelsの順に開けます。

モデルを選んだら、以下のセクションにあるように、ファイルを扱うタスクで動作を確認してください。

AIエージェントを使ってプロジェクトを作る場合は、小さくて実際のタスクで結果を確認しましょう。

Ollamaを使う：必要なハードウェア#

Hermesがサーバーにインストールされている場合や、Local Modelsのセクションがない場合はOllamaが必要です。Hermesガイドに記載されているハードウェア要件は次のとおりです。

8 GBで動かせるのは、テキストだけを返す小型モデルに限られます。モデルをエージェントとして動かすには24 GB以上が必要です。詳しくは手順2を参照してください。グラフィックカードがなくても動きますが、速度は遅くなります。8コアプロセッサでは9Bモデルが毎秒約10トークン、31Bモデルが毎秒2-5トークンを生成し、返信ごとに30-120秒かかります。

手順1. Ollamaをインストールする#

Ollamaはモデルをコンピューター上で直接実行します。MacとLinuxでは、ターミナルで次のコマンドを1つ実行してインストールします。

curl -fsSL https://ollama.com/install.sh | sh

Windowsでは、PowerShellで次のコマンドを実行します。

irm https://ollama.com/install.ps1 | iex

プログラムがインストールされ、サーバーが応答することを確認します。

ollama --version
curl http://localhost:11434/api/tags

まだモデルがなければ、2つ目のコマンドは空のリストを返します。ポート11434を覚えておいてください。Hermesはこのポートを使ってモデルに接続します。

手順2. 操作できるモデルをダウンロードする#

モデルは何をするのでしょうか？テキストを生成します。その周囲で動くラッパーのHermesが、ファイルやターミナルコマンド、検索を扱います。ラッパーが機能するには、モデルがツールを呼び出せなければなりません。そうでなければ、エージェントは返信するだけで、何もしません。

この4モデルのうち、エージェントとして動作するのはgemma4:31bだけです。メモリが24 GB未満なら、エージェントは実行できません。表のモデルはテキストを返すだけです。Ollamaライブラリには新しいモデルが次々と登場するため、それぞれについて、まずツール呼び出しに対応しているか確認してください。

ollama pull gemma4:31b

複数のモデルをダウンロードして、Hermesの/modelコマンドで切り替えられます。

手順3. コンテキストを64,000に増やす#

Ollamaが既定でモデルに与えるコンテキストは2,048トークンですが、Hermesがツールを使うには少なくとも64,000必要です。既定のコンテキストではタスクが収まらず、エージェントはエラーになります。

コンテキストを大きくしたモデルの派生版を作成します。ターミナルで次を実行してください。

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

これでgemma4-64kモデルが使えるようになります。今後は元のモデルではなく、どこでもこちらを使ってください。

手順4. Hermesに接続する#

セットアップウィザードを起動します。

hermes setup

プロバイダーを尋ねられたら、Custom Endpointを選び、次を入力します。

• アドレス：http://localhost:11434/v1。
• キー：空欄のままにするか、no-keyを入力します。
• モデル：gemma4-64k。

同じ設定を~/.hermes/config.yamlに手動で入力することもできます。

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

エージェントの動作を確認する#

hermesを実行し、結果がディスク上で確認できるタスクを与えます。たとえば、「このフォルダーにあるPythonファイルをすべて一覧表示して、それぞれの行数を数えてください」と頼み、続けて「test.txtという名前のファイルを作成してください」と指示します。lsコマンドを実行するかフォルダーを開き、ファイルができたか確認します。ツールを使えないモデルは、ファイルを1つも開かずに、もっともらしい一覧を落ち着いて作り出すことがあります。

使うニューラルネットワークが安価なほど、高度な「革の編集者」が必要になります。つまり、あなた自身です。ニューラルネットワークが賢いほど、自分の頭を使う場面は減りますが、作業は常に必要です。

Hermes Agentのセットアップをゼロから解説する動画：

この動画では、Hermesをゼロからインストールし、最初のAI従業員を作り、リクエストごとの支払いとサブスクリプションを比較します。

最初の返信に数分かかる理由#

リクエストのたびに、Hermesは固定部分を送信します。システム指示と、有効になっているすべてのツールの説明です。グラフィックカードがない場合、モデルはまずこの部分の処理に時間がかかり、その後は通常の速度で文章を生成します。これは正常です。

役立つ方法：

• hermes prompt-sizeで固定部分の大きさを確認できます。
• hermes toolsで不要なツールセットを無効にでき、hermes skillsで余分なスキルを削除できます。接続しているMCP（外部サービス）は、1つ増えるごとに各リクエストを大きくします。使っていないものは無効にしてください。
• ollama psで、グラフィックカードにオフロードされたモデルのレイヤー数を確認できます。一部だけのオフロードでも速くなります。ビデオメモリ12 GBのグラフィックカードなら、31Bモデルのおよそ40レイヤーをカードに載せ、残りをプロセッサが処理します。
• 動作の遅いコンピューターでは、~/.hermes/.envにHERMES_API_TIMEOUT=1800を設定し、タイムアウトでHermesがリクエストを打ち切らないようにします。

エージェントをサーバーで24時間稼働させる場合やTelegramで応答させる場合は、Ollamaが5分間操作がないとモデルをアンロードし、次の返信時に再び読み込みを始めることに注意してください。Ollamaの設定OLLAMA_KEEP_ALIVE=24hを使えば、モデルをメモリ内に保持できます。エージェントをサーバーに移す方法はHermes Agentをサーバーで24時間稼働させる記事で、ボットの設定方法はHermesのTelegram設定ガイドで解説しています。

問題が起きた場合#

クラウドモデルを予備として使う#

Hermesのドキュメントでは、ローカルモデルを主モデルにし、クラウドモデルを予備として接続する方法が提案されています。そのためには、ドキュメントにあるブロックを~/.hermes/config.yamlのmodelセクションと並べて追加します。

Ailootのドキュメントでツールのガイドを探す

ローカルモデルが3回失敗すると、Hermesはタスクをクラウドモデルに送ります。そのリクエストは有料で、クラウドに送信されます。

別の方法として、強力なサブスクリプションモデルに思考と意思決定を任せ、ローカルモデルには定型作業を担当させることもできます。目標は品質を保ちながら、トークン費用を段階的に減らすことです。この方法では、個々の手順に安価なモデルを使い、将来的にはローカルモデルも選択肢に加えます。「ビジネス向けAIエージェントの費用は？」の記事では、サブスクリプション型のエージェントにかかる費用を説明しています。Hermesをまだインストールしていない場合は、Hermes Agentのインストール方法から始めてください。

ローカルモデルの設定を試したことはありますか？何を動かしていますか？ぜひ教えてください。気になっています。

Ailootをさらに見る：ailoot.ai。