Hermes Agent с локальной моделью: подключаем Ollama

Локальную модель можно подключить к Hermes Agent через десктопное приложение: откройте Settings → Providers → Local Models. Это займёт четыре нажатия. Другой вариант — настроить Ollama вручную. В обоих случаях API-ключ не требуется, оплата за запросы не взимается, а переписка остаётся на вашем компьютере.

В этом руководстве разберём, для каких задач подходят локальные модели, как подключить их к Hermes Agent и проверить, что агент действительно работает с файлами. Для работы с файлами и командами выбирайте модель с поддержкой вызова инструментов и задайте ей контекст не менее 64 000 токенов; иначе агент будет вести себя как обычный чат.

Справочная документация Ailoot: ailoot.ai/docs/.

Подходит ли локальная модель для вашего агента?#

Локальные модели могут пригодиться для отдельных задач, однако их возможности зависят от модели и оборудования. Для операций с файлами и командами важно, чтобы модель поддерживала вызов инструментов, а её качество подходило для конкретной работы.

Локальная обработка также помогает оставить данные на своём устройстве. При этом учитывайте требования к памяти и скорости: без подходящего компьютера ответы могут формироваться медленно.

Локальную модель можно использовать в таких случаях:

• Расшифровка речи. Для распознавания доступны бесплатные открытые модели. После обработки на своём устройстве запись не отправляется в облако. Инструкции по настройке приведены в отдельной статье.
• Повторяющиеся простые задачи. Для несложной рутины может подойти небольшая модель; заранее проверьте качество на характерных для вас примерах.
• Данные, которые нельзя передавать внешним сервисам. Модель можно запустить на своём компьютере или сервере. Проверьте, соответствует ли её качество вашим требованиям.

Локальные модели и способы их запуска развиваются. При выборе учитывайте доступную память, размер модели и качество результатов на ваших задачах. Не полагайтесь на предположения о будущем оборудовании: сначала проверьте выбранную конфигурацию на практике.

Самый простой способ: Local Models в десктопном Hermes#

Если вы пользуетесь десктопным приложением Hermes, сервер вручную устанавливать не нужно. Hermes установит llama.cpp, загрузит модель и настроит контекст:

1. Откройте Settings → Providers → Local Models или при первом запуске выберите Run models locally.
2. Нажмите Install runtime. Hermes загрузит сборку llama.cpp для вашего компьютера; её размер составляет несколько сотен мегабайт.
3. Выберите модель из каталога и нажмите Download.
4. Нажмите Use. Новые чаты будут работать через выбранную локальную модель.

В каталоге модели отмечены цветами: зелёный означает, что модель целиком помещается в видеопамять; жёлтый — что она использует оперативную память и работает медленнее; красный — что модель слишком велика для компьютера. Для рекомендованных моделей приложение сразу задаёт контекст от 64 000 токенов. Видеокарта с 8+ ГБ памяти поддерживает небольшие модели из каталога, а с 16+ ГБ — модели размером 27–35B. Если модель не используется 15 минут, приложение выгружает её из памяти и загружает снова при следующем сообщении.

Раздел доступен в тестовых (canary) сборках приложения; в остальных его можно включить флагом запуска --local. Если пункта Local Models нет в настройках, проверьте тип сборки и этот флаг. Из терминала откройте тот же раздел командой hermes model → Local models.

После выбора модели выполните проверку с файлом по инструкции ниже.

Если вы создаёте собственные проекты с ИИ-агентами, начните проверку на небольшой реальной задаче.

Подключение через Ollama: требования к компьютеру#

Ollama пригодится, если Hermes установлен на сервере или раздела Local Models в приложении нет. Согласно руководству Hermes, требования такие:

На компьютере с 8 ГБ памяти поместится только небольшая модель, которая генерирует текст. Для работы агента требуется от 24 ГБ — подробности приведены в шаге 2. Без видеокарты модель тоже запустится, но будет работать медленнее. В руководстве Hermes указаны ориентиры: модель 9B на процессоре с 8 ядрами выдаёт около 10 токенов в секунду, а модель 31B — 2–5 токенов в секунду; формирование ответа может занимать 30–120 секунд.

Шаг 1. Устанавливаем Ollama#

Ollama запускает модели непосредственно на вашем компьютере. На Mac и Linux установите её одной командой в терминале:

curl -fsSL https://ollama.com/install.sh | sh

В Windows выполните команду в PowerShell:

irm https://ollama.com/install.ps1 | iex

Убедитесь, что программа установлена и сервер отвечает:

ollama --version
curl http://localhost:11434/api/tags

Если моделей ещё нет, вторая команда вернёт пустой список. Запомните порт 11434: по нему Hermes подключается к модели.

Шаг 2. Загружаем модель с поддержкой вызова инструментов#

Модель генерирует текст, а с файлами, терминалом и поиском работает Hermes — программная оболочка вокруг модели. Чтобы агент мог выполнять такие операции, модель должна поддерживать вызов инструментов. Без этой возможности он сможет лишь формировать ответы.

Среди этих четырёх моделей только gemma4:31b подходит для работы в качестве агента. Если у вас меньше 24 ГБ памяти, перечисленные модели смогут только генерировать текст. В библиотеке Ollama регулярно появляются новые модели; перед установкой проверяйте, поддерживает ли выбранная модель вызов инструментов.

Загрузите модель командой:

ollama pull gemma4:31b

Можно загрузить несколько моделей и переключаться между ними в Hermes с помощью команды /model.

Шаг 3. Увеличиваем контекст до 64 000#

По умолчанию Ollama задаёт контекст объёмом 2 048 токенов, тогда как для работы с инструментами Hermes требуется не менее 64 000. При меньшем контексте задача может не поместиться, а агент — завершить работу с ошибкой.

Создайте вариант модели с увеличенным контекстом. Выполните в терминале:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Теперь доступна модель gemma4-64k. В дальнейшем указывайте её вместо исходной модели.

Шаг 4. Подключаем модель к Hermes#

Запустите мастер настройки:

hermes setup

Когда мастер спросит провайдера, выберите Custom Endpoint и задайте параметры:

• адрес: http://localhost:11434/v1;
• ключ: оставьте поле пустым или укажите no-key;
• модель: gemma4-64k.

Те же настройки можно внести вручную в ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Как проверить, что локальная модель Hermes Agent выполняет действия с файлами?#

Запустите hermes и поручите ему задачу, результат которой можно проверить на диске. Например, попросите перечислить все Python-файлы в папке и посчитать строки в каждом, а затем создать файл test.txt. Проверьте с помощью ls или файлового менеджера, появился ли файл. Модель без поддержки инструментов может выдать убедительный ответ, не открывая ни одного файла.

Чем проще используемая модель, тем внимательнее проверяйте её результаты и решения. Более мощная модель может сократить объём ручной работы, но результат всё равно требует контроля.

Почему первый ответ может формироваться несколько минут#

В каждый запрос Hermes включает постоянные данные: системные инструкции и описания всех активных инструментов. Без видеокарты модели требуется время, чтобы обработать этот контекст; после этого она генерирует ответ с обычной скоростью. Такое замедление может быть ожидаемым.

Ускорить работу помогут следующие действия:

• Команда hermes prompt-size покажет размер постоянной части запроса.
• Команда hermes tools отключает ненужные группы инструментов, а hermes skills помогает удалить лишние навыки. Каждый подключённый MCP (внешний сервис) добавляет данные к каждому запросу. Если вы им не пользуетесь, отключите его.
• Команда ollama ps покажет, сколько слоёв модели загружено в видеопамять. Даже частичная загрузка может ускорить работу: например, у модели 31B на видеокарте с 12 ГБ около 40 слоёв обрабатываются на видеокарте, а остальные — на процессоре.
• На медленном компьютере задайте HERMES_API_TIMEOUT=1800 в ~/.hermes/.env, чтобы Hermes не прерывал запрос из-за тайм-аута.

Если агент работает на сервере круглосуточно или отвечает в Telegram, учтите: Ollama выгружает модель после 5 минут простоя, поэтому следующий ответ начнётся с её повторной загрузки. Параметр Ollama OLLAMA_KEEP_ALIVE=24h позволяет сохранять модель в памяти. Инструкции по запуску агента на сервере приведены в статье «Hermes Agent на сервере круглосуточно», а настройка бота — в материале «Настройка Hermes в Telegram».

Если возникли проблемы#

Резервная облачная модель#

Документация Hermes описывает настройку локальной модели как основной и облачной — как резервной. В ~/.hermes/config.yaml рядом с разделом model добавьте блок следующего вида, указав вашего облачного провайдера и модель:

fallback_providers:
  - provider: <cloud-provider>
    model: <cloud-model>

Если локальная модель трижды не справляется с задачей, Hermes передаёт её облачной. Запросы к облачной модели тарифицируются и отправляются через интернет.

Другой вариант — поручить рассуждения и принятие решений мощной модели по подписке, а локальной оставить рутинные операции. Такой подход позволяет сохранить качество и постепенно сокращать расход токенов: для отдельных этапов выбирают менее дорогие модели, а затем при необходимости рассматривают локальные. О стоимости агентов на подписках рассказывает статья «Сколько стоит ИИ-агент для бизнеса». Если Hermes ещё не установлен, начните с руководства «Как установить Hermes Agent».

Пробовали ли вы запускать локальную модель? Для каких задач используете её?

Продолжить знакомство с Ailoot можно на ailoot.ai.