# Hermes Agent с локальной моделью: подключаем Ollama

> Подключение локальной модели к Hermes Agent через Local Models в десктопном приложении или Ollama: выбор модели с вызовом инструментов, контекст 64 000 токенов и проверка работы агента.

Source: https://ailoot.ai/blog/ru/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/ru/hermes-local-model-ollama-context/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-1a797bc5323fcdf818c5fc50ede1b472146df297f80f84fc7fa4e6ac464f3b88


Локальную модель можно подключить к Hermes Agent через десктопное приложение: откройте Settings → Providers → Local Models. Это займёт четыре нажатия. Другой вариант — настроить Ollama вручную. В обоих случаях API-ключ не требуется, оплата за запросы не взимается, а переписка остаётся на вашем компьютере.

В этом руководстве разберём, для каких задач подходят локальные модели, как подключить их к Hermes Agent и проверить, что агент действительно работает с файлами. Для работы с файлами и командами выбирайте модель с поддержкой вызова инструментов и задайте ей контекст не менее 64 000 токенов; иначе агент будет вести себя как обычный чат.

Справочная документация Ailoot: [ailoot.ai/docs/](https://ailoot.ai/docs/).

<div class="aside" data-semantic="key-takeaway" role="note" aria-label="Ключевые выводы">

**Коротко:** проще всего настроить модель в десктопном Hermes: Settings → Providers → Local Models, затем нажать Install runtime, выбрать модель, нажать Download и Use. Приложение настроит контекст автоматически. При подключении через Ollama загрузите модель с поддержкой вызова инструментов — из приведённой ниже таблицы это только `gemma4:31b`, которой требуется 24+ ГБ памяти. Увеличьте контекст с заданных по умолчанию 2 048 до 64 000 и в `hermes setup` выберите Custom Endpoint с адресом `http://localhost:11434/v1`, оставив поле ключа пустым. Проверяйте работу агента по результату на диске, а не только по его ответу.

</div>

## Подходит ли локальная модель для вашего агента?

Локальные модели могут пригодиться для отдельных задач, однако их возможности зависят от модели и оборудования. Для операций с файлами и командами важно, чтобы модель поддерживала вызов инструментов, а её качество подходило для конкретной работы.

Локальная обработка также помогает оставить данные на своём устройстве. При этом учитывайте требования к памяти и скорости: без подходящего компьютера ответы могут формироваться медленно.

Локальную модель можно использовать в таких случаях:

- **Расшифровка речи.** Для распознавания доступны бесплатные открытые модели. После обработки на своём устройстве запись не отправляется в облако. Инструкции по настройке приведены в [отдельной статье](https://ailoot.ai/blog/ru/free-voice-input-whisper/).
- **Повторяющиеся простые задачи.** Для несложной рутины может подойти небольшая модель; заранее проверьте качество на характерных для вас примерах.
- **Данные, которые нельзя передавать внешним сервисам.** Модель можно запустить на своём компьютере или сервере. Проверьте, соответствует ли её качество вашим требованиям.

Локальные модели и способы их запуска развиваются. При выборе учитывайте доступную память, размер модели и качество результатов на ваших задачах. Не полагайтесь на предположения о будущем оборудовании: сначала проверьте выбранную конфигурацию на практике.

## Самый простой способ: Local Models в десктопном Hermes

Если вы пользуетесь десктопным приложением Hermes, сервер вручную устанавливать не нужно. Hermes установит llama.cpp, загрузит модель и настроит контекст:

1. Откройте **Settings → Providers → Local Models** или при первом запуске выберите **Run models locally**.
2. Нажмите **Install runtime**. Hermes загрузит сборку llama.cpp для вашего компьютера; её размер составляет несколько сотен мегабайт.
3. Выберите модель из каталога и нажмите **Download**.
4. Нажмите **Use**. Новые чаты будут работать через выбранную локальную модель.

В каталоге модели отмечены цветами: зелёный означает, что модель целиком помещается в видеопамять; жёлтый — что она использует оперативную память и работает медленнее; красный — что модель слишком велика для компьютера. Для рекомендованных моделей приложение сразу задаёт контекст от 64 000 токенов. Видеокарта с 8+ ГБ памяти поддерживает небольшие модели из каталога, а с 16+ ГБ — модели размером 27–35B. Если модель не используется 15 минут, приложение выгружает её из памяти и загружает снова при следующем сообщении.

Раздел доступен в тестовых (canary) сборках приложения; в остальных его можно включить флагом запуска `--local`. Если пункта Local Models нет в настройках, проверьте тип сборки и этот флаг. Из терминала откройте тот же раздел командой `hermes model` → **Local models**.

После выбора модели выполните проверку с файлом по инструкции ниже.

Если вы создаёте собственные проекты с ИИ-агентами, начните проверку на небольшой реальной задаче.

## Подключение через Ollama: требования к компьютеру

Ollama пригодится, если Hermes установлен на сервере или раздела Local Models в приложении нет. Согласно руководству Hermes, требования такие:

| Компонент | Минимум | Рекомендуется |
|----|----|----|
| Оперативная память | 8 ГБ (модели 3B) | 32+ ГБ (модели 27B+) |
| Место на диске | 5 ГБ | 30+ ГБ, если моделей несколько |
| Процессор | 4 ядра | 8+ ядер |
| Видеокарта | Не обязательна | NVIDIA с 8+ ГБ видеопамяти заметно ускоряет работу |

На компьютере с 8 ГБ памяти поместится только небольшая модель, которая генерирует текст. Для работы агента требуется от 24 ГБ — подробности приведены в шаге 2. Без видеокарты модель тоже запустится, но будет работать медленнее. В руководстве Hermes указаны ориентиры: модель 9B на процессоре с 8 ядрами выдаёт около 10 токенов в секунду, а модель 31B — 2–5 токенов в секунду; формирование ответа может занимать 30–120 секунд.

## Шаг 1. Устанавливаем Ollama

Ollama запускает модели непосредственно на вашем компьютере. На Mac и Linux установите её одной командой в терминале:

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

В Windows выполните команду в PowerShell:

```powershell
irm https://ollama.com/install.ps1 | iex
```

Убедитесь, что программа установлена и сервер отвечает:

```bash
ollama --version
curl http://localhost:11434/api/tags
```

Если моделей ещё нет, вторая команда вернёт пустой список. Запомните порт 11434: по нему Hermes подключается к модели.

## Шаг 2. Загружаем модель с поддержкой вызова инструментов

Модель генерирует текст, а с файлами, терминалом и поиском работает Hermes — программная оболочка вокруг модели. Чтобы агент мог выполнять такие операции, модель должна поддерживать вызов инструментов. Без этой возможности он сможет лишь формировать ответы.

| Модель | Размер на диске | Требуемая память | Вызов инструментов |
|---------------|----------|--------|--------------------|
| `gemma4:31b` | ~20 ГБ | 24+ ГБ | Да |
| `gemma2:27b` | ~16 ГБ | 20+ ГБ | Нет |
| `gemma2:9b` | ~5 ГБ | 8+ ГБ | Нет |
| `llama3.2:3b` | ~2 ГБ | 4+ ГБ | Нет |

Среди этих четырёх моделей только `gemma4:31b` подходит для работы в качестве агента. Если у вас меньше 24 ГБ памяти, перечисленные модели смогут только генерировать текст. В библиотеке Ollama регулярно появляются новые модели; перед установкой проверяйте, поддерживает ли выбранная модель вызов инструментов.

Загрузите модель командой:

```bash
ollama pull gemma4:31b
```

Можно загрузить несколько моделей и переключаться между ними в Hermes с помощью команды `/model`.

## Шаг 3. Увеличиваем контекст до 64 000

По умолчанию Ollama задаёт контекст объёмом 2 048 токенов, тогда как для работы с инструментами Hermes требуется не менее 64 000. При меньшем контексте задача может не поместиться, а агент — завершить работу с ошибкой.

Создайте вариант модели с увеличенным контекстом. Выполните в терминале:

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

Теперь доступна модель `gemma4-64k`. В дальнейшем указывайте её вместо исходной модели.

## Шаг 4. Подключаем модель к Hermes

Запустите мастер настройки:

```bash
hermes setup
```

Когда мастер спросит провайдера, выберите **Custom Endpoint** и задайте параметры:

- адрес: `http://localhost:11434/v1`;
- ключ: оставьте поле пустым или укажите `no-key`;
- модель: `gemma4-64k`.

Те же настройки можно внести вручную в `~/.hermes/config.yaml`:

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## Как проверить, что локальная модель Hermes Agent выполняет действия с файлами?

Запустите `hermes` и поручите ему задачу, результат которой можно проверить на диске. Например, попросите перечислить все Python-файлы в папке и посчитать строки в каждом, а затем создать файл `test.txt`. Проверьте с помощью `ls` или файлового менеджера, появился ли файл. Модель без поддержки инструментов может выдать убедительный ответ, не открывая ни одного файла.

Чем проще используемая модель, тем внимательнее проверяйте её результаты и решения. Более мощная модель может сократить объём ручной работы, но результат всё равно требует контроля.

## Почему первый ответ может формироваться несколько минут

В каждый запрос Hermes включает постоянные данные: системные инструкции и описания всех активных инструментов. Без видеокарты модели требуется время, чтобы обработать этот контекст; после этого она генерирует ответ с обычной скоростью. Такое замедление может быть ожидаемым.

Ускорить работу помогут следующие действия:

- Команда `hermes prompt-size` покажет размер постоянной части запроса.
- Команда `hermes tools` отключает ненужные группы инструментов, а `hermes skills` помогает удалить лишние навыки. Каждый подключённый MCP (внешний сервис) добавляет данные к каждому запросу. Если вы им не пользуетесь, отключите его.
- Команда `ollama ps` покажет, сколько слоёв модели загружено в видеопамять. Даже частичная загрузка может ускорить работу: например, у модели 31B на видеокарте с 12 ГБ около 40 слоёв обрабатываются на видеокарте, а остальные — на процессоре.
- На медленном компьютере задайте `HERMES_API_TIMEOUT=1800` в `~/.hermes/.env`, чтобы Hermes не прерывал запрос из-за тайм-аута.

Если агент работает на сервере круглосуточно или отвечает в Telegram, учтите: Ollama выгружает модель после 5 минут простоя, поэтому следующий ответ начнётся с её повторной загрузки. Параметр Ollama `OLLAMA_KEEP_ALIVE=24h` позволяет сохранять модель в памяти. Инструкции по запуску агента на сервере приведены в статье [«Hermes Agent на сервере круглосуточно»](https://ailoot.ai/blog/ru/hermes-agent-vps-24-7/), а настройка бота — в материале [«Настройка Hermes в Telegram»](https://ailoot.ai/blog/ru/hermes-agent-telegram-setup/).

## Если возникли проблемы

| Сообщение или симптом | Что проверить |
|----|----|
| «Connection refused» при запуске | Ollama не запущена: выполните `ollama serve` или `sudo systemctl start ollama` |
| `provider 'ollama' has no endpoint configured` | Укажите адрес Ollama в `providers.ollama.base_url` или `model.base_url` |
| Агент отвечает, но ничего не выполняет | У модели нет поддержки вызова инструментов. Установите `gemma4:31b` и задайте контекст 64 000 |
| Ошибки, связанные с контекстом | Выполните шаг 3 |
| Длинный диалог работает медленно | Периодически запускайте `/compress` |

## Резервная облачная модель

Документация Hermes описывает настройку локальной модели как основной и облачной — как резервной. В `~/.hermes/config.yaml` рядом с разделом `model` добавьте блок следующего вида, указав вашего облачного провайдера и модель:

```yaml
fallback_providers:
  - provider: <cloud-provider>
    model: <cloud-model>
```

Если локальная модель трижды не справляется с задачей, Hermes передаёт её облачной. Запросы к облачной модели тарифицируются и отправляются через интернет.

Другой вариант — поручить рассуждения и принятие решений мощной модели по подписке, а локальной оставить рутинные операции. Такой подход позволяет сохранить качество и постепенно сокращать расход токенов: для отдельных этапов выбирают менее дорогие модели, а затем при необходимости рассматривают локальные. О стоимости агентов на подписках рассказывает статья «Сколько стоит ИИ-агент для бизнеса». Если Hermes ещё не установлен, начните с руководства [«Как установить Hermes Agent»](https://ailoot.ai/blog/ru/hermes-agent-install-setup/).

Пробовали ли вы запускать локальную модель? Для каких задач используете её?

<div class="section" role="doc-bibliography" aria-label="Официальные источники">

### Официальные источники

- [Hermes Agent: Run Hermes Locally with Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) — требования к оборудованию, установка и проверка Ollama, модели и поддержка вызова инструментов, контекст 2 048 и 64 000, подключение через Custom Endpoint, задержка первого ответа, настройка тайм-аута, выгрузка модели после 5 минут, устранение неполадок и резервный провайдер. Сверено 7 октября 2026 года.
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) — Local Models в десктопном приложении, цветовые обозначения, контекст 64K, выгрузка после 15 минут, команда `hermes model` и флаг `--local`. Получено 7 октября 2026 года.
- [Ollama: загрузка для Windows](https://ollama.com/download/windows) — сведения об установке для Mac, Linux и Windows. Получено 7 октября 2026 года.

</div>



Продолжить знакомство с Ailoot можно на [ailoot.ai](https://ailoot.ai/).

## Вопросы и ответы

### Как подтвердить использование инструментов, а не правдоподобный текстовый ответ?

Дайте Hermes небольшую файловую задачу и самостоятельно проверьте папку и содержимое файлов. Список в чате не доказывает чтение файлов или создание результата.

### Оставляет ли резервная локальная модель все запросы на компьютере?

Только пока запросы идут локальной модели. Описанная дополнительная настройка после повторных локальных ошибок отправляет задачу облачному поставщику. Такие запросы покидают компьютер и могут быть платными.


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.