# 로컬 모델로 Hermes Agent 사용하기: Ollama 연결

> Hermes Agent에 로컬 모델을 연결하는 방법: 데스크톱 앱의 Local Models 또는 Ollama, 도구 호출이 가능한 모델, 64,000 컨텍스트, 작동 여부 확인 방법.

Source: https://ailoot.ai/blog/ko/hermes-local-model-ollama-context/
Canonical: https://ailoot.ai/blog/ko/hermes-local-model-ollama-context/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-115
Revision: sha256-2757d6146c94fb6ad92608ca3ed549de7d440465f967f0f0bc2853d11cb7dbbd


데스크톱 앱에서 Settings → Providers → Local Models를 통해 네 번 클릭하면 로컬 모델을 Hermes Agent에 연결할 수 있고, Ollama를 통해 수동으로 연결할 수도 있습니다. 어느 쪽이든 키가 필요 없고, 요청마다 비용을 내지 않으며, 대화가 컴퓨터 밖으로 나가지 않습니다.

로컬 모델은 실행 비용이 들지 않고 Hermes도 로컬 모델과 함께 작동할 수 있습니다. 중요한 것은 파일과 명령을 다룰 수 있는 모델을 선택하고, 최소 64,000의 컨텍스트를 제공하는 것입니다. 그렇지 않으면 에이전트는 평범한 채팅으로 전락합니다.

오늘날 로컬 모델이 어디에 유용한지, 연결 방법은 무엇인지, 에이전트가 파일을 다루는지 어떻게 확인할지 살펴보겠습니다. 시작해 보죠.

Ailoot 참고 문서: [ailoot.ai/docs/](https://ailoot.ai/docs/).



<div class="aside" data-semantic="key-takeaway" role="note" aria-label="이 섹션의 핵심 내용">

핵심 내용

가장 쉬운 방법은 Hermes 데스크톱 앱을 이용하는 것입니다. Settings → Providers → Local Models에서 Install runtime을 선택하고, 모델을 고른 다음 Download와 Use를 누르세요. 앱이 컨텍스트 크기를 자동으로 선택합니다. Ollama를 사용하는 경우 도구 호출이 가능한 모델을 다운로드하세요(Hermes 표에서는 `gemma4:31b`만 지원하며 메모리가 24 GB 이상 필요합니다). 기본값인 2,048 대신 컨텍스트를 64,000으로 설정하고, `hermes setup`에서 Custom Endpoint를 선택한 뒤 주소 `http://localhost:11434/v1`을 입력하고 키는 비워 두세요. 답변 문구가 아니라 디스크에 결과물이 생기는 작업으로 확인하세요.

</div>

## 로컬 모델을 에이전트에 사용해야 할까요?





로컬 모델이 이미 유용한 분야:

- **음성 전사.** 이를 위한 무료 오픈 모델이 있습니다. 크기가 작고 오디오를 잘 인식합니다. 음성이 클라우드로 유출되지 않으므로 당신의 은밀한 계획도 모두 당신에게만 남습니다. 설정 방법은 [별도 글](https://ailoot.ai/blog/ko/free-voice-input-whisper/)에서 확인할 수 있습니다.
- **반복 작업.** 반복 작업에는 이미 작은 저성능 모델을 사용할 수 있습니다. 그런 작업은 처리할 수 있습니다.
- **외부로 보내기 꺼려지는 데이터.** 정말 염려된다면 자신의 컴퓨터에서 모델을 실행할 수 있습니다. 다만 품질은 낮을 것입니다.

내년에는 로컬 모델이 차지하는 공간이 더 줄어들 것입니다. 이미 강력한 압축 방법이 있고, 비디오 메모리 대신 RAM을 사용할 수도 있습니다. 1년쯤 지나면 누구나 Sonnet 5 수준으로 작업을 수행하는 작고 저성능인 모델이 든 작은 상자를 갖게 될 것 같습니다. 두고 보죠.

설정할 때는 “작업별로 어떤 모델을 쓸지” 정리한 표와 Hermes 설치 명령이 담긴 PDF를 가까이에 두면 편리합니다.

## 가장 쉬운 방법: Hermes 데스크톱 앱의 Local Models

Hermes 데스크톱 앱이 있다면 수동으로 아무것도 설치할 필요가 없습니다. Hermes가 로컬 llama.cpp 서버를 설치하고, 모델을 다운로드한 다음, 컨텍스트 크기를 자동으로 선택합니다.

1. **Settings → Providers → Local Models**를 열거나 첫 실행 때 **Run models locally**를 선택합니다.
2. **Install runtime**을 클릭합니다. Hermes가 하드웨어에 맞는 llama.cpp 빌드를 다운로드합니다. 용량은 수백 메가바이트입니다.
3. 카탈로그에서 모델을 선택하고 **Download**를 클릭합니다.
4. **Use**를 클릭하면 새 채팅이 로컬 모델을 사용합니다.

카탈로그의 각 모델에는 색상 라벨이 있습니다. 초록색은 비디오 메모리에 전부 들어간다는 뜻이고, 노란색은 RAM을 사용해 실행 속도가 느리다는 뜻이며, 빨간색은 컴퓨터에 비해 너무 크다는 뜻입니다. 앱은 권장 모델에 64,000 이상의 컨텍스트를 설정합니다. 8 GB 이상 그래픽 카드는 카탈로그의 소형 모델을 실행할 수 있고, 16 GB 이상이면 27-35B 모델을 실행할 수 있습니다. 모델을 15분 동안 사용하지 않으면 앱이 메모리에서 내립니다. 메시지를 다시 보내면 모델을 다시 불러옵니다.

이 섹션은 앱의 테스트(canary) 빌드에 포함되어 있습니다. 다른 빌드에서는 실행 플래그 `--local`을 사용해 여세요. 설정에 Local Models가 보이지 않는다면 그 이유일 가능성이 큽니다. 터미널에서는 같은 경로로 `hermes model` → **Local models**를 선택하면 됩니다.

모델을 선택한 뒤에는 아래 섹션처럼 파일을 다루는 작업으로 확인하세요.

AI 에이전트로 직접 프로젝트를 만든다면 작고 실제적인 작업으로 결과를 확인하세요.



## Ollama 사용하기: 필요한 하드웨어

Hermes가 서버에 설치되어 있거나 Local Models 섹션이 없다면 Ollama가 필요합니다. Hermes 가이드에 나온 하드웨어 요구 사항은 다음과 같습니다.

| 항목 | 최소 사양 | 권장 사양 |
|----|----|----|
| RAM | 8 GB (3B 모델) | 32+ GB (27B+ 모델) |
| 디스크 공간 | 5 GB | 모델이 여러 개라면 30+ GB |
| 프로세서 | 4코어 | 8+코어 |
| 그래픽 카드 | 필수 아님 | 비디오 메모리 8+ GB인 NVIDIA 카드가 있으면 차이가 큼 |

8 GB로는 텍스트로만 응답하는 소형 모델만 사용할 수 있습니다. 모델을 에이전트로 작동시키려면 24 GB 이상이 필요합니다. 자세한 내용은 2단계를 참조하세요. 그래픽 카드 없이도 작동하지만 느립니다. 8코어 프로세서에서 9B 모델은 초당 약 10토큰을 생성하고, 31B 모델은 초당 2-5토큰을 생성해 답변 하나에 30-120초가 걸립니다.

## 1단계. Ollama 설치하기

Ollama는 컴퓨터에서 바로 모델을 실행합니다. Mac과 Linux에서는 터미널에 명령 하나를 입력해 설치합니다.

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

Windows의 PowerShell 명령은 다음과 같습니다.

```powershell
irm https://ollama.com/install.ps1 | iex
```

프로그램이 설치되었고 서버가 응답하는지 확인합니다.

```bash
ollama --version
curl http://localhost:11434/api/tags
```

아직 모델이 없다면 두 번째 명령은 빈 목록을 반환합니다. 포트 11434를 기억하세요. Hermes가 이 포트를 통해 모델에 연결합니다.

## 2단계. 작업을 수행할 수 있는 모델 다운로드하기

모델은 무엇을 할까요? 텍스트를 생성합니다. 모델을 감싸는 래퍼인 Hermes가 파일 작업, 터미널 명령, 검색을 처리합니다. 래퍼가 작동하려면 모델이 도구를 호출할 수 있어야 합니다. 그렇지 않으면 에이전트는 답변만 하고 아무 일도 하지 않습니다.

| 모델 | 디스크 용량 | 메모리 | 도구 호출 |
|---------------|----------|--------|--------------------|
| `gemma4:31b` | ~20 GB | 24+ GB | 예 |
| `gemma2:27b` | ~16 GB | 20+ GB | 아니요 |
| `gemma2:9b` | ~5 GB | 8+ GB | 아니요 |
| `llama3.2:3b` | ~2 GB | 4+ GB | 아니요 |

이 네 모델 중 에이전트로 작동하는 모델은 `gemma4:31b`뿐입니다. 메모리가 24 GB 미만이면 에이전트를 실행할 수 없습니다. 표의 모델은 텍스트로만 응답합니다. Ollama 라이브러리에는 새 모델이 계속 추가되므로 각 모델이 도구를 호출할 수 있는지 먼저 확인하세요.

```bash
ollama pull gemma4:31b
```

모델을 여러 개 다운로드하고 Hermes에서 `/model` 명령으로 전환할 수 있습니다.

## 3단계. 컨텍스트를 64,000으로 늘리기

기본적으로 Ollama는 모델에 2,048토큰의 컨텍스트를 제공합니다. 하지만 Hermes가 도구를 사용하려면 최소 64,000이 필요합니다. 기본 컨텍스트로는 작업이 들어가지 않아 에이전트에서 오류가 발생합니다.

컨텍스트가 더 큰 모델 변형을 만드세요. 터미널에서 다음을 실행합니다.

```bash
cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile
```

이제 `gemma4-64k` 모델이 준비되었습니다. 이제부터는 원본 대신 이 모델을 사용하세요.

## 4단계. Hermes에 연결하기

설정 마법사를 시작합니다.

```bash
hermes setup
```

공급자를 묻는 메시지가 나오면 **Custom Endpoint**를 선택하고 다음을 입력합니다.

- 주소: `http://localhost:11434/v1`;
- 키: 비워 두거나 `no-key`를 입력합니다;
- 모델: `gemma4-64k`.

`~/.hermes/config.yaml`에서 같은 설정을 직접 입력할 수도 있습니다.

```yaml
model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"
```

## 에이전트가 작동하는지 확인하는 방법

`hermes`를 실행하고 결과가 디스크에서 확인되는 작업을 지시하세요. 예를 들어 “이 폴더의 Python 파일을 모두 나열하고 각 파일의 줄 수를 세어 줘”라고 한 뒤 “test.txt라는 파일을 만들어 줘”라고 요청합니다. `ls` 명령이나 폴더에서 파일이 생겼는지 확인하세요. 도구가 없는 모델은 파일을 하나도 열지 않은 채 그럴듯한 목록을 태연하게 만들어 낼 수 있습니다.

사용하는 신경망이 저렴할수록 더 고급스러운 가죽 편집기가 필요합니다. 바로 당신이죠. 신경망이 똑똑할수록 스스로 머리를 쓸 일은 줄어들지만, 결국 계속 일해야 합니다.

처음부터 Hermes Agent를 설정하는 전체 영상:

<figure>
스크롤하면 동영상이 로드됩니다
<figcaption>비즈니스 자동화를 위한 Hermes Agent 완전 처음부터 시작하는 가이드</figcaption>
</figure>

이 영상에서는 Hermes를 처음부터 설치하고, 첫 AI 직원을 만들고, 요청마다 비용을 내는 방식과 구독을 비교하는 방법을 보여 줍니다.

## 첫 답변에 몇 분씩 걸리는 이유

요청할 때마다 Hermes는 시스템 지침과 활성화된 모든 도구의 설명으로 구성된 고정 부분을 보냅니다. 그래픽 카드가 없으면 모델이 이 부분을 처리하는 데 시간이 오래 걸리고, 그다음에는 평소 속도로 답변을 작성합니다. 정상적인 동작입니다.

도움이 되는 방법:

- `hermes prompt-size`는 고정 부분의 크기를 보여 줍니다.
- `hermes tools`로 필요하지 않은 도구 집합을 비활성화하고, `hermes skills`로 불필요한 스킬을 제거할 수 있습니다. 연결된 MCP(외부 서비스)는 요청을 더 크게 만듭니다. 사용하지 않는다면 끄세요.
- `ollama ps`는 그래픽 카드로 오프로드된 모델 레이어 수를 보여 줍니다. 일부만 오프로드해도 속도가 빨라집니다. 비디오 메모리 12 GB인 그래픽 카드에서는 31B 모델의 레이어 약 40개가 그래픽 카드에서 처리되고 나머지는 프로세서가 처리합니다.
- 느린 컴퓨터에서는 `~/.hermes/.env`에 `HERMES_API_TIMEOUT=1800`을 설정해 Hermes가 시간 초과로 요청을 중단하지 않도록 합니다.

에이전트가 서버에서 24시간 실행되거나 Telegram에서 응답한다면 Ollama가 비활성 상태가 5분 지나면 모델을 내리고, 다음 응답 때 다시 불러온다는 점을 기억하세요. Ollama 설정 `OLLAMA_KEEP_ALIVE=24h`를 사용하면 모델을 메모리에 유지할 수 있습니다. 에이전트를 서버로 옮기는 방법은 [Hermes Agent를 서버에서 24시간 실행하는 글](https://ailoot.ai/blog/ko/hermes-agent-vps-24-7/)에서, 봇 설정은 [Hermes Telegram 설정 가이드](https://ailoot.ai/blog/ko/hermes-agent-telegram-setup/)에서 확인할 수 있습니다.

## 문제가 생기면

| 증상 | 해결 방법 |
|----|----|
| 시작할 때 “Connection refused” | Ollama가 실행 중이지 않습니다. `ollama serve` 또는 `sudo systemctl start ollama`를 실행하세요. |
| `provider 'ollama' has no endpoint configured` | `providers.ollama.base_url` 또는 `model.base_url`에 Ollama 주소를 입력하세요. |
| 에이전트가 응답하지만 아무것도 하지 않음 | 모델이 도구를 호출할 수 없습니다. `gemma4:31b`를 설치하고 컨텍스트를 64,000으로 설정하세요. |
| 컨텍스트 관련 오류 | 3단계를 수행하지 않았습니다. |
| 긴 대화가 느림 | `/compress`를 정기적으로 실행하세요. |

## 대체 모델로 사용하는 클라우드 모델

Hermes 문서에서는 로컬 모델을 기본 모델로 유지하고 클라우드 모델을 대체 모델로 연결할 것을 권장합니다. 이렇게 하려면 `~/.hermes/config.yaml`의 `model` 섹션 옆에 문서의 블록을 추가합니다.

[Ailoot 문서에서 도구 가이드 찾기](https://ailoot.ai/docs/)

로컬 모델이 세 번 실패하면 Hermes가 작업을 클라우드 모델로 보냅니다. 이 요청은 유료이며 클라우드로 전송됩니다.

또 다른 방법은 강력한 구독형 모델이 사고와 의사 결정을 맡고, 로컬 모델은 반복 작업을 처리하도록 하는 것입니다. 목표는 품질을 유지하면서 토큰 비용을 점차 줄이는 것입니다. 이 방식은 개별 단계에 더 저렴한 모델을 사용하고, 나중에는 로컬 모델을 선택지로 활용합니다. “기업용 AI 에이전트 비용은 얼마일까요?” 글에서 구독형 에이전트의 비용을 설명합니다. 아직 Hermes를 설치하지 않았다면 [Hermes Agent 설치 방법](https://ailoot.ai/blog/ko/hermes-agent-install-setup/) 가이드부터 시작하세요.

로컬 모델 설정을 시도해 보셨나요? 어떤 모델을 실행하고 계신가요? 궁금하니 알려 주세요.

<div class="section" role="doc-bibliography" aria-label="출처">

### 출처

- [Hermes Agent: Run Hermes Locally with Ollama](https://raw.githubusercontent.com/NousResearch/hermes-agent/357f51c49106f47136caf9b01015467b7b633fe8/website/docs/guides%2Flocal-ollama-setup.md) - 하드웨어 요구 사항, Ollama 설치 및 확인, 모델 표와 도구 호출, 2,048 및 64,000 컨텍스트 크기, Custom Endpoint 연결, 첫 응답과 시간 초과, 5분 후 모델 내리기, 문제 해결, 대체 공급자 (2026년 10월 7일 확인, 현재 버전과 일치).
- [Hermes Agent: Local Models](https://raw.githubusercontent.com/NousResearch/hermes-agent/main/website/docs/user-guide/local-models.md) - 데스크톱 앱의 Local Models, 메모리 라벨, 64K 컨텍스트, 15분 후 모델 내리기, `hermes model`, `--local` 플래그 (2026년 10월 7일 확인).
- [Ollama: download for Windows](https://ollama.com/download/windows) - Mac, Linux, Windows용 설치 명령 (2026년 10월 7일 확인).

</div>








Ailoot를 더 알아보려면 [ailoot.ai](https://ailoot.ai/)를 방문하세요.

## 로컬 모델로 Hermes Agent 사용하기: Ollama 연결: 자주 묻는 질문

### 그럴듯한 답변과 실제 도구 사용을 어떻게 구분하나요?

Hermes에 작은 파일 작업을 맡긴 뒤 실제 폴더와 파일 내용을 직접 확인하세요. 채팅에 생성한 목록만으로 파일을 읽었거나 결과물을 만들었다고 볼 수는 없습니다.

### 로컬 모델의 폴백을 쓰면 모든 요청이 내 컴퓨터에 남나요?

로컬 모델이 처리하는 동안만 그렇습니다. 여기서 설명한 선택적 폴백은 로컬 실패가 반복되면 작업을 클라우드 공급자에게 보냅니다. 해당 요청은 컴퓨터 밖으로 나가며 유료일 수 있습니다.


## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.