로컬 모델로 Hermes Agent 사용하기: Ollama 연결

데스크톱 앱에서 Settings → Providers → Local Models를 통해 네 번 클릭하면 로컬 모델을 Hermes Agent에 연결할 수 있고, Ollama를 통해 수동으로 연결할 수도 있습니다. 어느 쪽이든 키가 필요 없고, 요청마다 비용을 내지 않으며, 대화가 컴퓨터 밖으로 나가지 않습니다.

로컬 모델은 실행 비용이 들지 않고 Hermes도 로컬 모델과 함께 작동할 수 있습니다. 중요한 것은 파일과 명령을 다룰 수 있는 모델을 선택하고, 최소 64,000의 컨텍스트를 제공하는 것입니다. 그렇지 않으면 에이전트는 평범한 채팅으로 전락합니다.

오늘날 로컬 모델이 어디에 유용한지, 연결 방법은 무엇인지, 에이전트가 파일을 다루는지 어떻게 확인할지 살펴보겠습니다. 시작해 보죠.

Ailoot 참고 문서: ailoot.ai/docs/.

로컬 모델을 에이전트에 사용해야 할까요?#

로컬 모델이 이미 유용한 분야:

• 음성 전사. 이를 위한 무료 오픈 모델이 있습니다. 크기가 작고 오디오를 잘 인식합니다. 음성이 클라우드로 유출되지 않으므로 당신의 은밀한 계획도 모두 당신에게만 남습니다. 설정 방법은 별도 글에서 확인할 수 있습니다.
• 반복 작업. 반복 작업에는 이미 작은 저성능 모델을 사용할 수 있습니다. 그런 작업은 처리할 수 있습니다.
• 외부로 보내기 꺼려지는 데이터. 정말 염려된다면 자신의 컴퓨터에서 모델을 실행할 수 있습니다. 다만 품질은 낮을 것입니다.

내년에는 로컬 모델이 차지하는 공간이 더 줄어들 것입니다. 이미 강력한 압축 방법이 있고, 비디오 메모리 대신 RAM을 사용할 수도 있습니다. 1년쯤 지나면 누구나 Sonnet 5 수준으로 작업을 수행하는 작고 저성능인 모델이 든 작은 상자를 갖게 될 것 같습니다. 두고 보죠.

설정할 때는 “작업별로 어떤 모델을 쓸지” 정리한 표와 Hermes 설치 명령이 담긴 PDF를 가까이에 두면 편리합니다.

가장 쉬운 방법: Hermes 데스크톱 앱의 Local Models#

Hermes 데스크톱 앱이 있다면 수동으로 아무것도 설치할 필요가 없습니다. Hermes가 로컬 llama.cpp 서버를 설치하고, 모델을 다운로드한 다음, 컨텍스트 크기를 자동으로 선택합니다.

1. Settings → Providers → Local Models를 열거나 첫 실행 때 Run models locally를 선택합니다.
2. Install runtime을 클릭합니다. Hermes가 하드웨어에 맞는 llama.cpp 빌드를 다운로드합니다. 용량은 수백 메가바이트입니다.
3. 카탈로그에서 모델을 선택하고 Download를 클릭합니다.
4. Use를 클릭하면 새 채팅이 로컬 모델을 사용합니다.

카탈로그의 각 모델에는 색상 라벨이 있습니다. 초록색은 비디오 메모리에 전부 들어간다는 뜻이고, 노란색은 RAM을 사용해 실행 속도가 느리다는 뜻이며, 빨간색은 컴퓨터에 비해 너무 크다는 뜻입니다. 앱은 권장 모델에 64,000 이상의 컨텍스트를 설정합니다. 8 GB 이상 그래픽 카드는 카탈로그의 소형 모델을 실행할 수 있고, 16 GB 이상이면 27-35B 모델을 실행할 수 있습니다. 모델을 15분 동안 사용하지 않으면 앱이 메모리에서 내립니다. 메시지를 다시 보내면 모델을 다시 불러옵니다.

이 섹션은 앱의 테스트(canary) 빌드에 포함되어 있습니다. 다른 빌드에서는 실행 플래그 --local을 사용해 여세요. 설정에 Local Models가 보이지 않는다면 그 이유일 가능성이 큽니다. 터미널에서는 같은 경로로 hermes model → Local models를 선택하면 됩니다.

모델을 선택한 뒤에는 아래 섹션처럼 파일을 다루는 작업으로 확인하세요.

AI 에이전트로 직접 프로젝트를 만든다면 작고 실제적인 작업으로 결과를 확인하세요.

Ollama 사용하기: 필요한 하드웨어#

Hermes가 서버에 설치되어 있거나 Local Models 섹션이 없다면 Ollama가 필요합니다. Hermes 가이드에 나온 하드웨어 요구 사항은 다음과 같습니다.

8 GB로는 텍스트로만 응답하는 소형 모델만 사용할 수 있습니다. 모델을 에이전트로 작동시키려면 24 GB 이상이 필요합니다. 자세한 내용은 2단계를 참조하세요. 그래픽 카드 없이도 작동하지만 느립니다. 8코어 프로세서에서 9B 모델은 초당 약 10토큰을 생성하고, 31B 모델은 초당 2-5토큰을 생성해 답변 하나에 30-120초가 걸립니다.

1단계. Ollama 설치하기#

Ollama는 컴퓨터에서 바로 모델을 실행합니다. Mac과 Linux에서는 터미널에 명령 하나를 입력해 설치합니다.

curl -fsSL https://ollama.com/install.sh | sh

Windows의 PowerShell 명령은 다음과 같습니다.

irm https://ollama.com/install.ps1 | iex

프로그램이 설치되었고 서버가 응답하는지 확인합니다.

ollama --version
curl http://localhost:11434/api/tags

아직 모델이 없다면 두 번째 명령은 빈 목록을 반환합니다. 포트 11434를 기억하세요. Hermes가 이 포트를 통해 모델에 연결합니다.

2단계. 작업을 수행할 수 있는 모델 다운로드하기#

모델은 무엇을 할까요? 텍스트를 생성합니다. 모델을 감싸는 래퍼인 Hermes가 파일 작업, 터미널 명령, 검색을 처리합니다. 래퍼가 작동하려면 모델이 도구를 호출할 수 있어야 합니다. 그렇지 않으면 에이전트는 답변만 하고 아무 일도 하지 않습니다.

이 네 모델 중 에이전트로 작동하는 모델은 gemma4:31b뿐입니다. 메모리가 24 GB 미만이면 에이전트를 실행할 수 없습니다. 표의 모델은 텍스트로만 응답합니다. Ollama 라이브러리에는 새 모델이 계속 추가되므로 각 모델이 도구를 호출할 수 있는지 먼저 확인하세요.

ollama pull gemma4:31b

모델을 여러 개 다운로드하고 Hermes에서 /model 명령으로 전환할 수 있습니다.

3단계. 컨텍스트를 64,000으로 늘리기#

기본적으로 Ollama는 모델에 2,048토큰의 컨텍스트를 제공합니다. 하지만 Hermes가 도구를 사용하려면 최소 64,000이 필요합니다. 기본 컨텍스트로는 작업이 들어가지 않아 에이전트에서 오류가 발생합니다.

컨텍스트가 더 큰 모델 변형을 만드세요. 터미널에서 다음을 실행합니다.

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

이제 gemma4-64k 모델이 준비되었습니다. 이제부터는 원본 대신 이 모델을 사용하세요.

4단계. Hermes에 연결하기#

설정 마법사를 시작합니다.

hermes setup

공급자를 묻는 메시지가 나오면 Custom Endpoint를 선택하고 다음을 입력합니다.

• 주소: http://localhost:11434/v1;
• 키: 비워 두거나 no-key를 입력합니다;
• 모델: gemma4-64k.

~/.hermes/config.yaml에서 같은 설정을 직접 입력할 수도 있습니다.

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

에이전트가 작동하는지 확인하는 방법#

hermes를 실행하고 결과가 디스크에서 확인되는 작업을 지시하세요. 예를 들어 “이 폴더의 Python 파일을 모두 나열하고 각 파일의 줄 수를 세어 줘”라고 한 뒤 “test.txt라는 파일을 만들어 줘”라고 요청합니다. ls 명령이나 폴더에서 파일이 생겼는지 확인하세요. 도구가 없는 모델은 파일을 하나도 열지 않은 채 그럴듯한 목록을 태연하게 만들어 낼 수 있습니다.

사용하는 신경망이 저렴할수록 더 고급스러운 가죽 편집기가 필요합니다. 바로 당신이죠. 신경망이 똑똑할수록 스스로 머리를 쓸 일은 줄어들지만, 결국 계속 일해야 합니다.

처음부터 Hermes Agent를 설정하는 전체 영상:

이 영상에서는 Hermes를 처음부터 설치하고, 첫 AI 직원을 만들고, 요청마다 비용을 내는 방식과 구독을 비교하는 방법을 보여 줍니다.

첫 답변에 몇 분씩 걸리는 이유#

요청할 때마다 Hermes는 시스템 지침과 활성화된 모든 도구의 설명으로 구성된 고정 부분을 보냅니다. 그래픽 카드가 없으면 모델이 이 부분을 처리하는 데 시간이 오래 걸리고, 그다음에는 평소 속도로 답변을 작성합니다. 정상적인 동작입니다.

도움이 되는 방법:

• hermes prompt-size는 고정 부분의 크기를 보여 줍니다.
• hermes tools로 필요하지 않은 도구 집합을 비활성화하고, hermes skills로 불필요한 스킬을 제거할 수 있습니다. 연결된 MCP(외부 서비스)는 요청을 더 크게 만듭니다. 사용하지 않는다면 끄세요.
• ollama ps는 그래픽 카드로 오프로드된 모델 레이어 수를 보여 줍니다. 일부만 오프로드해도 속도가 빨라집니다. 비디오 메모리 12 GB인 그래픽 카드에서는 31B 모델의 레이어 약 40개가 그래픽 카드에서 처리되고 나머지는 프로세서가 처리합니다.
• 느린 컴퓨터에서는 ~/.hermes/.env에 HERMES_API_TIMEOUT=1800을 설정해 Hermes가 시간 초과로 요청을 중단하지 않도록 합니다.

에이전트가 서버에서 24시간 실행되거나 Telegram에서 응답한다면 Ollama가 비활성 상태가 5분 지나면 모델을 내리고, 다음 응답 때 다시 불러온다는 점을 기억하세요. Ollama 설정 OLLAMA_KEEP_ALIVE=24h를 사용하면 모델을 메모리에 유지할 수 있습니다. 에이전트를 서버로 옮기는 방법은 Hermes Agent를 서버에서 24시간 실행하는 글에서, 봇 설정은 Hermes Telegram 설정 가이드에서 확인할 수 있습니다.

문제가 생기면#

대체 모델로 사용하는 클라우드 모델#

Hermes 문서에서는 로컬 모델을 기본 모델로 유지하고 클라우드 모델을 대체 모델로 연결할 것을 권장합니다. 이렇게 하려면 ~/.hermes/config.yaml의 model 섹션 옆에 문서의 블록을 추가합니다.

Ailoot 문서에서 도구 가이드 찾기

로컬 모델이 세 번 실패하면 Hermes가 작업을 클라우드 모델로 보냅니다. 이 요청은 유료이며 클라우드로 전송됩니다.

또 다른 방법은 강력한 구독형 모델이 사고와 의사 결정을 맡고, 로컬 모델은 반복 작업을 처리하도록 하는 것입니다. 목표는 품질을 유지하면서 토큰 비용을 점차 줄이는 것입니다. 이 방식은 개별 단계에 더 저렴한 모델을 사용하고, 나중에는 로컬 모델을 선택지로 활용합니다. “기업용 AI 에이전트 비용은 얼마일까요?” 글에서 구독형 에이전트의 비용을 설명합니다. 아직 Hermes를 설치하지 않았다면 Hermes Agent 설치 방법 가이드부터 시작하세요.

로컬 모델 설정을 시도해 보셨나요? 어떤 모델을 실행하고 계신가요? 궁금하니 알려 주세요.

Ailoot를 더 알아보려면 ailoot.ai를 방문하세요.