Hermes Agent với mô hình cục bộ: kết nối Ollama

Bạn có thể kết nối mô hình cục bộ với Hermes Agent trong ứng dụng máy tính qua Settings → Providers → Local Models chỉ với bốn lần nhấp, hoặc tự thiết lập bằng Ollama. Dù chọn cách nào, bạn cũng không cần khóa, không phải trả phí cho từng yêu cầu và cuộc trò chuyện không rời khỏi máy của bạn.

Mô hình cục bộ không tốn phí, và Hermes có thể làm việc với mô hình đó. Điều quan trọng là chọn một mô hình có thể làm việc với tệp và lệnh, đồng thời cấp cho nó ngữ cảnh ít nhất 64,000; nếu không, tác nhân sẽ biến thành một cuộc trò chuyện thông thường.

Hãy cùng xem hiện nay mô hình cục bộ hữu ích ở đâu, cách kết nối một mô hình và cách kiểm tra tác nhân có làm việc với tệp hay không. Bắt đầu nhé.

Tài liệu tham khảo của Ailoot: ailoot.ai/docs/.

Có nên cho tác nhân chạy trên mô hình cục bộ không?#

Mô hình cục bộ đã hữu ích trong những trường hợp sau:

• Chép lời nói. Có những mô hình mở miễn phí cho việc này: chúng nhỏ và nhận dạng âm thanh tốt. Giọng nói của bạn không bị rò rỉ lên đám mây, nên mọi kế hoạch bí mật của bạn vẫn ở lại với bạn. Có hướng dẫn thiết lập việc này trong một bài viết riêng.
• Tác vụ thường lệ. Bạn có thể dùng các mô hình nhỏ, kém thông minh cho những tác vụ thường lệ ngay từ bây giờ: chúng xử lý được các tác vụ đó.
• Dữ liệu bạn ngại gửi ra ngoài. Nếu thực sự lo ngại, bạn có thể chạy mô hình trên máy của mình. Nhưng chất lượng sẽ kém.

Năm sau, mô hình cục bộ có lẽ sẽ còn chiếm ít dung lượng hơn. Các phương pháp nén mạnh đã có sẵn, và bạn có thể dùng RAM thay cho bộ nhớ video. Tôi nghĩ trong khoảng một năm nữa, ai cũng sẽ có một chiếc hộp nhỏ với một mô hình nhỏ kém thông minh, có thể thực hiện tác vụ ở cấp độ Sonnet 5. Cứ chờ xem.

Để thiết lập, bạn nên chuẩn bị sẵn bảng “mô hình nào phù hợp với tác vụ nào” và một tệp PDF có các lệnh cài đặt Hermes.

Cách dễ nhất: Local Models trong Hermes trên máy tính#

Nếu có ứng dụng Hermes trên máy tính, bạn không cần cài đặt thủ công bất cứ thứ gì. Hermes sẽ cài máy chủ llama.cpp cục bộ, tải mô hình xuống và tự chọn kích thước ngữ cảnh cho bạn:

1. Mở Settings → Providers → Local Models hoặc chọn Run models locally khi khởi chạy lần đầu.
2. Nhấp Install runtime: Hermes sẽ tải bản dựng llama.cpp phù hợp với phần cứng của bạn; tệp này có dung lượng vài trăm megabyte.
3. Chọn một mô hình trong danh mục rồi nhấp Download.
4. Nhấp Use: các cuộc trò chuyện mới sẽ chạy qua mô hình cục bộ.

Mỗi mô hình trong danh mục có nhãn màu: màu xanh lá nghĩa là mô hình vừa hoàn toàn trong bộ nhớ video, màu vàng nghĩa là mô hình chạy qua RAM và chậm hơn, còn màu đỏ nghĩa là mô hình quá lớn đối với máy tính của bạn. Ứng dụng đặt ngữ cảnh từ 64,000 trở lên cho các mô hình được khuyến nghị. Card đồ họa có 8+ GB có thể chạy các mô hình nhỏ trong danh mục; card có 16+ GB có thể chạy mô hình 27-35B. Nếu bạn không dùng mô hình trong 15 phút, ứng dụng sẽ gỡ mô hình khỏi bộ nhớ; mô hình sẽ được tải lại khi bạn gửi tin nhắn tiếp theo.

Mục này có trong các bản dựng thử nghiệm (canary) của ứng dụng; với các bản dựng khác, hãy mở mục này bằng cờ khởi chạy --local. Nếu bạn không thấy Local Models trong phần cài đặt thì nhiều khả năng đây là lý do. Từ terminal, đường dẫn tương tự là: hermes model → Local models.

Sau khi chọn mô hình, hãy kiểm tra mô hình bằng một tác vụ có liên quan đến tệp như trong phần bên dưới.

Nếu bạn xây dựng dự án của riêng mình bằng tác nhân AI, hãy kiểm tra kết quả với một tác vụ thực tế, quy mô nhỏ.

Dùng Ollama: bạn cần phần cứng nào#

Bạn cần Ollama nếu Hermes được cài trên máy chủ hoặc bạn không có mục Local Models. Yêu cầu phần cứng theo hướng dẫn của Hermes:

8 GB chỉ đủ cho một mô hình nhỏ chỉ trả lời bằng văn bản. Để mô hình hoạt động như một tác nhân, bạn cần 24 GB trở lên; xem chi tiết ở bước 2. Mọi thứ vẫn hoạt động mà không cần card đồ họa, nhưng sẽ chậm: mô hình 9B trên bộ xử lý 8 lõi tạo khoảng 10 token mỗi giây; mô hình 31B tạo 2-5 token mỗi giây, và mỗi câu trả lời mất 30-120 giây.

Bước 1. Cài đặt Ollama#

Ollama chạy mô hình trực tiếp trên máy tính của bạn. Trên Mac và Linux, hãy cài đặt bằng một lệnh trong terminal:

curl -fsSL https://ollama.com/install.sh | sh

Trên Windows, lệnh PowerShell là:

irm https://ollama.com/install.ps1 | iex

Kiểm tra chương trình đã được cài đặt và máy chủ có phản hồi hay không:

ollama --version
curl http://localhost:11434/api/tags

Nếu bạn chưa có mô hình nào, lệnh thứ hai sẽ trả về một danh sách trống. Hãy nhớ cổng 11434: Hermes dùng cổng này để kết nối với mô hình.

Bước 2. Tải mô hình có thể thực hiện hành động#

Mô hình làm gì? Nó tạo văn bản. Lớp bao quanh mô hình, Hermes, xử lý việc làm việc với tệp, lệnh terminal và tìm kiếm. Để lớp bao này hoạt động, mô hình phải có khả năng gọi công cụ. Nếu không, tác nhân chỉ trả lời mà chẳng làm gì.

Trong bốn mô hình này, chỉ gemma4:31b hoạt động như một tác nhân. Nếu bạn có dưới 24 GB bộ nhớ, bạn sẽ không thể chạy tác nhân: các mô hình trong bảng chỉ trả lời bằng văn bản. Các mô hình mới liên tục xuất hiện trong thư viện Ollama; với từng mô hình, trước tiên hãy kiểm tra xem nó có thể gọi công cụ hay không.

ollama pull gemma4:31b

Bạn có thể tải nhiều mô hình xuống rồi chuyển đổi giữa chúng trong Hermes bằng lệnh /model.

Bước 3. Tăng ngữ cảnh lên 64,000#

Theo mặc định, Ollama cấp cho mô hình ngữ cảnh 2,048 token, trong khi Hermes cần ít nhất 64,000 để làm việc với công cụ. Với ngữ cảnh mặc định, tác vụ sẽ không vừa và tác nhân sẽ gặp lỗi.

Tạo một biến thể của mô hình với ngữ cảnh lớn hơn. Chạy lệnh sau trong terminal:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Giờ bạn đã có mô hình gemma4-64k. Từ giờ trở đi, hãy dùng mô hình này ở mọi nơi thay cho mô hình gốc.

Bước 4. Kết nối với Hermes#

Khởi động trình hướng dẫn thiết lập:

hermes setup

Khi được hỏi về nhà cung cấp, hãy chọn Custom Endpoint và nhập:

• địa chỉ: http://localhost:11434/v1;
• khóa: để trống hoặc nhập no-key;
• mô hình: gemma4-64k.

Bạn cũng có thể tự nhập cấu hình tương tự vào ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Cách kiểm tra tác nhân có hoạt động hay không#

Chạy hermes và giao cho nó một tác vụ có kết quả nhìn thấy được trên đĩa. Ví dụ: “Liệt kê tất cả tệp Python trong thư mục này và đếm số dòng của từng tệp”, sau đó “Tạo một tệp có tên test.txt.” Kiểm tra bằng lệnh ls hoặc xem trong thư mục để biết tệp đã xuất hiện chưa. Mô hình không có công cụ có thể bình thản tạo ra một danh sách trông hợp lý mà không mở dù chỉ một tệp.

Mạng nơ-ron bạn dùng càng rẻ thì càng cần một biên tập viên giỏi hơn. Người đó chính là bạn. Mạng nơ-ron càng thông minh thì bạn càng ít phải dùng đến đầu óc của mình, nhưng bạn vẫn luôn phải làm việc.

Video về cách thiết lập Hermes Agent đầy đủ từ đầu:

Video cho thấy cách cài đặt Hermes từ đầu, xây dựng nhân viên AI đầu tiên và so sánh việc trả phí cho từng yêu cầu với đăng ký thuê bao.

Vì sao câu trả lời đầu tiên mất vài phút#

Với mỗi yêu cầu, Hermes gửi kèm một phần cố định: chỉ dẫn hệ thống và mô tả của tất cả công cụ đang bật. Nếu không có card đồ họa, mô hình sẽ mất nhiều thời gian để xử lý phần này trước, rồi mới viết với tốc độ bình thường. Điều đó là bình thường.

Những việc có ích:

• hermes prompt-size cho biết kích thước của phần cố định;
• hermes tools tắt các nhóm công cụ không cần thiết, còn hermes skills giúp loại bỏ kỹ năng thừa. Mỗi MCP được kết nối (dịch vụ bên ngoài) làm cho mọi yêu cầu lớn hơn: nếu không dùng, hãy tắt nó;
• ollama ps cho biết có bao nhiêu lớp mô hình đã được chuyển sang card đồ họa. Chuyển một phần cũng giúp tăng tốc: mô hình 31B trên card đồ họa có 12 GB sẽ đưa khoảng 40 lớp lên card; bộ xử lý xử lý phần còn lại;
• trên máy chậm, đặt HERMES_API_TIMEOUT=1800 trong ~/.hermes/.env để Hermes không cắt yêu cầu khi hết thời gian chờ.

Nếu tác nhân chạy trên máy chủ suốt ngày đêm hoặc trả lời qua Telegram, hãy nhớ: Ollama gỡ mô hình sau 5 phút không hoạt động, và câu trả lời tiếp theo sẽ bắt đầu bằng việc tải mô hình lại. Cài đặt Ollama OLLAMA_KEEP_ALIVE=24h giữ mô hình trong bộ nhớ. Có hướng dẫn chuyển tác nhân sang máy chủ trong bài viết về cách chạy Hermes Agent trên máy chủ suốt ngày đêm, và hướng dẫn thiết lập bot trong hướng dẫn thiết lập Hermes Telegram.

Nếu có vấn đề#

Dùng mô hình đám mây làm phương án dự phòng#

Tài liệu Hermes gợi ý giữ mô hình cục bộ làm mô hình chính và kết nối mô hình đám mây làm phương án dự phòng. Để làm vậy, hãy thêm khối trong tài liệu bên cạnh phần model trong ~/.hermes/config.yaml:

Tìm hướng dẫn về các công cụ trong tài liệu Ailoot

Nếu mô hình cục bộ thất bại ba lần, Hermes sẽ gửi tác vụ đến mô hình đám mây. Những yêu cầu đó mất phí và được gửi lên đám mây.

Một lựa chọn khác là để mô hình đăng ký mạnh xử lý việc suy nghĩ và ra quyết định, còn mô hình cục bộ đảm nhận các tác vụ thường lệ. Mục tiêu là duy trì chất lượng và giảm dần chi phí token. Cách tiếp cận này dùng các mô hình rẻ hơn cho từng bước riêng lẻ, và có thể dùng mô hình cục bộ sau này. Bài viết “Tác nhân AI cho doanh nghiệp tốn bao nhiêu?” mô tả chi phí của các tác nhân dùng mô hình theo gói đăng ký. Nếu chưa cài Hermes, hãy bắt đầu với hướng dẫn cách cài đặt Hermes Agent.

Bạn đã thử thiết lập mô hình cục bộ chưa? Bạn đang chạy gì trên đó? Hãy kể cho chúng tôi nhé; chúng tôi rất muốn biết.

Tiếp tục khám phá Ailoot tại ailoot.ai.