Hermes Agent กับโมเดลในเครื่อง: เชื่อมต่อ Ollama

คุณเชื่อมต่อโมเดลในเครื่องกับ Hermes Agent ในแอปเดสก์ท็อปได้ผ่าน Settings → Providers → Local Models โดยคลิกสี่ครั้ง หรือจะตั้งค่าด้วยตนเองผ่าน Ollama ก็ได้ ไม่ว่าจะเลือกวิธีไหนก็ไม่ต้องใช้คีย์ ไม่ต้องจ่ายเงินต่อคำขอ และบทสนทนาจะไม่ออกจากเครื่องของคุณ

การรันโมเดลในเครื่องไม่มีค่าใช้จ่าย และ Hermes ก็ทำงานร่วมกับโมเดลได้ สิ่งสำคัญคือเลือกโมเดลที่ทำงานกับไฟล์และคำสั่งได้ และกำหนดบริบทอย่างน้อย 64,000 มิฉะนั้นเอเจนต์จะกลายเป็นแชตทั่วไป

มาดูกันว่าโมเดลในเครื่องมีประโยชน์ตรงไหนในปัจจุบัน เชื่อมต่ออย่างไร และตรวจสอบอย่างไรว่าเอเจนต์ทำงานกับไฟล์ได้ ไปกันเลย

เอกสารอ้างอิงของ Ailoot: ailoot.ai/docs/.

ควรให้เอเจนต์ใช้โมเดลในเครื่องหรือไม่?#

โมเดลในเครื่องมีประโยชน์อยู่แล้วในกรณีต่อไปนี้:

• ถอดเสียงพูด มีโมเดลโอเพนซอร์สฟรีสำหรับงานนี้ โมเดลมีขนาดเล็กและรู้จำเสียงได้ดี เสียงของคุณไม่รั่วไหลขึ้นคลาวด์ แผนลับ ๆ ทั้งหมดของคุณจึงยังอยู่กับคุณ มีคำแนะนำวิธีตั้งค่านี้ ในบทความแยกต่างหาก
• งานประจำ คุณใช้โมเดลเล็ก ๆ ที่ไม่ฉลาดนักกับงานประจำได้แล้ว เพราะมันจัดการงานเหล่านี้ได้
• ข้อมูลที่คุณไม่อยากส่งออกไป หากกังวลจริง ๆ คุณก็รันโมเดลบนเครื่องของตัวเองได้ แต่คุณภาพจะไม่ดี

ปีหน้าโมเดลในเครื่องน่าจะใช้พื้นที่น้อยลงไปอีก มีวิธีบีบอัดที่ทรงพลังอยู่แล้ว และคุณใช้ RAM แทนหน่วยความจำวิดีโอได้ ผมคิดว่าอีกราวหนึ่งปี ทุกคนจะมีกล่องเล็ก ๆ ที่มีโมเดลตัวเล็ก ๆ ไม่ฉลาดนัก ซึ่งทำงานได้ในระดับ Sonnet 5 แล้วคอยดูกัน

สำหรับการตั้งค่า ควรเตรียมตาราง “โมเดลไหนเหมาะกับงานอะไร” และไฟล์ PDF ที่มีคำสั่งติดตั้ง Hermes ไว้ใกล้มือ

วิธีที่ง่ายที่สุด: Local Models ใน Hermes บนเดสก์ท็อป#

หากคุณมีแอป Hermes บนเดสก์ท็อป ก็ไม่ต้องติดตั้งอะไรด้วยตนเอง Hermes จะติดตั้งเซิร์ฟเวอร์ llama.cpp ในเครื่อง ดาวน์โหลดโมเดล และเลือกขนาดบริบทให้คุณเอง:

1. เปิด Settings → Providers → Local Models หรือเลือก Run models locally ตอนเปิดแอปครั้งแรก
2. คลิก Install runtime: Hermes จะดาวน์โหลดบิลด์ llama.cpp ที่เหมาะกับฮาร์ดแวร์ของคุณ ซึ่งมีขนาดไม่กี่ร้อยเมกะไบต์
3. เลือกโมเดลจากแค็ตตาล็อกแล้วคลิก Download
4. คลิก Use: แชตใหม่จะใช้โมเดลในเครื่อง

โมเดลแต่ละรายการในแค็ตตาล็อกมีป้ายสี: สีเขียวหมายถึงโมเดลทำงานในหน่วยความจำวิดีโอทั้งหมดได้ สีเหลืองหมายถึงโมเดลทำงานผ่าน RAM และช้ากว่า ส่วนสีแดงหมายถึงโมเดลใหญ่เกินไปสำหรับคอมพิวเตอร์ของคุณ แอปกำหนดบริบทไว้ที่ 64,000 ขึ้นไปสำหรับโมเดลที่แนะนำ การ์ดกราฟิกที่มี 8+ GB รันโมเดลขนาดเล็กในแค็ตตาล็อกได้ ส่วนการ์ดที่มี 16+ GB รันโมเดล 27-35B ได้ หากไม่ได้ใช้โมเดลเป็นเวลา 15 นาที แอปจะนำโมเดลออกจากหน่วยความจำ และโหลดกลับมาเมื่อคุณส่งข้อความอีกครั้ง

ส่วนนี้มีอยู่ในบิลด์ทดสอบ (canary) ของแอป หากเป็นบิลด์อื่น ให้เปิดด้วยแฟล็กเปิดแอป --local หากไม่เห็น Local Models ในการตั้งค่า น่าจะเป็นเพราะเหตุนี้ จากเทอร์มินัล เส้นทางเดียวกันคือ hermes model → Local models

หลังเลือกโมเดลแล้ว ให้ตรวจสอบด้วยงานที่เกี่ยวข้องกับไฟล์ตามที่อธิบายในส่วนถัดไป

หากคุณสร้างโปรเจ็กต์ของตัวเองโดยใช้เอเจนต์ AI ให้ตรวจสอบผลลัพธ์ด้วยงานจริงขนาดเล็ก

ใช้ Ollama: ต้องใช้ฮาร์ดแวร์แบบไหน#

คุณต้องใช้ Ollama หากติดตั้ง Hermes บนเซิร์ฟเวอร์ หรือไม่มีส่วน Local Models ข้อกำหนดฮาร์ดแวร์จากคู่มือ Hermes มีดังนี้:

8 GB เพียงพอสำหรับโมเดลขนาดเล็กที่ตอบกลับเป็นข้อความเท่านั้น หากต้องการให้โมเดลทำงานเป็นเอเจนต์ คุณต้องมี 24 GB ขึ้นไป ดูรายละเอียดในขั้นตอนที่ 2 ทุกอย่างทำงานได้แม้ไม่มีการ์ดกราฟิก แต่จะช้า: โมเดล 9B บนโปรเซสเซอร์ 8 คอร์สร้างข้อความได้ประมาณ 10 โทเค็นต่อวินาที ส่วนโมเดล 31B สร้างได้ 2-5 โทเค็นต่อวินาที และแต่ละคำตอบใช้เวลา 30-120 วินาที

ขั้นตอนที่ 1 ติดตั้ง Ollama#

Ollama รันโมเดลบนคอมพิวเตอร์ของคุณโดยตรง บน Mac และ Linux ให้ติดตั้งด้วยคำสั่งเดียวในเทอร์มินัล:

curl -fsSL https://ollama.com/install.sh | sh

บน Windows คำสั่ง PowerShell คือ:

irm https://ollama.com/install.ps1 | iex

ตรวจสอบว่าโปรแกรมติดตั้งแล้วและเซิร์ฟเวอร์ตอบสนอง:

ollama --version
curl http://localhost:11434/api/tags

หากคุณยังไม่มีโมเดล คำสั่งที่สองจะแสดงรายการว่าง จำพอร์ต 11434 ไว้ เพราะ Hermes ใช้พอร์ตนี้เพื่อเชื่อมต่อกับโมเดล

ขั้นตอนที่ 2 ดาวน์โหลดโมเดลที่ทำงานได้#

โมเดลทำอะไร? มันสร้างข้อความ ส่วน Hermes ซึ่งเป็นตัวครอบโมเดลจะจัดการการทำงานกับไฟล์ คำสั่งเทอร์มินัล และการค้นหา เพื่อให้ตัวครอบทำงานได้ โมเดลต้องเรียกใช้เครื่องมือได้ หากทำไม่ได้ เอเจนต์จะตอบกลับอย่างเดียวและไม่ทำอะไร

ในบรรดาโมเดลทั้งสี่นี้ มีเพียง gemma4:31b ที่ทำงานเป็นเอเจนต์ได้ หากคุณมีหน่วยความจำน้อยกว่า 24 GB จะรันเอเจนต์ไม่ได้ โมเดลในตารางจะตอบกลับเป็นข้อความเท่านั้น มีโมเดลใหม่ ๆ ปรากฏในไลบรารี Ollama อยู่เสมอ สำหรับแต่ละโมเดล ให้ตรวจสอบก่อนว่ามันเรียกใช้เครื่องมือได้หรือไม่

ollama pull gemma4:31b

คุณดาวน์โหลดหลายโมเดลแล้วสลับไปมาระหว่างโมเดลใน Hermes ด้วยคำสั่ง /model ได้

ขั้นตอนที่ 3 เพิ่มบริบทเป็น 64,000#

ค่าเริ่มต้น Ollama ให้บริบทโมเดล 2,048 โทเค็น ขณะที่ Hermes ต้องใช้บริบทอย่างน้อย 64,000 เพื่อทำงานกับเครื่องมือได้ เมื่อใช้บริบทค่าเริ่มต้น งานจะมีขนาดเกินกว่าที่รองรับ และเอเจนต์จะล้มเหลวพร้อมข้อผิดพลาด

สร้างเวอร์ชันของโมเดลที่มีบริบทใหญ่ขึ้น รันคำสั่งต่อไปนี้ในเทอร์มินัล:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

ตอนนี้คุณมีโมเดล gemma4-64k แล้ว จากนี้ไปให้ใช้โมเดลนี้ทุกที่แทนโมเดลดั้งเดิม

ขั้นตอนที่ 4 เชื่อมต่อกับ Hermes#

เริ่มตัวช่วยตั้งค่า:

hermes setup

เมื่อระบบถามถึงผู้ให้บริการ ให้เลือก Custom Endpoint แล้วกรอก:

• ที่อยู่: http://localhost:11434/v1;
• คีย์: เว้นว่างไว้หรือกรอก no-key;
• โมเดล: gemma4-64k.

คุณกรอกการตั้งค่าเดียวกันด้วยตนเองใน ~/.hermes/config.yaml ได้เช่นกัน:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

วิธีตรวจสอบว่าเอเจนต์ทำงานได้#

รัน hermes แล้วมอบหมายงานที่มีผลลัพธ์ให้เห็นบนดิสก์ ตัวอย่างเช่น “แสดงไฟล์ Python ทั้งหมดในโฟลเดอร์นี้และนับจำนวนบรรทัดในแต่ละไฟล์” แล้วตามด้วย “สร้างไฟล์ชื่อ test.txt” ตรวจสอบด้วยคำสั่ง ls หรือดูในโฟลเดอร์ว่าไฟล์ปรากฏขึ้นหรือไม่ โมเดลที่ไม่มีเครื่องมืออาจสร้างรายการที่ดูน่าเชื่อถือได้อย่างสบาย ๆ ทั้งที่ไม่ได้เปิดไฟล์แม้แต่ไฟล์เดียว

ยิ่งโครงข่ายประสาทเทียมที่คุณใช้ราคาถูกเท่าไร ก็ยิ่งต้องมีผู้แก้ไขที่เก่งกาจมากขึ้นเท่านั้น ซึ่งก็คือคุณ ยิ่งโครงข่ายประสาทเทียมฉลาดขึ้น คุณก็ยิ่งต้องใช้สมองตัวเองน้อยลง แต่ก็ยังต้องทำงานอยู่ดี

วิดีโอแนะนำการตั้งค่า Hermes Agent ตั้งแต่เริ่มต้นอย่างครบถ้วน:

วิดีโอแสดงวิธีติดตั้ง Hermes ตั้งแต่เริ่มต้น สร้างพนักงาน AI คนแรกของคุณ และเปรียบเทียบการจ่ายเงินต่อคำขอกับการสมัครสมาชิก

ทำไมคำตอบแรกจึงใช้เวลาหลายนาที#

ในทุกคำขอ Hermes จะส่งส่วนที่ตายตัวไปด้วย ได้แก่ คำสั่งระบบและคำอธิบายของเครื่องมือที่เปิดใช้งานทั้งหมด หากไม่มีการ์ดกราฟิก โมเดลจะใช้เวลานานในการประมวลผลส่วนนี้ก่อน จากนั้นจึงเขียนข้อความด้วยความเร็วปกติ นี่เป็นเรื่องปกติ

สิ่งที่ช่วยได้:

• hermes prompt-size แสดงขนาดของส่วนที่ตายตัว
• hermes tools ปิดชุดเครื่องมือที่ไม่จำเป็น ส่วน hermes skills ช่วยนำทักษะส่วนเกินออก MCP ที่เชื่อมต่ออยู่แต่ละตัว (บริการภายนอก) ทำให้ทุกคำขอมีขนาดใหญ่ขึ้น หากคุณไม่ได้ใช้ ให้ปิดไว้
• ollama ps แสดงจำนวนเลเยอร์โมเดลที่ถูกย้ายไปยังการ์ดกราฟิก แม้ย้ายไปเพียงบางส่วนก็ช่วยเพิ่มความเร็วได้: โมเดล 31B บนการ์ดกราฟิกที่มี 12 GB จะย้ายเลเยอร์ประมาณ 40 เลเยอร์ไปไว้ที่การ์ด ส่วนที่เหลือประมวลผลด้วยโปรเซสเซอร์
• บนเครื่องที่ช้า ให้ตั้ง HERMES_API_TIMEOUT=1800 ใน ~/.hermes/.env เพื่อไม่ให้ Hermes ตัดคำขอเมื่อหมดเวลา

หากเอเจนต์ทำงานบนเซิร์ฟเวอร์ตลอดเวลา หรือตอบกลับใน Telegram โปรดจำไว้ว่า Ollama จะนำโมเดลออกหลังไม่มีการใช้งาน 5 นาที และคำตอบถัดไปจะเริ่มด้วยการโหลดโมเดลอีกครั้ง การตั้งค่า Ollama OLLAMA_KEEP_ALIVE=24h จะทำให้โมเดลอยู่ในหน่วยความจำ มีคำแนะนำการย้ายเอเจนต์ไปยังเซิร์ฟเวอร์ ในบทความเกี่ยวกับการให้ Hermes Agent ทำงานบนเซิร์ฟเวอร์ตลอดเวลา และวิธีตั้งค่าบอต ในคู่มือการตั้งค่า Hermes Telegram

หากเกิดปัญหา#

ใช้โมเดลคลาวด์เป็นตัวสำรอง#

เอกสาร Hermes แนะนำให้ใช้โมเดลในเครื่องเป็นโมเดลหลัก และเชื่อมต่อโมเดลคลาวด์เป็นตัวสำรอง หากต้องการทำเช่นนี้ ให้เพิ่มบล็อกจากเอกสารไว้ข้างส่วน model ใน ~/.hermes/config.yaml:

ค้นหาคู่มือการใช้เครื่องมือในเอกสารประกอบของ Ailoot

หากโมเดลในเครื่องล้มเหลวสามครั้ง Hermes จะส่งงานไปยังโมเดลคลาวด์ คำขอเหล่านั้นมีค่าใช้จ่ายและส่งไปยังคลาวด์

อีกทางเลือกหนึ่งคือให้โมเดลแบบสมัครสมาชิกที่มีประสิทธิภาพสูงเป็นผู้คิดและตัดสินใจ ส่วนโมเดลในเครื่องจัดการงานประจำ เป้าหมายคือรักษาคุณภาพและค่อย ๆ ลดค่าใช้จ่ายโทเค็น แนวทางนี้ใช้โมเดลราคาถูกกว่าสำหรับขั้นตอนย่อย ๆ และอาจใช้โมเดลในเครื่องในภายหลัง บทความ “เอเจนต์ AI สำหรับธุรกิจมีค่าใช้จ่ายเท่าไร?” อธิบายค่าใช้จ่ายของเอเจนต์ที่ใช้โมเดลแบบสมัครสมาชิก หากคุณยังไม่ได้ติดตั้ง Hermes ให้เริ่มจากคำแนะนำเรื่อง วิธีติดตั้ง Hermes Agent

คุณเคยลองตั้งค่าโมเดลในเครื่องหรือยัง? คุณใช้โมเดลอะไร? บอกเราได้เลย เราอยากรู้

สำรวจ Ailoot ต่อได้ที่ ailoot.ai.