Hermes Agent με τοπικό μοντέλο: σύνδεση του Ollama

Μπορείτε να συνδέσετε ένα τοπικό μοντέλο στο Hermes Agent μέσα από την εφαρμογή για υπολογιστές, μέσω των Ρυθμίσεων → Παρόχων → Local Models με τέσσερα κλικ, ή χειροκίνητα μέσω του Ollama. Και στις δύο περιπτώσεις, δεν χρειάζεται κλειδί, δεν πληρώνετε για κάθε αίτημα και η συνομιλία δεν φεύγει από τον υπολογιστή σας.

Η λειτουργία ενός τοπικού μοντέλου δεν κοστίζει τίποτα, και το Hermes μπορεί να συνεργαστεί με ένα τέτοιο μοντέλο. Το βασικό είναι να επιλέξετε ένα μοντέλο που μπορεί να δουλεύει με αρχεία και εντολές και να του δώσετε πλαίσιο τουλάχιστον 64.000· διαφορετικά, ο agent μετατρέπεται σε μια συνηθισμένη συνομιλία.

Ας δούμε πού είναι χρήσιμο σήμερα ένα τοπικό μοντέλο, πώς να το συνδέσετε και πώς να ελέγξετε ότι ο agent δουλεύει με αρχεία. Πάμε.

Τεκμηρίωση αναφοράς του Ailoot: ailoot.ai/docs/.

Να βάλετε έναν agent σε τοπικό μοντέλο;#

Πού είναι ήδη χρήσιμο ένα τοπικό μοντέλο:

• Απομαγνητοφώνηση ομιλίας. Υπάρχουν δωρεάν μοντέλα ανοικτού κώδικα γι’ αυτό: είναι μικρά και αναγνωρίζουν καλά τον ήχο. Η φωνή σας δεν διαρρέει στο cloud, οπότε όλα τα έξυπνα σχέδιά σας μένουν μαζί σας. Υπάρχει αναλυτικός οδηγός για το πώς να το ρυθμίσετε σε ξεχωριστό άρθρο.
• Εργασίες ρουτίνας. Μπορείτε ήδη να χρησιμοποιείτε μικρά, χαζά μοντέλα για εργασίες ρουτίνας: μπορούν να τις διεκπεραιώσουν.
• Δεδομένα που φοβάστε να στείλετε εκτός της συσκευής σας. Αν ανησυχείτε πραγματικά, μπορείτε να εκτελέσετε ένα μοντέλο στο δικό σας μηχάνημα. Όμως η ποιότητα θα είναι χαμηλή.

Την επόμενη χρονιά, τα τοπικά μοντέλα πιθανότατα θα καταλαμβάνουν ακόμη λιγότερο χώρο. Υπάρχουν ήδη ισχυρές μέθοδοι συμπίεσης και μπορείτε να χρησιμοποιήσετε RAM αντί για μνήμη βίντεο. Νομίζω πως σε ένα χρόνο περίπου όλοι θα έχουν ένα μικρό κουτί με ένα μικρό, χαζό μοντέλο που εκτελεί εργασίες στο επίπεδο του Sonnet 5. Θα δούμε.

Για τη ρύθμιση, είναι χρήσιμο να έχετε κοντά σας έναν πίνακα «ποιο μοντέλο για ποια εργασία» και ένα PDF με τις εντολές εγκατάστασης του Hermes.

Ο ευκολότερος τρόπος: Local Models στο Hermes για υπολογιστές#

Αν έχετε την εφαρμογή Hermes για υπολογιστές, δεν χρειάζεται να εγκαταστήσετε τίποτα χειροκίνητα. Το Hermes θα εγκαταστήσει τον τοπικό διακομιστή llama.cpp, θα κατεβάσει ένα μοντέλο και θα επιλέξει το μέγεθος πλαισίου για εσάς:

1. Ανοίξτε Settings → Providers → Local Models ή επιλέξτε Run models locally κατά την πρώτη εκκίνηση.
2. Κάντε κλικ στο Install runtime: το Hermes θα κατεβάσει μια έκδοση του llama.cpp για το υλικό σας· έχει μέγεθος μερικές εκατοντάδες megabyte.
3. Επιλέξτε ένα μοντέλο από τον κατάλογο και κάντε κλικ στο Download.
4. Κάντε κλικ στο Use: οι νέες συνομιλίες θα χρησιμοποιούν το τοπικό μοντέλο.

Κάθε μοντέλο στον κατάλογο έχει μια έγχρωμη ετικέτα: το πράσινο σημαίνει ότι χωράει εξ ολοκλήρου στη μνήμη βίντεο, το κίτρινο ότι εκτελείται μέσω RAM και είναι πιο αργό, και το κόκκινο ότι είναι πολύ μεγάλο για τον υπολογιστή σας. Η εφαρμογή ορίζει πλαίσιο 64.000 ή μεγαλύτερο για τα προτεινόμενα μοντέλα. Μια κάρτα γραφικών με 8+ GB μπορεί να εκτελέσει τα μικρά μοντέλα του καταλόγου· μια με 16+ GB μπορεί να εκτελέσει μοντέλα 27-35B. Αν δεν χρησιμοποιήσετε ένα μοντέλο για 15 λεπτά, η εφαρμογή το αποφορτώνει από τη μνήμη· το φορτώνει ξανά όταν στείλετε άλλο μήνυμα.

Η ενότητα περιλαμβάνεται στις δοκιμαστικές (canary) εκδόσεις της εφαρμογής· στις άλλες εκδόσεις, ανοίξτε την με τη σημαία εκκίνησης --local. Αν δεν βλέπετε το Local Models στις ρυθμίσεις, πιθανότατα αυτός είναι ο λόγος. Από το τερματικό, η ίδια διαδρομή είναι: hermes model → Local models.

Αφού επιλέξετε μοντέλο, ελέγξτε το με μια εργασία που αφορά ένα αρχείο, όπως περιγράφεται στην παρακάτω ενότητα.

Αν φτιάχνετε δικά σας έργα με AI agents, ελέγξτε το αποτέλεσμα σε μια μικρή, πραγματική εργασία.

Χρήση του Ollama: τι υλικό χρειάζεστε#

Χρειάζεστε το Ollama αν το Hermes είναι εγκατεστημένο σε διακομιστή ή αν δεν έχετε την ενότητα Local Models. Απαιτήσεις υλικού από τον οδηγό του Hermes:

Τα 8 GB αρκούν μόνο για ένα μικρό μοντέλο που απαντά μόνο με κείμενο. Για να λειτουργήσει το μοντέλο ως agent, χρειάζεστε 24 GB ή περισσότερο· δείτε το βήμα 2 για λεπτομέρειες. Όλα λειτουργούν χωρίς κάρτα γραφικών, αλλά αργά: ένα μοντέλο 9B σε επεξεργαστή 8 πυρήνων παράγει περίπου 10 tokens το δευτερόλεπτο· ένα μοντέλο 31B, 2-5, και κάθε απάντηση διαρκεί 30-120 δευτερόλεπτα.

Βήμα 1. Εγκαταστήστε το Ollama#

Το Ollama εκτελεί μοντέλα απευθείας στον υπολογιστή σας. Σε Mac και Linux, εγκαταστήστε το με μία εντολή στο τερματικό:

curl -fsSL https://ollama.com/install.sh | sh

Στα Windows, η εντολή PowerShell είναι:

irm https://ollama.com/install.ps1 | iex

Ελέγξτε ότι το πρόγραμμα είναι εγκατεστημένο και ότι ο διακομιστής αποκρίνεται:

ollama --version
curl http://localhost:11434/api/tags

Αν δεν έχετε ακόμη μοντέλα, η δεύτερη εντολή θα επιστρέψει μια κενή λίστα. Θυμηθείτε τη θύρα 11434: το Hermes τη χρησιμοποιεί για να επικοινωνεί με το μοντέλο.

Βήμα 2. Κατεβάστε ένα μοντέλο που μπορεί να αναλαμβάνει δράση#

Τι κάνει ένα μοντέλο; Παράγει κείμενο. Το περιτύλιγμα γύρω του, το Hermes, αναλαμβάνει την εργασία με αρχεία, εντολές τερματικού και αναζήτηση. Για να λειτουργήσει το περιτύλιγμα, το μοντέλο πρέπει να μπορεί να καλεί εργαλεία. Χωρίς αυτό, ο agent απλώς απαντά και δεν κάνει τίποτα.

Από αυτά τα τέσσερα μοντέλα, μόνο το gemma4:31b λειτουργεί ως agent. Αν έχετε λιγότερα από 24 GB μνήμης, δεν θα μπορείτε να εκτελέσετε agent: τα μοντέλα του πίνακα θα απαντούν μόνο με κείμενο. Στη βιβλιοθήκη Ollama εμφανίζονται συνεχώς νέα μοντέλα· για καθένα, ελέγξτε πρώτα αν μπορεί να καλεί εργαλεία.

ollama pull gemma4:31b

Μπορείτε να κατεβάσετε πολλά μοντέλα και να κάνετε εναλλαγή μεταξύ τους στο Hermes με την εντολή /model.

Βήμα 3. Αυξήστε το πλαίσιο σε 64.000#

Από προεπιλογή, το Ollama δίνει στο μοντέλο πλαίσιο 2.048 tokens, ενώ το Hermes χρειάζεται τουλάχιστον 64.000 για να δουλεύει με εργαλεία. Με το προεπιλεγμένο πλαίσιο, η εργασία δεν θα χωρέσει και ο agent θα αποτύχει με σφάλματα.

Δημιουργήστε μια παραλλαγή του μοντέλου με μεγαλύτερο πλαίσιο. Εκτελέστε αυτό στο τερματικό:

cat > Modelfile << 'EOF'
FROM gemma4:31b
PARAMETER num_ctx 64000
EOF

ollama create gemma4-64k -f Modelfile

Τώρα έχετε το μοντέλο gemma4-64k. Χρησιμοποιείτε το παντού από εδώ και πέρα, όχι το αρχικό.

Βήμα 4. Συνδέστε το στο Hermes#

Ξεκινήστε τον οδηγό ρύθμισης:

hermes setup

Όταν σας ρωτήσει για τον πάροχο, επιλέξτε Custom Endpoint και εισαγάγετε:

• διεύθυνση: http://localhost:11434/v1·
• κλειδί: αφήστε το κενό ή εισαγάγετε no-key·
• μοντέλο: gemma4-64k.

Μπορείτε να εισαγάγετε την ίδια ρύθμιση χειροκίνητα στο ~/.hermes/config.yaml:

model:
  default: "gemma4-64k"
  provider: "custom"
  base_url: "http://localhost:11434/v1"

Πώς να ελέγξετε ότι λειτουργεί ο agent#

Εκτελέστε το hermes και δώστε του μια εργασία της οποίας το αποτέλεσμα είναι ορατό στον δίσκο. Για παράδειγμα: «Κατάγραψε όλα τα αρχεία Python σε αυτόν τον φάκελο και μέτρησε τις γραμμές σε καθένα» και μετά «Δημιούργησε ένα αρχείο με όνομα test.txt». Ελέγξτε με την εντολή ls ή στον φάκελο αν εμφανίστηκε το αρχείο. Ένα μοντέλο χωρίς εργαλεία μπορεί κάλλιστα να παράγει μια εύλογη λίστα χωρίς να ανοίξει ούτε ένα αρχείο.

Όσο φθηνότερο είναι το νευρωνικό δίκτυο που χρησιμοποιείτε, τόσο πιο εξελιγμένο δερμάτινο πρόγραμμα επεξεργασίας χρειάζεται. Εσείς. Όσο πιο έξυπνο είναι το νευρωνικό σας δίκτυο, τόσο λιγότερο χρειάζεται να χρησιμοποιείτε το δικό σας μυαλό, αλλά πρέπει πάντα να δουλεύετε.

Βίντεο για την πλήρη ρύθμιση του Hermes Agent από το μηδέν:

Το βίντεο δείχνει πώς να εγκαταστήσετε το Hermes από το μηδέν, να δημιουργήσετε τον πρώτο σας AI υπάλληλο και να συγκρίνετε την πληρωμή ανά αίτημα με μια συνδρομή.

Γιατί η πρώτη απάντηση διαρκεί αρκετά λεπτά#

Με κάθε αίτημα, το Hermes στέλνει ένα σταθερό τμήμα: τις οδηγίες συστήματος και τις περιγραφές όλων των ενεργοποιημένων εργαλείων. Χωρίς κάρτα γραφικών, το μοντέλο χρειάζεται πολλή ώρα για να το επεξεργαστεί πρώτα και μετά γράφει με τη συνηθισμένη του ταχύτητα. Αυτό είναι φυσιολογικό.

Τι βοηθάει:

• Η εντολή hermes prompt-size δείχνει πόσο μεγάλο είναι το σταθερό τμήμα·
• Η εντολή hermes tools απενεργοποιεί περιττά σύνολα εργαλείων και η hermes skills βοηθά να αφαιρεθούν επιπλέον δεξιότητες. Κάθε συνδεδεμένο MCP (εξωτερική υπηρεσία) κάνει κάθε αίτημα μεγαλύτερο: αν δεν το χρησιμοποιείτε, απενεργοποιήστε το·
• Η εντολή ollama ps δείχνει πόσα επίπεδα του μοντέλου έχουν μεταφερθεί στην κάρτα γραφικών. Ακόμη και η μερική μεταφορά επιταχύνει τη λειτουργία: ένα μοντέλο 31B σε κάρτα γραφικών με 12 GB βάζει περίπου 40 επίπεδα σε αυτήν· ο επεξεργαστής αναλαμβάνει τα υπόλοιπα·
• σε αργό μηχάνημα, ορίστε το HERMES_API_TIMEOUT=1800 στο ~/.hermes/.env, ώστε το Hermes να μη διακόπτει το αίτημα λόγω χρονικού ορίου.

Αν ο agent εκτελείται σε διακομιστή όλο το εικοσιτετράωρο ή απαντά στο Telegram, να έχετε υπόψη σας: το Ollama αποφορτώνει το μοντέλο μετά από 5 λεπτά αδράνειας και η επόμενη απάντηση θα ξεκινήσει φορτώνοντάς το ξανά. Η ρύθμιση του Ollama OLLAMA_KEEP_ALIVE=24h διατηρεί το μοντέλο στη μνήμη. Υπάρχει αναλυτικός οδηγός για τη μεταφορά του agent σε διακομιστή στο άρθρο για την εκτέλεση του Hermes Agent σε διακομιστή όλο το εικοσιτετράωρο, καθώς και για τη ρύθμιση ενός bot στον οδηγό ρύθμισης του Hermes για Telegram.

Αν κάτι πάει στραβά#

Ένα μοντέλο cloud ως εφεδρεία#

Η τεκμηρίωση του Hermes προτείνει να διατηρείτε ένα τοπικό μοντέλο ως κύριο και να συνδέετε ένα μοντέλο cloud ως εφεδρικό. Για να το κάνετε, προσθέστε το τμήμα από την τεκμηρίωση δίπλα στην ενότητα model στο ~/.hermes/config.yaml:

Βρείτε οδηγούς εργαλείων στην τεκμηρίωση του Ailoot

Αν το τοπικό μοντέλο αποτύχει τρεις φορές, το Hermes στέλνει την εργασία στο μοντέλο cloud. Αυτά τα αιτήματα είναι επί πληρωμή και πηγαίνουν στο cloud.

Μια άλλη επιλογή είναι ένα ισχυρό συνδρομητικό μοντέλο να αναλαμβάνει τη σκέψη και τη λήψη αποφάσεων, ενώ το τοπικό μοντέλο να χειρίζεται εργασίες ρουτίνας. Στόχος είναι να διατηρηθεί η ποιότητα και να μειωθεί σταδιακά το κόστος των tokens. Αυτή η προσέγγιση χρησιμοποιεί φθηνότερα μοντέλα για μεμονωμένα βήματα, με τα τοπικά μοντέλα ως πιθανή επιλογή αργότερα. Το άρθρο «Πόσο κοστίζει ένας AI agent για επιχειρήσεις;» περιγράφει το κόστος των agents με συνδρομές. Αν δεν έχετε εγκαταστήσει ακόμη το Hermes, ξεκινήστε με τον αναλυτικό οδηγό για το πώς να εγκαταστήσετε το Hermes Agent.

Έχετε δοκιμάσει να ρυθμίσετε ένα τοπικό μοντέλο; Τι εκτελείτε σε αυτό; Πείτε μας· μας ενδιαφέρει.

Συνεχίστε να εξερευνάτε το Ailoot στο ailoot.ai.