Τα μικρά γλωσσικά μοντέλα, εξηγημένα
MarkdownΤι κάνει ένα γλωσσικό μοντέλο μικρό, τι σημαίνουν οι παράμετροι και οι ενεργές παράμετροι, γιατί τα μικρά μοντέλα χωρούν σε τηλέφωνα και τι θυσιάζουν σε δυνατότητες.
Τι είναι ένα μικρό γλωσσικό μοντέλο;
Ένα μικρό γλωσσικό μοντέλο (SLM) είναι αρκετά συμπαγές ώστε να εκτελείται σε συνηθισμένο υλικό, όπως ένα τηλέφωνο ή ένας φορητός υπολογιστής, αντί σε ένα κέντρο δεδομένων. Δεν υπάρχει συμφωνημένο όριο: μοντέλα με λίγα δισεκατομμύρια παραμέτρους ή λιγότερες αποκαλούνται συνήθως μικρά, ενώ μία έρευνα του 2024 χρησιμοποιεί εύρος από 100 εκατομμύρια έως 5 δισεκατομμύρια.
Τα μικρά και τα μεγάλα γλωσσικά μοντέλα λειτουργούν με τον ίδιο τρόπο. Και τα δύο είναι νευρωνικά δίκτυα, σχεδόν πάντα transformers, εκπαιδευμένα να προβλέπουν το επόμενο token κειμένου, και μετά την προεκπαίδευση προσαρμόζονται ώστε να ακολουθούν οδηγίες· η παραπάνω έρευνα καλύπτει αποκλειστικά decoder-only transformers αυτού ακριβώς του τύπου. Η διαφορά είναι η κλίμακα. Ένα μοντέλο κατάλληλο για τηλέφωνο έχει λίγα δισεκατομμύρια παραμέτρους, ενώ τα κορυφαία μοντέλα cloud είναι πολύ μεγαλύτερα, οπότε ένα μικρό μοντέλο περιέχει λιγότερη γνώση και έχει μικρότερη ικανότητα συλλογισμού (βλ. «Πού υστερούν τα μικρά μοντέλα;»). Τα μικρά μοντέλα κάνουν πρακτική την τεχνητή νοημοσύνη πάνω στη συσκευή.
Το μέγεθος δεν είναι ο μόνος παράγοντας που επηρεάζει την ποιότητα. Επομένως, η ποιότητα ενός μικρού μοντέλου εξαρτάται από την εκπαίδευσή του εξίσου με το μέγεθός του. Μπορεί να μάθει από ένα μεγαλύτερο μοντέλο μέσω απόσταξης, κατά την οποία εκπαιδεύεται ώστε να ταιριάζει τις εξόδους του μεγαλύτερου μοντέλου, και ωφελείται από προσεκτικά επιλεγμένα δεδομένα: το phi-1, ένα μοντέλο κώδικα με 1,3 δισεκατομμύρια παραμέτρους, εκπαιδευμένο κυρίως σε δεδομένα «ποιότητας εγχειριδίου», πέτυχε 50,6% pass@1 στο benchmark κώδικα HumanEval.
Τι σημαίνουν οι παράμετροι και οι «ενεργές παράμετροι»;
Οι παράμετροι είναι οι αριθμοί που μαθαίνει ένα μοντέλο κατά την εκπαίδευση, και το πλήθος τους αποτελεί τη συνήθη μέτρηση του μεγέθους του: το «1.7B» στο Qwen3 1.7B σημαίνει περίπου 1,7 δισεκατομμύρια. Οι «ενεργές παράμετροι», το «E» στα Gemma 4 E2B και E4B της Google, μετρούν τις παραμέτρους με τις οποίες υπολογίζει το μοντέλο και δεν περιλαμβάνουν μεγάλους πίνακες ενσωματώσεων, στους οποίους απλώς κάνει αναζητήσεις.
Οι περισσότερες παράμετροι βρίσκονται στους πίνακες βαρών των επιπέδων attention και feed-forward ενός transformer, από τα οποία περνά κάθε token. Ένα ξεχωριστό τμήμα, οι ενσωματώσεις, αντιστοιχίζει κάθε token του λεξιλογίου σε ένα διάνυσμα και, σε ένα μικρό μοντέλο, μπορεί να αποτελεί μεγάλο μερίδιο του συνόλου. Ο πίνακας ενσωματώσεων του Qwen3 1.7B έχει 151,936 γραμμές (το διαμορφωμένο λεξιλόγιό του, συμπληρωμένο πέρα από τις 151,669 εγγραφές του tokenizer) με 2,048 διαστάσεις, δηλαδή περίπου 311 εκατομμύρια παραμέτρους ενσωματώσεων, κάτι που συμφωνεί με την κάρτα μοντέλου του, η οποία αναφέρει συνολικά 1,7 δισεκατομμύρια παραμέτρους και 1,4 δισεκατομμύρια εκτός των ενσωματώσεων 7. Οι μελέτες κλιμάκωσης συχνά μετρούν μόνο τις παραμέτρους εκτός των ενσωματώσεων.
Η σειρά E του Gemma 4 προχωρά ακόμη περισσότερο την ιδέα. Η κάρτα μοντέλου της Google εξηγεί ότι «Το “E” στα E2B και E4B σημαίνει “ενεργές” παράμετροι»: τα μοντέλα χρησιμοποιούν ενσωματώσεις ανά επίπεδο (PLE), οι οποίες δίνουν «σε κάθε επίπεδο decoder τη δική του μικρή ενσωμάτωση για κάθε token», και «Αυτοί οι πίνακες ενσωματώσεων είναι μεγάλοι, αλλά χρησιμοποιούνται μόνο για γρήγορες αναζητήσεις, γι’ αυτό το πλήθος ενεργών παραμέτρων είναι πολύ μικρότερο από το συνολικό» 8. Η κάρτα αναφέρει για το Gemma 4 E2B 2,3 δισεκατομμύρια ενεργές παραμέτρους και 5,1 δισεκατομμύρια μαζί με τις ενσωματώσεις, ενώ για το E4B αναφέρει 4,5 δισεκατομμύρια ενεργές και 8 δισεκατομμύρια μαζί με τις ενσωματώσεις.
Η διάκριση έχει σημασία σε ένα τηλέφωνο, επειδή οι αναζητήσεις χρειάζονται μνήμη αλλά ελάχιστο υπολογισμό, και ένα περιβάλλον εκτέλεσης μπορεί να αφήσει τους πίνακες στον αποθηκευτικό χώρο. Οι «ενεργές» παράμετροι διαφέρουν επίσης από τις «ενεργοποιημένες»: το Gemma 4 26B A4B είναι μοντέλο μίξης ειδικών με 25,2 δισεκατομμύρια παραμέτρους, από τις οποίες 3,8 δισεκατομμύρια είναι ενεργές κατά τη συναγωγή 8.
Γιατί χωρούν τα μικρά μοντέλα σε τηλέφωνα;
Τα βάρη ενός μοντέλου χρειάζονται περίπου μνήμη ίση με το πλήθος των παραμέτρων του επί τα bit που αποθηκεύονται ανά παράμετρο, διά οκτώ. Στα 4 bit, 1,7 δισεκατομμύρια παράμετροι χρειάζονται περίπου 0,85 GB, αφήνοντας χώρο για Android και άλλες εφαρμογές σε ένα τηλέφωνο με 4 GB RAM.
Το πλήθος των παραμέτρων και η ακρίβεια είναι οι δύο βασικοί παράγοντες. Το Σχήμα 1 παρουσιάζει τους υπολογισμούς για το Qwen3 1.7B, από κινητή υποδιαστολή 32 bit έως αρχείο μοντέλου 4 bit.
- Αποθηκευμένες ως αριθμοί κινητής υποδιαστολής 32 bit, 1,7 δισεκατομμύρια παράμετροι χρειάζονται 6,8 GB.
- Στα 16 bit, χρειάζονται 3,4 GB.
- Στα 8 bit, χρειάζονται 1,7 GB. Κάθε υποδιπλασιασμός των bit ανά βάρος υποδιπλασιάζει τη μνήμη που απαιτούν τα βάρη.
- Στα 4 bit, χρειάζονται περίπου 0,85 GB. Μισό byte ανά βάρος είναι αυτό που καθιστά πρακτικό ένα μοντέλο αυτού του μεγέθους σε τηλέφωνο 4 GB.
- Ένα αρχείο μοντέλου 4 bit μπορεί να είναι μεγαλύτερο από τα ακατέργαστα βάρη. Οι κλίμακες ανά μπλοκ και άλλα αποθηκευμένα δεδομένα αυξάνουν το μέγεθός του.
| Ακρίβεια | Bit ανά παράμετρο | Κατά προσέγγιση μνήμη βαρών |
|---|---|---|
| Αριθμός κινητής υποδιαστολής 32 bit | 32 | 6,8 GB |
| Αριθμός κινητής υποδιαστολής 16 bit | 16 | 3,4 GB |
| Ακέραιος 8 bit | 8 | 1,7 GB |
| Ακέραιος 4 bit | 4 | 0,85 GB |
Για αυτόν τον λόγο, τα μοντέλα που χωρούν σε τηλέφωνα συνδυάζουν λίγα δισεκατομμύρια παραμέτρους με βάρη 4 bit ή μικτής ακρίβειας· η κβαντοποίηση μειώνει τον αποθηκευτικό χώρο που απαιτούν τα βάρη.
Τα βάρη δεν αποτελούν ολόκληρο το αποτύπωμα μνήμης. Ένα μοντέλο σε λειτουργία χρειάζεται επίσης μνήμη για την κρυφή μνήμη κλειδιού–τιμής, η οποία μεγαλώνει όσο αυξάνεται το μήκος του παραθύρου περιβάλλοντος, καθώς και για το ίδιο το περιβάλλον εκτέλεσης. Η ταχύτητα ακολουθεί την ίδια αριθμητική: κάθε νέο token απαιτεί ανάγνωση των βαρών του μοντέλου από τη μνήμη, οπότε λιγότερα και μικρότερα βάρη σημαίνουν ταχύτερες απαντήσεις στο ίδιο τηλέφωνο.
Σε τι τα καταφέρνουν καλά τα μικρά μοντέλα;
Τα μικρά μοντέλα είναι κατάλληλα για εργασίες όπου ό,τι χρειάζονται βρίσκεται στην προτροπή ή αποτελεί κοινή γνώση: αναδιατύπωση, σύνοψη, σύνταξη προσχεδίων, επεξήγηση και απαντήσεις με βάση παρεχόμενα αποσπάσματα. Επειδή εκτελούνται στη συσκευή, μπορούν επίσης να απαντούν χωρίς σύνδεση δικτύου και χωρίς να στέλνουν την προτροπή σε διακομιστή.
Η κάρτα μοντέλου της Google περιγράφει την οικογένεια Gemma 4 ως «κατάλληλη για συλλογισμό, agentic workflows, προγραμματισμό και πολυτροπική κατανόηση», ενώ τα E2B και E4B δέχονται είσοδο κειμένου, εικόνας και ήχου 8. Αυτές είναι οι περιγραφές και τα benchmarks των δημιουργών· το πόσο καλά λειτουργεί μια συγκεκριμένη εργασία σε ένα συγκεκριμένο τηλέφωνο εξακολουθεί να απαιτεί δοκιμή.
Η παροχή του κατάλληλου κειμένου βοηθά να καλυφθούν όσα δεν γνωρίζει ένα μικρό μοντέλο. Η επαυξημένη παραγωγή μέσω ανάκτησης προσθέτει αποσπάσματα που ανακτώνται τη στιγμή της ερώτησης, ώστε το μοντέλο να βασίζεται σε πηγές αντί στη μνήμη. Τα μικρά μοντέλα είναι επίσης προβλέψιμα στη χρήση: δεν υπάρχει κόστος διακομιστή ανά ερώτηση, ουρά αναμονής ή εξάρτηση από σύνδεση μετά τη λήψη.
Πού υστερούν τα μικρά μοντέλα;
Τα μικρά μοντέλα περιέχουν λιγότερη γνώση, είναι πιο αδύναμα στον μακροσκελή ή πολυβηματικό συλλογισμό και διαχειρίζονται λιγότερο καλά τα μεγάλα περιβάλλοντα από τα μεγαλύτερα μοντέλα· όπως όλα τα γλωσσικά μοντέλα, μπορούν να διατυπώνουν με ευχέρεια αναληθή πράγματα.
Το μοτίβο φαίνεται μέσα στην ίδια οικογένεια. Στην κάρτα μοντέλου της Google, το Gemma 4 E2B βαθμολογείται με 60,0% στο benchmark γνώσεων και συλλογισμού MMLU Pro, και το E4B με 69,4%, έναντι 85,2% για το μοντέλο Gemma 4 με 31 δισεκατομμύρια παραμέτρους· στο GPQA Diamond, ένα σύνολο επιστημονικών ερωτήσεων επιπέδου μεταπτυχιακών σπουδών, οι βαθμολογίες είναι 43,4%, 58,6% και 84,3% 8. Αυτά είναι τα αποτελέσματα της Google για τα μοντέλα της.
Τα μικρά μοντέλα μπορεί επίσης να κολλήσουν στην επανάληψη. Η κάρτα μοντέλου του Qwen προειδοποιεί ότι η άπληστη αποκωδικοποίηση «μπορεί να οδηγήσει σε υποβάθμιση της απόδοσης και ατέρμονες επαναλήψεις» 7.
Γιατί αντιγράφουν τα μικρά μοντέλα τη μορφή των οδηγιών τους;
Τα μικρά μοντέλα τείνουν να μιμούνται τη μορφή μιας προτροπής παράλληλα με το περιεχόμενό της, οπότε μια μακροσκελής, δομημένη προτροπή συστήματος μπορεί να εμφανίζεται ως δομή σε κάθε απάντηση.
Μια προτροπή που έλεγε στο μοντέλο «ξεκίνα με την άμεση απάντηση και μετά πρόσθεσε χρήσιμες λεπτομέρειες» οδήγησε σε απαντήσεις με έντονες ετικέτες «Άμεση απάντηση:» και «Χρήσιμες λεπτομέρειες:». Η οδηγία προοριζόταν ως συμβουλή για το περιεχόμενο· το μοντέλο την αντιμετώπισε ως πρότυπο.
Πώς λειτουργούν οι τρόποι σκέψης στα μικρά μοντέλα;
Ένας τρόπος σκέψης κάνει το μοντέλο να γράφει ενδιάμεσο συλλογισμό πριν από την τελική απάντησή του, ξοδεύοντας περισσότερο χρόνο και tokens για πιο προσεκτικά αποτελέσματα σε πολυβηματικά προβλήματα. Τα Qwen3 και Gemma 4 προσφέρουν και τα δύο αυτή τη δυνατότητα ως διακόπτη μέσα στο ίδιο μοντέλο και όχι ως ξεχωριστό μοντέλο συλλογισμού.
Η ιδέα προέρχεται από την προτροπή με αλυσίδα σκέψης. Τα νεότερα μικρά μοντέλα εκπαιδεύονται να συλλογίζονται· στην περίπτωση του Qwen3, εν μέρει μαθαίνουν από τα μεγαλύτερα μοντέλα του.
Ο διακόπτης αποτελεί μέρος της προτροπής. Το Qwen3 1.7B σκέφτεται από προεπιλογή και γράφει τον συλλογισμό του μέσα σε ένα μπλοκ <think>…</think>· οι προγραμματιστές απενεργοποιούν τη σκέψη με τη ρύθμιση enable_thinking, ενώ οι χρήστες μπορούν να προσθέσουν /think ή /no_think σε ένα μήνυμα για να αλλάξουν τρόπο από έναν γύρο στον επόμενο 7. Το Gemma 4 ενεργοποιεί τη σκέψη όταν η προτροπή συστήματος ξεκινά με το token <|think|> 8.
Η σκέψη κοστίζει χρόνο και χώρο περιβάλλοντος, επειδή τα tokens συλλογισμού αποτελούν μέρος της εξόδου του μοντέλου και μοιράζονται το παράθυρό του. Ο συλλογισμός εμφανίζεται πριν από την απάντηση όταν το μοντέλο έχει ρυθμιστεί ώστε να τον εκθέτει, αλλά η συμπεριφορά εξαρτάται από το μοντέλο και την εφαρμογή.
Πώς συγκρίνονται τα Qwen3 1.7B, Gemma 4 E2B και Gemma 4 E4B;
Τα τρία μοντέλα διαφέρουν ως προς το μέγεθος, τις εισόδους και το μήκος περιβάλλοντος. Το Qwen3 1.7B έχει 1,7 δισεκατομμύρια παραμέτρους και δέχεται μόνο κείμενο· η Google αναφέρει ότι τα Gemma 4 E2B και E4B έχουν 2,3 και 4,5 δισεκατομμύρια ενεργές παραμέτρους αντίστοιχα, και δέχονται είσοδο κειμένου, εικόνας και ήχου. Και τα τρία κυκλοφορούν με άδεια Apache 2.0.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| Δημιουργός | Alibaba (ομάδα Qwen) | Google DeepMind | Google DeepMind |
| Παράμετροι | 1.7B, εκ των οποίων 1.4B εκτός των ενσωματώσεων | 2.3B ενεργές, 5.1B μαζί με τις ενσωματώσεις | 4.5B ενεργές, 8B μαζί με τις ενσωματώσεις |
| Επίπεδα | 28 | 35 | 42 |
| Μήκος περιβάλλοντος | 32,768 tokens | 128K tokens | 128K tokens |
| Είσοδος | Κείμενο | Κείμενο, εικόνα, ήχος | Κείμενο, εικόνα, ήχος |
| Τρόπος σκέψης | Ναι, ενεργός από προεπιλογή | Ναι | Ναι |
| Άδεια | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Πίνακας 1. Προδιαγραφές όπως δημοσιεύονται στην κάρτα μοντέλου Qwen3-1.7B του Qwen και στην κάρτα μοντέλου Gemma 4 της Google, έλεγχος στις 5 Οκτωβρίου 2026 7 8.
Αναφορές
- Qwen. «Qwen3-1.7B.» Κάρτα μοντέλου και διαμόρφωση, Hugging Face. Πρόσβαση στις 5 Οκτωβρίου 2026. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. «Κάρτα μοντέλου Gemma 4.» Google AI for Developers. Πρόσβαση στις 5 Οκτωβρίου 2026. ai.google.dev/gemma/docs/core/model_card_4
Αξιοποιήστε αυτόν τον οδηγό με το Ailoot
Συνδέστε μοντέλα τεχνητής νοημοσύνης με τις εφαρμογές, τους agents και τους αυτοματισμούς σας μέσω ενός Ailoot API. Επιλέξτε το μοντέλο που ταιριάζει στην εργασία σας και ακολουθήστε την τεκμηρίωση του Ailoot για να ξεκινήσετε.