Modelli linguistici piccoli: spiegazione
MarkdownChe cosa rende piccolo un modello linguistico, che cosa significano parametri e parametri effettivi, perché i modelli piccoli entrano negli smartphone e a quali capacità rinunciano.
Che cos’è un modello linguistico piccolo?
Un modello linguistico piccolo (SLM) è un modello abbastanza compatto da funzionare su dispositivi di uso quotidiano, come uno smartphone o un laptop, invece che in un data center. Non esiste una soglia concordata: di solito si definiscono piccoli i modelli con pochi miliardi di parametri o meno; un’indagine del 2024, ad esempio, indica un intervallo da 100 milioni a 5 miliardi.
I modelli linguistici piccoli e grandi funzionano allo stesso modo. Sono entrambi reti neurali, quasi sempre transformer, addestrate a prevedere il token successivo del testo; dopo il preaddestramento, entrambi vengono adattati a seguire istruzioni. L’indagine citata sopra esamina transformer solo decoder esattamente di questo tipo. La differenza sta nella scala. Un modello delle dimensioni adatte a uno smartphone ha pochi miliardi di parametri, mentre i modelli cloud più avanzati sono molto più grandi. Di conseguenza, un modello piccolo racchiude meno conoscenze e ha una capacità di ragionamento più limitata (vedi «In quali aspetti i modelli piccoli sono carenti?»). Sono i modelli piccoli a rendere pratica l’IA sul dispositivo.
Le dimensioni non sono l’unico fattore che determina la qualità. La qualità di un modello piccolo dipende quindi tanto dal suo addestramento quanto dalle sue dimensioni. Può imparare da un modello più grande tramite distillazione, ossia venendo addestrato a replicarne le risposte, e trae vantaggio da dati selezionati con cura: phi-1, un modello per il codice con 1,3 miliardi di parametri, addestrato in larga parte su dati di «qualità da manuale», ha ottenuto il 50,6% di pass@1 nel benchmark di programmazione HumanEval.
Che cosa significano «parametri» e «parametri effettivi»?
I parametri sono i numeri che un modello apprende durante l’addestramento e il loro numero è il criterio abituale per misurarne le dimensioni: «1.7B» nel nome Qwen3 1.7B significa circa 1,7 miliardi. I «parametri effettivi», indicati dalla «E» nei nomi Gemma 4 E2B ed E4B di Google, sono i parametri con cui il modello esegue i calcoli, escludendo le grandi tabelle di embedding da cui recupera semplicemente i valori.
La maggior parte dei parametri si trova nelle matrici dei pesi dei livelli di attenzione e feed-forward di un transformer, attraversati da ogni token. Un blocco separato, gli embedding, mappa ogni token del vocabolario in un vettore; in un modello piccolo può rappresentare una quota consistente del totale. La tabella di embedding di Qwen3 1.7B ha 151,936 righe (il vocabolario configurato, ampliato oltre le 151,669 voci del tokenizer) e 2,048 dimensioni: circa 311 milioni di parametri di embedding. Il dato è coerente con la scheda del modello, che indica 1,7 miliardi di parametri complessivi e 1,4 miliardi al di fuori degli embedding 7. Gli studi sul ridimensionamento spesso conteggiano solo i parametri non relativi agli embedding.
La serie E di Gemma 4 sviluppa ulteriormente questa idea. La scheda del modello di Google spiega che «la “E” in E2B ed E4B sta per parametri “effettivi”»: i modelli usano gli embedding per livello (Per-Layer Embeddings, PLE), che assegnano «a ogni livello del decoder un piccolo embedding per ciascun token», e «queste tabelle di embedding sono grandi, ma vengono usate solo per ricerche rapide; per questo il numero di parametri effettivi è molto inferiore al totale» 8. La scheda indica per Gemma 4 E2B 2,3 miliardi di parametri effettivi e 5,1 miliardi includendo gli embedding; per E4B, rispettivamente 4,5 e 8 miliardi.
La distinzione è importante su uno smartphone, perché le ricerche richiedono memoria ma poca potenza di calcolo, e un runtime può lasciare le tabelle nella memoria di archiviazione. «Effettivi» è inoltre diverso da «attivi»: Gemma 4 26B A4B è un modello mixture-of-experts con 25,2 miliardi di parametri, di cui 3,8 miliardi attivi durante l’inferenza 8.
Perché i modelli piccoli entrano negli smartphone?
I pesi di un modello occupano all’incirca il numero di parametri moltiplicato per i bit memorizzati per parametro e diviso per otto. Con 4 bit, 1,7 miliardi di parametri richiedono circa 0,85 GB, lasciando spazio per Android e altre app su uno smartphone con 4 GB di RAM.
Il numero di parametri e la precisione sono le due leve principali. La Figura 1 mostra il calcolo per Qwen3 1.7B, dalla virgola mobile a 32 bit fino al file del modello a 4 bit.
- Memorizzati come numeri in virgola mobile a 32 bit, 1,7 miliardi di parametri occupano 6,8 GB.
- A 16 bit, occupano 3,4 GB.
- A 8 bit, occupano 1,7 GB. Ogni dimezzamento dei bit per peso dimezza la memoria necessaria per i pesi.
- A 4 bit, circa 0,85 GB. Mezzo byte per peso rende pratico un modello di queste dimensioni su uno smartphone da 4 GB.
- Un file di modello a 4 bit può essere più grande dei pesi grezzi. I fattori di scala dei blocchi e altri dati memorizzati ne aumentano le dimensioni.
| Precisione | Bit per parametro | Memoria approssimativa per i pesi |
|---|---|---|
| Virgola mobile a 32 bit | 32 | 6,8 GB |
| Virgola mobile a 16 bit | 16 | 3,4 GB |
| Intero a 8 bit | 8 | 1,7 GB |
| Intero a 4 bit | 4 | 0,85 GB |
Per questo i modelli adatti agli smartphone combinano pochi miliardi di parametri con pesi a 4 bit o a precisione mista: la quantizzazione riduce lo spazio necessario per memorizzare i pesi.
I pesi non sono l’unica componente che occupa memoria. Un modello in esecuzione richiede memoria anche per la cache chiave–valore, che cresce con la lunghezza della finestra di contesto, e per il runtime stesso. Anche la velocità segue lo stesso calcolo: ogni nuovo token richiede di leggere dalla memoria i pesi del modello; quindi, a parità di smartphone, pesi meno numerosi e più piccoli producono risposte più velocemente.
In quali attività sono bravi i modelli piccoli?
I modelli piccoli sono adatti alle attività per cui le informazioni necessarie sono incluse nel prompt o appartengono alle conoscenze comuni: riscrivere, riassumere, preparare bozze, spiegare e rispondere usando i brani forniti. Poiché funzionano sul dispositivo, possono anche rispondere senza connessione di rete e senza inviare il prompt a un server.
La scheda del modello di Google definisce la famiglia Gemma 4 «adatta al ragionamento, ai flussi di lavoro agentici, alla programmazione e alla comprensione multimodale»; E2B ed E4B accettano testo, immagini e audio in ingresso 8. Si tratta delle descrizioni e dei benchmark degli stessi sviluppatori; per sapere quanto funziona una specifica attività su un determinato smartphone occorre comunque provarla.
Fornire il testo giusto aiuta quando il modello piccolo non sa qualcosa. La generazione aumentata dal recupero (retrieval-augmented generation) aggiunge brani recuperati al momento della domanda, così il modello usa le fonti invece di affidarsi alla memoria. Inoltre, l’esecuzione dei modelli piccoli è prevedibile: nessun costo server per ogni domanda, nessuna coda e nessuna dipendenza dalla connessione dopo il download.
In quali aspetti i modelli piccoli sono carenti?
I modelli piccoli contengono meno conoscenze, sono meno efficaci nel ragionamento lungo o articolato in più passaggi e gestiscono i contesti lunghi peggio dei modelli più grandi; inoltre, come tutti i modelli linguistici, possono affermare con disinvoltura cose false.
Questo andamento è visibile all’interno della stessa famiglia. Nella scheda del modello di Google, Gemma 4 E2B ottiene il 60,0% nel benchmark di conoscenza e ragionamento MMLU Pro ed E4B il 69,4%, contro l’85,2% del modello Gemma 4 da 31 miliardi di parametri. Nel GPQA Diamond, un insieme di domande scientifiche di livello post-laurea, i punteggi sono 43,4%, 58,6% e 84,3% 8. Sono risultati di Google per i propri modelli.
I modelli piccoli possono anche bloccarsi e ripetersi. La scheda del modello Qwen avverte che la decodifica greedy «può causare un peggioramento delle prestazioni e ripetizioni senza fine» 7.
Perché i modelli piccoli riproducono la forma delle istruzioni?
I modelli piccoli tendono a imitare la forma di un prompt oltre a seguirne il contenuto; di conseguenza, un prompt di sistema lungo e strutturato può trasformarsi in una struttura ripetuta in ogni risposta.
A un modello è stato chiesto di «iniziare con la risposta diretta, poi aggiungere dettagli utili». Il modello ha risposto con etichette in grassetto intitolate «Risposta diretta:» e «Dettagli utili:». L’istruzione doveva essere un’indicazione sul contenuto; il modello l’ha trattata come un modello da riprodurre.
Come funzionano le modalità di ragionamento nei modelli piccoli?
Una modalità di ragionamento fa sì che il modello esponga i passaggi intermedi prima della risposta finale, impiegando più tempo e token per ottenere risultati più accurati nei problemi articolati in più passaggi. Sia Qwen3 sia Gemma 4 la offrono come opzione attivabile all’interno dello stesso modello, invece che come modello di ragionamento separato.
L’idea deriva dai prompt chain-of-thought. I modelli piccoli più recenti vengono addestrati a ragionare; nel caso di Qwen3, in parte imparando dai suoi modelli più grandi.
L’opzione si controlla tramite il prompt. Qwen3 1.7B ragiona per impostazione predefinita e scrive il ragionamento in un blocco <think>…</think>. Gli sviluppatori disattivano il ragionamento con l’impostazione enable_thinking; gli utenti possono aggiungere /think o /no_think a un messaggio per cambiare modalità da un turno all’altro 7. Gemma 4 attiva il ragionamento quando il suo prompt di sistema inizia con il token <|think|> 8.
Ragionare richiede tempo e spazio nel contesto, perché i token di ragionamento fanno parte dell’output del modello e condividono la sua finestra. Se il modello è configurato per mostrarlo, il ragionamento compare prima della risposta, ma il comportamento dipende dal modello e dall’applicazione.
Quali sono le differenze tra Qwen3 1.7B, Gemma 4 E2B e Gemma 4 E4B?
I tre modelli differiscono per dimensioni, input e lunghezza del contesto. Qwen3 1.7B ha 1,7 miliardi di parametri e accetta solo testo; Google indica per Gemma 4 E2B ed E4B rispettivamente 2,3 e 4,5 miliardi di parametri effettivi, con input di testo, immagini e audio. Tutti e tre sono distribuiti con licenza Apache 2.0.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| Sviluppatore | Alibaba (team Qwen) | Google DeepMind | Google DeepMind |
| Parametri | 1.7B, di cui 1.4B al di fuori degli embedding | 2.3B effettivi, 5.1B con gli embedding | 4.5B effettivi, 8B con gli embedding |
| Livelli | 28 | 35 | 42 |
| Lunghezza del contesto | 32,768 token | 128K token | 128K token |
| Input | Testo | Testo, immagini, audio | Testo, immagini, audio |
| Modalità di ragionamento | Sì, attiva per impostazione predefinita | Sì | Sì |
| Licenza | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Tabella 1. Specifiche pubblicate nelle schede dei modelli Qwen3-1.7B di Qwen e Gemma 4 di Google, consultate il 5 ottobre 2026 7 8.
Riferimenti
- Qwen. «Qwen3-1.7B.» Scheda del modello e configurazione, Hugging Face. Consultato il 5 ottobre 2026. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. «Scheda del modello Gemma 4.» Google AI for Developers. Consultata il 5 ottobre 2026. ai.google.dev/gemma/docs/core/model_card_4
Metti in pratica questa guida con Ailoot
Collega i modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello adatto alla tua attività e segui la documentazione Ailoot per iniziare.