# Modelli linguistici di piccole dimensioni (SLM): una panoramica completa

> Una panoramica dei modelli linguistici di piccole dimensioni (SLM), inclusi come vengono realizzati, i loro vantaggi e limiti, gli usi pratici, le opzioni direttamente sul dispositivo e i metodi di fine-tuning.

Source: https://ailoot.ai/blog/it/small-language-models-comprehensive-overview/
Canonical: https://ailoot.ai/blog/it/small-language-models-comprehensive-overview/
Language: it
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100057
Revision: sha256-ef173aa4f7c0f8694b28ff860fccf33a20be1049531ee032a49e7028f7f6ceb5


Gli ultimi anni sono stati entusiasmanti per l’intelligenza artificiale: i grandi modelli linguistici (LLM) hanno stupito tutti con le loro capacità e alimentano ogni genere di strumenti, dai chatbot agli assistenti per la programmazione. Tuttavia, non tutte le applicazioni richiedono le dimensioni e la complessità enormi degli LLM; la potenza di calcolo necessaria li rende poco pratici per molti casi d’uso. Per questo sono entrati in scena i modelli linguistici di piccole dimensioni (SLM), che rendono i potenti modelli di IA più accessibili riducendone le dimensioni.

Vediamo cosa sono gli SLM, come vengono rimpiccioliti, quali sono i loro vantaggi e limiti, quali applicazioni hanno nel mondo reale e come possono essere usati su dispositivi mobili e computer desktop.

## Che cosa sono i modelli linguistici di piccole dimensioni?

I modelli linguistici di piccole dimensioni (SLM) sono versioni leggere dei modelli linguistici tradizionali, progettate per funzionare in modo efficiente in ambienti con risorse limitate, come smartphone, sistemi embedded o computer a basso consumo. Mentre i grandi modelli linguistici hanno centinaia di miliardi o persino migliaia di miliardi di parametri, gli SLM in genere vanno da **1 milione a 10 miliardi di parametri**. Sono notevolmente più piccoli, ma conservano comunque le capacità fondamentali di elaborazione del linguaggio naturale, come la generazione di testo, la sintesi, la traduzione e la risposta alle domande.

> Alcuni professionisti non amano il termine "Small Language Model", perché un miliardo di parametri non è affatto poco. Preferiscono "Small Large Language Model", che suona contorto. La maggioranza, però, ha optato per Small Language Model, quindi SLM sia. A proposito, ricordate che *è piccolo solo rispetto ai modelli grandi.*

## Come vengono rimpiccioliti?

Il processo di riduzione delle dimensioni di un modello linguistico comprende diverse tecniche che mirano a renderlo più piccolo senza comprometterne troppo le prestazioni:

1. **Distillazione della conoscenza**: si addestra un modello "studente" più piccolo trasferendogli le conoscenze di un modello "insegnante" più grande.
2. **Potatura**: si rimuovono i parametri ridondanti o meno importanti dall’architettura della rete neurale.
3. **Quantizzazione**: si riduce la precisione dei valori numerici usati nei calcoli (ad esempio, convertendo i numeri in virgola mobile in numeri interi).

## Esempi di modelli linguistici di piccole dimensioni

Sono emersi diversi modelli linguistici piccoli ma potenti, a dimostrazione che le dimensioni non sono tutto. I seguenti esempi sono SLM con un numero di parametri compreso tra 1 e 4 miliardi:

- **Llama3.2-1B** – Variante sviluppata da Meta con *1 miliardo di parametri*, ottimizzata per i dispositivi edge.
- [**Qwen2.5-1.5B**](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct) – Modello di Alibaba progettato per applicazioni multilingue, con *1,5 miliardi di parametri*.
- **DeepSeeek-R1-1.5B** - Modello di ragionamento di prima generazione di DeepSeek, distillato da Qwen2.5, con *1,5 miliardi di parametri*.
- **SmolLM2-1.7B** – Modello linguistico "piccolo" all’avanguardia di HuggingFaceTB (*1,7 miliardi di parametri*), addestrato su dataset aperti specializzati (FineMath, Stack-Edu e SmolTalk).
- **Phi-3.5-Mini-3.8B** – Modello aperto di Microsoft piccolo ma potente, con *3,8 miliardi di parametri*, ottimizzato per il ragionamento e la generazione di codice.
- **Gemma3-4B** - Modello leggero ma potente sviluppato da Google DeepMind, con *4 miliardi di parametri*, multilingue e multimodale.

Sono disponibili anche altri modelli linguistici di piccole dimensioni più potenti: **Mistral 7B**, **Gemma 9B** e **Phi-4 14B** (anche se non sono sicuro che Phi-4 con 14 miliardi di parametri possa ancora definirsi "piccolo", ma è davvero capace :)

## Vantaggi dei modelli linguistici di piccole dimensioni

- **Requisiti di calcolo ridotti** – Possono funzionare su laptop comuni, dispositivi edge e telefoni cellulari.
- **Consumo energetico inferiore** – I modelli efficienti riducono il consumo di energia e sono quindi più rispettosi dell’ambiente.
- **Inferenza più rapida** – I modelli più piccoli generano risposte velocemente, caratteristica ideale per le applicazioni in tempo reale.
- **IA direttamente sul dispositivo** – Non servono una connessione Internet o servizi cloud, con vantaggi per la privacy e la sicurezza.
- **Distribuzione meno costosa** – I costi inferiori per hardware e cloud rendono l’IA più accessibile a startup e sviluppatori.
- **Personalizzabilità**: Si possono ottimizzare facilmente con il fine-tuning per attività specifiche di un settore (ad esempio, l’analisi di documenti legali).

## Limiti dei modelli linguistici di piccole dimensioni

Sebbene gli SLM offrano numerosi vantaggi, comportano anche alcuni compromessi:

- **Ambito ristretto**: Capacità limitata di generalizzare al di fuori del dominio di addestramento (ad esempio, un SLM medico fatica con la programmazione).
- **Rischi di bias**: Dataset più piccoli possono amplificare i bias se non vengono curati attentamente.
- **Complessità ridotta**: I modelli più piccoli possono avere difficoltà con attività molto sfumate o complesse che richiedono una profonda comprensione del contesto.
- **Minore robustezza**: Sono più soggetti a errori in situazioni ambigue o in presenza di input avversari.

## Applicazioni reali dei modelli linguistici di piccole dimensioni

Nonostante i loro limiti, gli SLM hanno un’ampia gamma di applicazioni pratiche:

1. **Chatbot e assistenti virtuali**: Sono abbastanza efficienti da funzionare sui dispositivi mobili e offrire interazioni in tempo reale.
2. **Generazione di codice**: Modelli come Phi-3.5 Mini aiutano gli sviluppatori a scrivere ed eseguire il debug del codice.
3. **Traduzione linguistica**: I modelli leggeri possono offrire traduzioni direttamente sul dispositivo per chi viaggia.
4. **Sintesi e generazione di contenuti**: Le aziende usano gli SLM per generare testi di marketing, post per i social media e rapporti.
5. **Applicazioni sanitarie**: IA sul dispositivo per il controllo dei sintomi e la ricerca medica.
6. **IoT e edge computing**: L’IA può funzionare sui dispositivi per la smart home senza dipendere dal cloud.
7. **Strumenti didattici**: I sistemi di tutoraggio possono usare gli SLM per generare in tempo reale spiegazioni personalizzate, quiz e feedback.

## Esecuzione dei modelli linguistici di piccole dimensioni sui dispositivi edge

Gli SLM portano la potenza dell’IA direttamente sullo smartphone (con PocketPal) o sul PC (con Ollama), offrendo accesso offline, maggiore privacy e latenza ridotta.

### SLM sui dispositivi mobili con PocketPal

Per chi vuole provare gli SLM in prima persona, l’app PocketPal AI offre un modo intuitivo per interagire con questi modelli direttamente sullo smartphone, senza bisogno di una connessione Internet. Che vogliate preparare bozze di e-mail, sviluppare idee o ottenere risposte a domande rapide, PocketPal offre un’interfaccia fluida basata su SLM ottimizzati. Grazie alle funzionalità offline, le vostre richieste restano private.

**Funzionalità**

- Assistenza IA offline: Esegui modelli linguistici direttamente sul dispositivo, senza connessione Internet.
- Flessibilità dei modelli: Scarica e alterna più SLM, come Phi, Gemma, Qwen e altri.
- Scaricamento/caricamento automatico: Gestisce automaticamente la memoria scaricando i modelli quando l’app è in background.
- Impostazioni di inferenza: Personalizza i parametri del modello, come il prompt di sistema, la temperatura, il token BOS e i template di chat.
- Metriche delle prestazioni in tempo reale: Visualizza i token al secondo e i millisecondi per token durante la generazione delle risposte dell’IA.

Scarica PocketPal AI per [iOS](https://apps.apple.com/us/app/pocketpal-ai/id6502579498) e Android.

### Esecuzione degli SLM su PC con Ollama

Ollama, uno strumento open source, semplifica la distribuzione degli SLM sui PC:

- **Gestione locale**: Esegui modelli come Llama3.2-1B o Phi-3.5 Mini con una configurazione minima.
- **Ottimizzazione GPU**: Sfrutta le GPU di fascia consumer per un’inferenza più rapida.
- **Flussi di lavoro personalizzati**: Integra gli SLM nelle pipeline di dati o negli strumenti creativi (ad esempio, per revisioni automatiche del codice).

**Per iniziare con Ollama:**

1. Installa Ollama da [ollama.com](https://ollama.com)
2. Apri il terminale e scarica un modello:

```
ollama pull qwen2.5:1.5b
```

3. Esegui il modello in modo interattivo:

```
ollama run qwen2.5:1.5b
```

Questa configurazione consente di usare localmente chatbot basati sull’IA, assistenti per la programmazione e strumenti per la sintesi di documenti, senza servizi cloud.

## Fine-tuning dei modelli linguistici di piccole dimensioni

Uno degli aspetti più interessanti degli SLM è la loro adattabilità tramite fine-tuning. Esponendo un SLM a dataset specifici di un settore, è possibile migliorarne le prestazioni per applicazioni di nicchia.

Per esempio:

- Esegui il fine-tuning di un modello su documenti legali per creare un assistente per l’analisi dei contratti.
- Addestra un SLM su manuali tecnici per creare una guida alla risoluzione dei problemi per gli ingegneri.

Esistono diversi modi per eseguire il fine-tuning di un SLM:

1. Fine-tuning completo – Si riaddestrano tutti i parametri con nuovi dati (richiede notevoli risorse di calcolo).
2. LoRA (Low-Rank Adaptation) – Esegue il fine-tuning solo di alcuni livelli, rendendo il metodo leggero ed efficiente.
3. Adattatori e prompt tuning – Aggiunge livelli supplementari o ottimizza i prompt per guidare le risposte del modello.

Esempio: fine-tuning con LoRA usando la libreria `peft` di Hugging Face:

```
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...
```

Il fine-tuning non solo migliora la precisione, ma assicura anche che il modello risponda da vicino ai vostri requisiti specifici.

## Conclusione

I modelli linguistici di piccole dimensioni (SLM) rappresentano un passo importante verso un’IA efficiente, accessibile e conveniente. Offrono soluzioni pratiche alle aziende, agli sviluppatori e ai ricercatori che cercano un’IA potente senza il pesante carico di calcolo degli LLM.

Con strumenti come **Ollama** per PC e **opzioni di fine-tuning** per la personalizzazione, gli SLM stanno trasformando il panorama dell’IA, rendendola più personale, privata e accessibile a tutti.

Scopriamo come un’IA compatta può trasformare i nostri progetti.

### Riferimenti

Una panoramica sui modelli linguistici di piccole dimensioni (articolo di ricerca)

## Metti in pratica questa guida con Ailoot

Collega modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello adatto alla tua attività e consulta la [documentazione di Ailoot](https://ailoot.ai/docs/) per iniziare.


## Ailoot · L’azienda e il suo portafoglio di progetti

Ailoot si basa su un’esperienza operativa consolidata, un’ampia base di clienti, un servizio stabile e un controllo costante dei KPI.

L’azienda e il suo portafoglio di progetti: milioni di clienti; vendite nell’ordine dei miliardi ogni mese.

Ailoot mette questa esperienza operativa al servizio dell’accesso API alle funzioni AI nei prodotti dei clienti, negli agenti, nelle applicazioni e nelle automazioni.
