Blog

Petits modèles de langage (SLM) : un aperçu complet

Markdown

Un aperçu des petits modèles de langage (SLM), notamment leur conception, leurs avantages et leurs limites, leurs applications pratiques, les options d’exécution sur l’appareil et les méthodes de réglage fin.

Ces dernières années ont été passionnantes pour l’intelligence artificielle : les grands modèles de langage (LLM) ont ébloui tout le monde par leurs capacités et alimentent aussi bien les chatbots que les assistants de programmation. Cependant, toutes les applications n’exigent pas la taille et la complexité considérables des LLM ; la puissance de calcul nécessaire les rend peu pratiques dans de nombreux cas d’usage. C’est pourquoi les petits modèles de langage (SLM) sont apparus, afin de rendre les puissants modèles d’IA plus accessibles en réduisant leur taille.

Voyons ce que sont les SLM, comment leur taille est réduite, quels sont leurs avantages et leurs limites, quels sont leurs cas d’usage dans le monde réel et comment les utiliser sur des appareils mobiles et des ordinateurs de bureau.

Que sont les petits modèles de langage ?

Les petits modèles de langage (SLM) sont des versions légères des modèles de langage traditionnels, conçues pour fonctionner efficacement dans des environnements aux ressources limitées, comme les smartphones, les systèmes embarqués ou les ordinateurs à faible consommation. Alors que les grands modèles de langage comptent des centaines de milliards, voire des milliers de milliards, de paramètres, les SLM en comptent généralement entre 1 million et 10 milliards. Ils sont nettement plus petits, mais conservent les principales capacités de traitement du langage naturel, comme la génération de texte, le résumé, la traduction et les réponses aux questions.

Certains praticiens n’aiment pas le terme « Small Language Model », car un milliard de paramètres n’a rien de petit. Ils préfèrent « Small Large Language Model », une expression qui semble alambiquée. Mais la majorité a opté pour Small Language Model : ce sera donc SLM. Au fait, notez qu’il n’est petit qu’en comparaison avec les grands modèles.

Comment les rendre plus petits ?

La réduction de la taille d’un modèle de langage fait appel à plusieurs techniques visant à diminuer sa taille sans trop compromettre ses performances :

  1. Distillation des connaissances : entraînement d’un modèle « élève » plus petit à partir des connaissances transférées d’un modèle « enseignant » plus grand.
  2. Élagage : suppression des paramètres redondants ou moins importants de l’architecture du réseau neuronal.
  3. Quantification : réduction de la précision des valeurs numériques utilisées dans les calculs (par exemple, en convertissant des nombres à virgule flottante en entiers).

Exemples de petits modèles de langage

Plusieurs modèles de langage petits mais puissants ont vu le jour, démontrant que la taille ne fait pas tout. Les exemples suivants sont des SLM comptant de 1 à 4 milliards de paramètres :

  • Llama3.2-1B – Une variante développée par Meta, dotée de 1 milliard de paramètres et optimisée pour les appareils edge.
  • Qwen2.5-1.5B – Un modèle d’Alibaba conçu pour les applications multilingues et doté de 1,5 milliard de paramètres.
  • DeepSeeek-R1-1.5B - Le modèle de raisonnement de première génération de DeepSeek, distillé à partir de Qwen2.5, doté de 1,5 milliard de paramètres.
  • SmolLM2-1.7B – Développé par HuggingFaceTB, ce modèle de langage « petit » de pointe (1,7 milliard de paramètres) a été entraîné sur des jeux de données ouverts spécialisés (FineMath, Stack-Edu et SmolTalk).
  • Phi-3.5-Mini-3.8B – Le modèle ouvert minuscule mais puissant de Microsoft, doté de 3,8 milliards de paramètres et optimisé pour le raisonnement et la génération de code.
  • Gemma3-4B - Développé par Google DeepMind, ce modèle léger mais puissant, doté de 4 milliards de paramètres, est multilingue et multimodal.

Voici d’autres petits modèles de langage plus puissants disponibles : Mistral 7B, Gemma 9B et Phi-4 14B (même si je ne suis pas sûr que Phi-4 et ses 14 milliards de paramètres puisse encore être considéré comme « petit », mais il est tellement performant :)

Avantages des petits modèles de langage

  • Faibles besoins en calcul – Peuvent fonctionner sur des ordinateurs portables grand public, des appareils edge et des téléphones mobiles.
  • Consommation énergétique réduite – Les modèles efficaces consomment moins d’énergie, ce qui les rend plus respectueux de l’environnement.
  • Inférence plus rapide – Les modèles plus petits génèrent rapidement des réponses, ce qui les rend idéaux pour les applications en temps réel.
  • IA sur l’appareil – Aucune connexion Internet ni aucun service cloud ne sont nécessaires, ce qui renforce la confidentialité et la sécurité.
  • Déploiement moins coûteux – La réduction des coûts matériels et cloud rend l’IA plus accessible aux start-ups et aux développeurs.
  • Personnalisation : Faciles à affiner pour des tâches propres à un domaine (par exemple, l’analyse de documents juridiques).

Limites des petits modèles de langage

Bien que les SLM offrent de nombreux avantages, ils comportent aussi certains compromis :

  • Champ d’application restreint : Capacité de généralisation limitée en dehors de leur domaine d’entraînement (par exemple, un SLM médical a du mal à programmer).
  • Risques de biais : Des jeux de données plus petits peuvent amplifier les biais s’ils ne sont pas soigneusement sélectionnés.
  • Complexité réduite : Les modèles plus petits peuvent avoir du mal à accomplir des tâches très nuancées ou complexes qui nécessitent une compréhension approfondie du contexte.
  • Robustesse moindre : Ils sont davantage sujets aux erreurs dans les situations ambiguës ou face à des entrées adversariales.

Applications des petits modèles de langage dans le monde réel

Malgré leurs limites, les SLM ont un large éventail d’applications pratiques :

  1. Chatbots et assistants virtuels : Assez efficaces pour fonctionner sur des appareils mobiles tout en proposant des interactions en temps réel.
  2. Génération de code : Des modèles comme Phi-3.5 Mini aident les développeurs à écrire et à déboguer du code.
  3. Traduction linguistique : Les modèles légers peuvent fournir une traduction sur l’appareil aux voyageurs.
  4. Résumé et génération de contenu : Les entreprises utilisent les SLM pour générer des textes marketing, des publications sur les réseaux sociaux et des rapports.
  5. Applications de santé : IA sur l’appareil pour vérifier des symptômes et soutenir la recherche médicale.
  6. IoT et edge computing : Exécution de l’IA sur des appareils domotiques sans dépendre du cloud.
  7. Outils pédagogiques : Les systèmes de tutorat peuvent utiliser les SLM pour générer en temps réel des explications, des quiz et des retours personnalisés.

Exécuter de petits modèles de langage sur des appareils edge

Les SLM apportent la puissance de l’IA directement sur votre smartphone (avec PocketPal) ou votre PC (avec Ollama), pour un accès hors ligne, une confidentialité renforcée et une latence réduite.

SLM sur mobile avec PocketPal

Pour les utilisateurs qui souhaitent découvrir les SLM par eux-mêmes, l’application PocketPal AI offre un moyen intuitif d’interagir avec ces modèles directement sur leur smartphone, sans connexion Internet. Que vous souhaitiez rédiger des e-mails, trouver des idées ou obtenir des réponses à des questions rapides, PocketPal propose une interface fluide alimentée par des SLM optimisés. Ses capacités hors ligne garantissent la confidentialité de vos requêtes.

Fonctionnalités

  • Assistance IA hors ligne : exécutez des modèles de langage directement sur votre appareil, sans connexion Internet.
  • Flexibilité des modèles : téléchargez plusieurs SLM et passez de l’un à l’autre, comme Phi, Gemma, Qwen et d’autres.
  • Déchargement/chargement automatique : gérez automatiquement la mémoire en déchargeant les modèles lorsque l’application est en arrière-plan.
  • Paramètres d’inférence : personnalisez des paramètres du modèle tels que le prompt système, la température, le jeton BOS et les modèles de chat.
  • Mesures de performances en temps réel : consultez le nombre de tokens par seconde et de millisecondes par token pendant la génération des réponses de l’IA.

Téléchargez PocketPal AI sur iOS et Android.

Exécuter des SLM sur PC avec Ollama

Ollama, un outil open source, simplifie le déploiement des SLM sur PC :

  • Gestion locale : exécutez des modèles comme Llama3.2-1B ou Phi-3.5 Mini avec une configuration minimale.
  • Optimisation GPU : exploite les GPU grand public pour accélérer l’inférence.
  • Flux de travail personnalisés : intégrez les SLM à des pipelines de données ou à des outils créatifs (par exemple, pour automatiser les revues de code).

Premiers pas avec Ollama :

  1. Installez Ollama depuis ollama.com
  2. Ouvrez le terminal et téléchargez un modèle :
ollama pull qwen2.5:1.5b
  1. Exécutez le modèle de manière interactive :
ollama run qwen2.5:1.5b

Cette configuration permet d’utiliser localement des chatbots, des assistants de programmation et des outils de résumé de documents alimentés par l’IA, sans avoir besoin de services cloud.

Affiner les petits modèles de langage

L’un des aspects les plus intéressants des SLM est leur capacité d’adaptation grâce au réglage fin. En exposant un SLM à des jeux de données propres à un domaine, vous pouvez améliorer ses performances pour des applications de niche.

Par exemple :

  • Affiner un modèle sur des documents juridiques afin de créer un assistant d’analyse de contrats.
  • Entraîner un SLM sur des manuels techniques afin de créer un guide de dépannage pour les ingénieurs.

Il existe plusieurs façons d’affiner un SLM :

  1. Réglage fin complet – Réentraîner tous les paramètres avec de nouvelles données (nécessite une puissance de calcul importante).
  2. LoRA (Low-Rank Adaptation) – N’affine que quelques couches, ce qui rend la méthode légère et efficace.
  3. Adaptateurs et réglage des prompts – Ajouter des couches supplémentaires ou optimiser les prompts pour orienter les réponses du modèle.

Exemple : réglage fin avec LoRA à l’aide de la bibliothèque peft de Hugging Face :

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...

Le réglage fin améliore non seulement la précision, mais garantit également que le modèle répond au mieux à vos exigences spécifiques.

Conclusion

Les petits modèles de langage (SLM) représentent une étape essentielle vers une IA efficace, accessible et économique. Ils offrent des solutions pratiques aux entreprises, aux développeurs et aux chercheurs qui recherchent une IA puissante sans la lourde charge de calcul des LLM.

Avec des outils comme Ollama pour les PC et des options de réglage fin pour la personnalisation, les SLM transforment le paysage de l’IA : celle-ci devient plus personnelle, plus privée et accessible à tous.

Découvrons comment l’IA compacte peut transformer nos projets.

Références

Une étude sur les petits modèles de langage (article de recherche)

Mettez ce guide en pratique avec Ailoot

Connectez des modèles d’IA à vos applications, agents et automatisations grâce à une seule API Ailoot. Choisissez le modèle adapté à votre tâche et suivez la documentation Ailoot pour commencer.