# Малые языковые модели (SLM): подробный обзор

> Обзор малых языковых моделей (SLM): как их создают, их преимущества и ограничения, практическое применение, варианты для устройств и методы тонкой настройки.

Source: https://ailoot.ai/blog/ru/small-language-models-comprehensive-overview/
Canonical: https://ailoot.ai/blog/ru/small-language-models-comprehensive-overview/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100057
Revision: sha256-f2cb7c3e0309c6ec7a9fabd5b2fc31b3a60814770f654e975cf7b9894b417880


Последние несколько лет стали настоящим прорывом в области искусственного интеллекта: большие языковые модели (LLM) поражают своими возможностями и лежат в основе самых разных решений — от чат-ботов до помощников по программированию. Однако не всем приложениям нужны огромный размер и сложность LLM: требуемые вычислительные мощности делают их непрактичными для многих сценариев использования. Поэтому появились малые языковые модели (SLM): благодаря компактному размеру они делают мощные модели ИИ доступнее.

Разберёмся, что такое SLM, как их уменьшают, в чём их преимущества и ограничения, где их применяют в реальном мире и как использовать их на мобильных и настольных устройствах.

## Что такое малые языковые модели?

Малые языковые модели (SLM) — это облегчённые версии традиционных языковых моделей, разработанные для эффективной работы в условиях ограниченных ресурсов, например на смартфонах, во встроенных системах или на компьютерах с низким энергопотреблением. Если у больших языковых моделей сотни миллиардов, а иногда и триллионы параметров, то у SLM обычно от **1 миллиона до 10 миллиардов параметров**. Они значительно компактнее, но сохраняют основные возможности NLP, такие как генерация текста, суммаризация, перевод и ответы на вопросы.

> Некоторым специалистам не нравится термин «малая языковая модель», потому что миллиард параметров — это совсем не мало. Они предпочитают термин «малая большая языковая модель», который звучит громоздко. Но большинство выбрало название «малая языковая модель», так что пусть будет SLM. Кстати, помните, что *она мала только по сравнению с большими моделями.*

## Как их делают компактными?

Уменьшение языковой модели включает несколько методов, призванных сократить её размер без существенной потери производительности:

1. **Дистилляция знаний**: обучение меньшей модели-«ученика» на знаниях, переданных более крупной моделью-«учителем».
2. **Прореживание**: удаление избыточных или менее важных параметров из архитектуры нейронной сети.
3. **Квантование**: снижение точности числовых значений, используемых в вычислениях (например, преобразование чисел с плавающей запятой в целые числа).

## Примеры малых языковых моделей

Появилось несколько компактных, но мощных языковых моделей, доказывающих, что размер — не главное. Ниже приведены примеры SLM с числом параметров от 1 до 4 миллиардов:

- **Llama3.2-1B** — разработанный Meta вариант с *1 миллиардом параметров*, оптимизированный для периферийных устройств.
- [**Qwen2.5-1.5B**](https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct) — модель Alibaba для многоязычных приложений с *1,5 миллиарда параметров*.
- **DeepSeeek-R1-1.5B** — модель рассуждений первого поколения от DeepSeek, дистиллированная из Qwen2.5, с *1,5 миллиарда параметров*.
- **SmolLM2-1.7B** — передовая «малая» языковая модель от HuggingFaceTB с *1,7 миллиарда параметров*, обученная на специализированных открытых наборах данных (FineMath, Stack-Edu и SmolTalk).
- **Phi-3.5-Mini-3.8B** — небольшая, но мощная открытая модель Microsoft с *3,8 миллиарда параметров*, оптимизированная для рассуждений и генерации кода.
- **Gemma3-4B** — разработанная Google DeepMind лёгкая, но мощная модель с *4 миллиарда параметров*, поддерживающая несколько языков и мультимодальность.

Существуют и другие более мощные малые языковые модели: **Mistral 7B**, **Gemma 9B** и **Phi-4 14B** (хотя я не уверен, что Phi-4 с 14 миллиардами параметров всё ещё можно считать «малой», но она так хороша :)

## Преимущества малых языковых моделей

- **Низкие требования к вычислительным ресурсам** — могут работать на обычных ноутбуках, периферийных устройствах и мобильных телефонах.
- **Меньше энергопотребление** — эффективные модели расходуют меньше энергии, что делает их более экологичными.
- **Быстрый вывод** — компактные модели быстро генерируют ответы, что подходит для приложений реального времени.
- **ИИ на устройстве** — подключение к интернету и облачным сервисам не требуется, что повышает приватность и безопасность.
- **Более дешёвое развёртывание** — низкие затраты на оборудование и облачные сервисы делают ИИ доступнее для стартапов и разработчиков.
- **Возможность настройки**: модели легко дообучить для узкоспециализированных задач (например, анализа юридических документов).

## Ограничения малых языковых моделей

У SLM много преимуществ, но есть и определённые компромиссы:

- **Узкая область применения**: способности к обобщению за пределами обучающего домена ограничены (например, медицинской SLM сложно справляться с программированием).
- **Риск предвзятости**: небольшие наборы данных могут усиливать предвзятость, если их тщательно не отбирать.
- **Меньшая способность решать сложные задачи**: компактным моделям бывает трудно справляться с очень тонкими или сложными задачами, требующими глубокого понимания контекста.
- **Низкая устойчивость**: они чаще ошибаются в неоднозначных ситуациях или при столкновении с состязательными входными данными.

## Практическое применение малых языковых моделей

Несмотря на ограничения, SLM подходят для широкого круга практических задач:

1. **Чат-боты и виртуальные помощники**: достаточно эффективны для работы на мобильных устройствах и обеспечивают взаимодействие в реальном времени.
2. **Генерация кода**: модели вроде Phi-3.5 Mini помогают разработчикам писать и отлаживать код.
3. **Перевод**: компактные модели могут переводить на устройстве, например, для путешественников.
4. **Суммаризация и генерация контента**: компании используют SLM для создания рекламных текстов, публикаций в социальных сетях и отчётов.
5. **Применение в здравоохранении**: ИИ на устройстве помогает проверять симптомы и проводить медицинские исследования.
6. **Интернет вещей и периферийные вычисления**: запуск ИИ на устройствах умного дома без зависимости от облака.
7. **Образовательные инструменты**: обучающие системы могут использовать SLM, чтобы в реальном времени генерировать персонализированные объяснения, тесты и отзывы.

## Запуск малых языковых моделей на периферийных устройствах

SLM позволяют использовать возможности ИИ прямо на смартфоне (с помощью PocketPal) или ПК (с помощью Ollama), обеспечивая работу без подключения к интернету, повышенную приватность и меньшую задержку.

### SLM на мобильных устройствах с PocketPal

Тем, кто хочет лично попробовать SLM, приложение PocketPal AI предлагает удобный способ взаимодействовать с этими моделями прямо на смартфоне, не подключаясь к интернету. PocketPal позволяет составлять электронные письма, придумывать идеи или получать ответы на короткие вопросы через удобный интерфейс на базе оптимизированных SLM. Благодаря работе без подключения к интернету ваши запросы остаются конфиденциальными.

**Возможности**

- ИИ-помощь без интернета: запускайте языковые модели непосредственно на устройстве без подключения к интернету.
- Выбор моделей: загружайте и переключайтесь между несколькими SLM, например Phi, Gemma, Qwen и другими.
- Автоматическая выгрузка и загрузка: память управляется автоматически — модели выгружаются, когда приложение работает в фоновом режиме.
- Параметры вывода: настраивайте параметры модели, например системный промпт, температуру, токен BOS и шаблоны чата.
- Метрики производительности в реальном времени: во время генерации ответа ИИ смотрите число токенов в секунду и миллисекунды на токен.

Загрузите PocketPal AI в [iOS](https://apps.apple.com/us/app/pocketpal-ai/id6502579498) и Android.

### Запуск SLM на ПК с Ollama

Ollama — инструмент с открытым исходным кодом, упрощающий запуск SLM на ПК:

- **Локальное управление**: запускайте модели, например Llama3.2-1B или Phi-3.5 Mini, с минимальной настройкой.
- **Оптимизация GPU**: используйте потребительские видеокарты для ускорения вывода.
- **Пользовательские рабочие процессы**: интегрируйте SLM в конвейеры обработки данных или творческие инструменты (например, для автоматизированной проверки кода).

**Начало работы с Ollama:**

1. Установите Ollama с сайта [ollama.com](https://ollama.com)
2. Откройте терминал и загрузите модель:

```
ollama pull qwen2.5:1.5b
```

3. Запустите модель в интерактивном режиме:

```
ollama run qwen2.5:1.5b
```

Эта конфигурация позволяет запускать локальные чат-боты, помощников по программированию и средства суммаризации документов на базе ИИ без облачных сервисов.

## Тонкая настройка малых языковых моделей

Одна из самых интересных особенностей SLM — возможность адаптировать их с помощью тонкой настройки. Знакомя SLM с предметно-ориентированными наборами данных, можно повысить её эффективность для узкоспециализированных приложений.

Например:

- Дообучить модель на юридических документах, чтобы создать помощника по анализу договоров.
- Обучить SLM на технических руководствах, чтобы создать справочник по устранению неисправностей для инженеров.

Есть несколько способов тонкой настройки SLM:

1. Полная тонкая настройка — повторное обучение всех параметров на новых данных (требует значительных вычислительных ресурсов).
2. LoRA (адаптация низкого ранга) — настраиваются только несколько слоёв, поэтому метод остаётся лёгким и эффективным.
3. Адаптеры и настройка промптов — добавляются дополнительные слои или оптимизируются промпты, чтобы направлять ответы модели.

Пример: тонкая настройка с LoRA с использованием библиотеки `peft` от Hugging Face:

```
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...
```

Тонкая настройка не только повышает точность, но и помогает модели лучше соответствовать вашим уникальным требованиям.

## Заключение

Малые языковые модели (SLM) — важный шаг на пути к эффективному, доступному и экономичному ИИ. Они дают практические решения компаниям, разработчикам и исследователям, которым нужны мощные возможности ИИ без серьёзной вычислительной нагрузки LLM.

Благодаря таким инструментам, как **Ollama** для ПК, и **возможностям тонкой настройки**, позволяющим адаптировать модели, SLM меняют ландшафт ИИ — делая искусственный интеллект более персонализированным, приватным и доступным для всех.

Давайте посмотрим, как компактный ИИ может преобразить наши проекты.

### Источники

Обзор малых языковых моделей (научная статья)

## Примените это руководство вместе с Ailoot

Подключайте модели ИИ к приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя [документации Ailoot](https://ailoot.ai/docs/).


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
