# Небольшие языковые модели: объяснение

> Что делает языковую модель небольшой, что означают параметры и эффективные параметры, почему небольшие модели помещаются на телефонах и чем они уступают в возможностях.

Source: https://ailoot.ai/blog/ru/small-language-models-explained/
Canonical: https://ailoot.ai/blog/ru/small-language-models-explained/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-bee961c625067f823f2dae722af394e655ab77728ef96adb9b255ea43d88488f


## Что такое небольшая языковая модель?

Небольшая языковая модель (SLM) — это компактная языковая модель, способная работать на обычном устройстве, например телефоне или ноутбуке, а не в центре обработки данных. Общепринятого порога нет: небольшими обычно называют модели с несколькими миллиардами параметров или меньше; в одном обзоре 2024 года указан диапазон от 100 миллионов до 5 миллиардов.

Небольшие и большие языковые модели работают одинаково. Обе представляют собой нейронные сети, почти всегда трансформеры, обученные предсказывать следующий токен текста; после предварительного обучения обе адаптируют для выполнения инструкций. Упомянутый выше обзор посвящён именно таким трансформерам только с декодером. Различается масштаб. Модель, рассчитанная на телефон, содержит несколько миллиардов параметров, тогда как передовые облачные модели намного крупнее, поэтому небольшая модель хранит меньше знаний и обладает меньшими возможностями рассуждения (см. «В чём уступают небольшие модели?»). Именно небольшие модели делают практичным ИИ непосредственно на устройстве.

Размер — не единственный фактор качества. Поэтому качество небольшой модели зависит от её обучения не меньше, чем от размера. Она может учиться у более крупной модели посредством дистилляции: её обучают воспроизводить ответы более крупной модели. Качество также повышают тщательно отобранные данные: phi-1 — кодовая модель с 1,3 миллиарда параметров, обученная преимущественно на данных «учебникового качества», — набрала 50,6% pass@1 на тесте HumanEval для генерации кода.

## Что означают «параметры» и «эффективные параметры»?

Параметры — это числа, которые модель усваивает во время обучения; их количество обычно используют как меру размера модели. «1.7B» в названии Qwen3 1.7B означает примерно 1,7 миллиарда. «Эффективные параметры» — буква «E» в названиях Gemma 4 E2B и E4B от Google — это количество параметров, с которыми вычисляет модель, без больших таблиц эмбеддингов, значения из которых она лишь извлекает.

Большинство параметров находится в матрицах весов слоёв внимания и прямого распространения трансформера, через которые проходит каждый токен. Отдельный блок — эмбеддинги — сопоставляет каждому токену словаря вектор; в небольшой модели он может составлять значительную долю от общего числа параметров. Таблица эмбеддингов Qwen3 1.7B содержит 151 936 строк (настроенный словарь модели дополнен до этого размера по сравнению с 151 669 записями токенизатора) размерностью 2 048 — около 311 миллионов параметров эмбеддингов. Это согласуется с карточкой модели: в ней указано 1,7 миллиарда параметров всего и 1,4 миллиарда без эмбеддингов 7. В исследованиях масштабирования часто учитывают только параметры вне эмбеддингов.

В серии E модели Gemma 4 эта идея развивается дальше. В карточке модели Google поясняется: «Буква “E” в E2B и E4B означает “эффективные” параметры»: в моделях используются эмбеддинги для каждого слоя (Per-Layer Embeddings, PLE), то есть «у каждого слоя декодера есть собственный небольшой эмбеддинг для каждого токена», и «эти таблицы эмбеддингов велики, но используются только для быстрого поиска, поэтому эффективное число параметров намного меньше общего» 8. В карточке указано, что у Gemma 4 E2B 2,3 миллиарда эффективных параметров и 5,1 миллиарда с учётом эмбеддингов, а у E4B — 4,5 миллиарда эффективных параметров и 8 миллиардов с учётом эмбеддингов.

Это различие важно для телефона: поиск требует памяти, но мало вычислений, а среда выполнения может оставить таблицы в хранилище. «Эффективные» параметры также отличаются от «активных»: Gemma 4 26B A4B — модель типа «смесь экспертов» с 25,2 миллиарда параметров, из которых во время инференса активны 3,8 миллиарда 8.

## Почему небольшие модели помещаются на телефонах?

Для хранения весов модели требуется примерно произведение числа параметров на количество бит, отведённых на каждый параметр, делённое на восемь. При 4 битах для 1,7 миллиарда параметров нужно около 0,85 ГБ — на телефоне с 4 ГБ оперативной памяти остаётся место для Android и других приложений.

Число параметров и точность представления — два фактора, которыми можно управлять. На рисунке 1 показан расчёт для Qwen3 1.7B: от 32-битного представления с плавающей точкой до файла модели с 4-битными весами.

<figure id="la-fit">
<ol>
<li><strong>При хранении в виде 32-битных чисел с плавающей точкой 1,7 миллиарда параметров занимают 6,8 ГБ.</strong></li>
<li><strong>При 16 битах они занимают 3,4 ГБ.</strong></li>
<li><strong>При 8 битах они занимают 1,7 ГБ.</strong> При каждом уменьшении числа бит на вес вдвое уменьшается и требуемая для весов память.</li>
<li><strong>При 4 битах требуется около 0,85 ГБ.</strong> Полбайта на вес — вот что позволяет модели такого размера работать на телефоне с 4 ГБ памяти.</li>
<li><strong>Файл 4-битной модели может быть больше, чем объём необработанных весов.</strong> Размер увеличивают масштабы блоков и другие сохранённые данные.</li>
</ol>
<figcaption>Рисунок 1. Память, необходимая для хранения весов Qwen3 1.7B, в десятичных гигабайтах. Синие столбцы рассчитаны как число параметров × число бит ÷ 8 для 1,7 миллиарда параметров и учитывают только веса; работающей модели также нужна память для кэша ключей и значений и среды выполнения. Оранжевый столбец обозначает загруженный файл модели.</figcaption>
</figure>

| Точность | Бит на параметр | Примерный объём памяти для весов |
|---|---:|---:|
| 32-битное число с плавающей точкой | 32 | 6,8 ГБ |
| 16-битное число с плавающей точкой | 16 | 3,4 ГБ |
| 8-битное целое число | 8 | 1,7 ГБ |
| 4-битное целое число | 4 | 0,85 ГБ |

Именно поэтому модели, рассчитанные на телефон, сочетают несколько миллиардов параметров с 4-битными весами или смешанной точностью: квантование уменьшает объём памяти, нужный для хранения весов.

Одними весами дело не ограничивается. Работающей модели также нужна память для кэша ключей и значений, который растёт вместе с длиной контекстного окна, и для самой среды выполнения. Скорость зависит от того же расчёта: чтобы выдать каждый новый токен, модель должна считывать свои веса из памяти, поэтому меньшее число более компактных весов означает более быстрые ответы на одном и том же телефоне.

## В чём небольшие модели хорошо справляются?

Небольшие модели хорошо справляются с задачами, для которых нужная информация есть в запросе или относится к общим знаниям: переписывают, суммируют, составляют черновики, объясняют и отвечают на основе предоставленных фрагментов. Поскольку они работают на устройстве, то могут отвечать без подключения к сети и без отправки запроса на сервер.

В карточке модели Google называет семейство Gemma 4 «хорошо подходящим для рассуждений, агентных рабочих процессов, программирования и мультимодального понимания»; E2B и E4B принимают на вход текст, изображения и аудио 8. Это собственные описания и результаты разработчиков; работу конкретной задачи на конкретном телефоне всё равно нужно проверять.

Если предоставить подходящий текст, небольшая модель может работать с тем, чего ей не известно. Генерация с дополнением извлечёнными данными (retrieval-augmented generation) добавляет фрагменты, найденные во время запроса, поэтому модель опирается на источники, а не на собственную память. Небольшие модели также предсказуемы в эксплуатации: нет расходов на сервер для каждого вопроса, очереди и зависимости от подключения после загрузки.

## В чём уступают небольшие модели?

Небольшие модели хранят меньше знаний, хуже справляются с длинными рассуждениями и рассуждениями из нескольких шагов, а также с длинным контекстом. Как и все языковые модели, они могут уверенно выдавать неверную информацию.

Эта закономерность видна и при сравнении моделей одного семейства. Согласно карточке модели Google, Gemma 4 E2B набирает 60,0% на тесте знаний и рассуждений MMLU Pro, E4B — 69,4%, а модель Gemma 4 с 31 миллиардами параметров — 85,2%. На GPQA Diamond, наборе вопросов по естественным наукам уровня аспирантуры, результаты составляют 43,4%, 58,6% и 84,3% соответственно 8. Это результаты Google для собственных моделей.

Небольшие модели также могут застревать на повторениях. В карточке модели Qwen предупреждает, что жадное декодирование «может привести к снижению качества и бесконечным повторам» 7.

## Почему небольшие модели копируют форму инструкций?

Небольшие модели склонны подражать форме запроса наряду с выполнением его содержания, поэтому длинный структурированный системный запрос может превратиться в структуру каждого ответа.

На запрос, предписывавший модели «начинать с прямого ответа, а затем приводить полезные подробности», она ответила текстом с жирными метками «Прямой ответ:» и «Полезные подробности:». Инструкция была задумана как совет по содержанию, а модель восприняла её как шаблон.

## Как работают режимы рассуждения в небольших моделях?

В режиме рассуждения модель сначала расписывает промежуточные рассуждения, а затем даёт окончательный ответ; это требует больше времени и токенов и может улучшить результат в задачах из нескольких шагов. И Qwen3, и Gemma 4 предлагают такой режим как переключатель в одной модели, а не как отдельную модель рассуждения.

Эта идея восходит к запросам с цепочкой рассуждений (chain-of-thought prompting). Новые небольшие модели обучают рассуждать; в случае Qwen3 часть обучения основана на результатах более крупных моделей.

Переключатель задаётся в запросе. По умолчанию Qwen3 1.7B рассуждает и записывает ход рассуждений внутри блока `<think>…</think>`; разработчики отключают рассуждения с помощью настройки `enable_thinking`, а пользователи могут добавлять к сообщению `/think` или `/no_think`, меняя режим от хода к ходу 7. В Gemma 4 режим рассуждения включается, если системный запрос начинается с токена `<|think|>` 8.

Рассуждения требуют времени и места в контексте, поскольку токены рассуждений входят в вывод модели и занимают часть её окна. Если модель настроена показывать их, рассуждения появляются перед ответом, но поведение зависит от модели и приложения.

## Чем отличаются Qwen3 1.7B, Gemma 4 E2B и Gemma 4 E4B?

Эти три модели различаются размером, типами входных данных и длиной контекста. У Qwen3 1.7B 1,7 миллиарда параметров, и она принимает только текст. Google указывает для Gemma 4 E2B и E4B 2,3 и 4,5 миллиарда эффективных параметров; обе модели принимают текст, изображения и аудио. Все три выпущены под лицензией Apache 2.0.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| Разработчик | Alibaba (команда Qwen) | Google DeepMind | Google DeepMind |
| Параметры | 1,7B, из них 1,4B вне эмбеддингов | 2,3B эффективных, 5,1B с эмбеддингами | 4,5B эффективных, 8B с эмбеддингами |
| Слои | 28 | 35 | 42 |
| Длина контекста | 32 768 токенов | 128K токенов | 128K токенов |
| Входные данные | Текст | Текст, изображения, аудио | Текст, изображения, аудио |
| Режим рассуждения | Да, включён по умолчанию | Да | Да |
| Лицензия | Apache 2.0 | Apache 2.0 | Apache 2.0 |

Таблица 1. Характеристики из карточек моделей Qwen3-1.7B от Qwen и Gemma 4 от Google; проверено 5 октября 2026 года 7 8.



## Источники

7. Qwen. «Qwen3-1.7B». Карточка модели и конфигурация, Hugging Face. Дата обращения: 5 октября 2026 года. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. «Карточка модели Gemma 4». Google AI for Developers. Дата обращения: 5 октября 2026 года. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Примените это руководство с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель для своей задачи и начните работу, следуя [документации Ailoot](https://ailoot.ai/docs/).

## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
