Блог

Небольшие языковые модели: объяснение

Markdown

Что делает языковую модель небольшой, что означают параметры и эффективные параметры, почему небольшие модели помещаются на телефонах и чем они уступают в возможностях.

Что такое небольшая языковая модель?

Небольшая языковая модель (SLM) — это компактная языковая модель, способная работать на обычном устройстве, например телефоне или ноутбуке, а не в центре обработки данных. Общепринятого порога нет: небольшими обычно называют модели с несколькими миллиардами параметров или меньше; в одном обзоре 2024 года указан диапазон от 100 миллионов до 5 миллиардов.

Небольшие и большие языковые модели работают одинаково. Обе представляют собой нейронные сети, почти всегда трансформеры, обученные предсказывать следующий токен текста; после предварительного обучения обе адаптируют для выполнения инструкций. Упомянутый выше обзор посвящён именно таким трансформерам только с декодером. Различается масштаб. Модель, рассчитанная на телефон, содержит несколько миллиардов параметров, тогда как передовые облачные модели намного крупнее, поэтому небольшая модель хранит меньше знаний и обладает меньшими возможностями рассуждения (см. «В чём уступают небольшие модели?»). Именно небольшие модели делают практичным ИИ непосредственно на устройстве.

Размер — не единственный фактор качества. Поэтому качество небольшой модели зависит от её обучения не меньше, чем от размера. Она может учиться у более крупной модели посредством дистилляции: её обучают воспроизводить ответы более крупной модели. Качество также повышают тщательно отобранные данные: phi-1 — кодовая модель с 1,3 миллиарда параметров, обученная преимущественно на данных «учебникового качества», — набрала 50,6% pass@1 на тесте HumanEval для генерации кода.

Что означают «параметры» и «эффективные параметры»?

Параметры — это числа, которые модель усваивает во время обучения; их количество обычно используют как меру размера модели. «1.7B» в названии Qwen3 1.7B означает примерно 1,7 миллиарда. «Эффективные параметры» — буква «E» в названиях Gemma 4 E2B и E4B от Google — это количество параметров, с которыми вычисляет модель, без больших таблиц эмбеддингов, значения из которых она лишь извлекает.

Большинство параметров находится в матрицах весов слоёв внимания и прямого распространения трансформера, через которые проходит каждый токен. Отдельный блок — эмбеддинги — сопоставляет каждому токену словаря вектор; в небольшой модели он может составлять значительную долю от общего числа параметров. Таблица эмбеддингов Qwen3 1.7B содержит 151 936 строк (настроенный словарь модели дополнен до этого размера по сравнению с 151 669 записями токенизатора) размерностью 2 048 — около 311 миллионов параметров эмбеддингов. Это согласуется с карточкой модели: в ней указано 1,7 миллиарда параметров всего и 1,4 миллиарда без эмбеддингов 7. В исследованиях масштабирования часто учитывают только параметры вне эмбеддингов.

В серии E модели Gemma 4 эта идея развивается дальше. В карточке модели Google поясняется: «Буква “E” в E2B и E4B означает “эффективные” параметры»: в моделях используются эмбеддинги для каждого слоя (Per-Layer Embeddings, PLE), то есть «у каждого слоя декодера есть собственный небольшой эмбеддинг для каждого токена», и «эти таблицы эмбеддингов велики, но используются только для быстрого поиска, поэтому эффективное число параметров намного меньше общего» 8. В карточке указано, что у Gemma 4 E2B 2,3 миллиарда эффективных параметров и 5,1 миллиарда с учётом эмбеддингов, а у E4B — 4,5 миллиарда эффективных параметров и 8 миллиардов с учётом эмбеддингов.

Это различие важно для телефона: поиск требует памяти, но мало вычислений, а среда выполнения может оставить таблицы в хранилище. «Эффективные» параметры также отличаются от «активных»: Gemma 4 26B A4B — модель типа «смесь экспертов» с 25,2 миллиарда параметров, из которых во время инференса активны 3,8 миллиарда 8.

Почему небольшие модели помещаются на телефонах?

Для хранения весов модели требуется примерно произведение числа параметров на количество бит, отведённых на каждый параметр, делённое на восемь. При 4 битах для 1,7 миллиарда параметров нужно около 0,85 ГБ — на телефоне с 4 ГБ оперативной памяти остаётся место для Android и других приложений.

Число параметров и точность представления — два фактора, которыми можно управлять. На рисунке 1 показан расчёт для Qwen3 1.7B: от 32-битного представления с плавающей точкой до файла модели с 4-битными весами.

  1. При хранении в виде 32-битных чисел с плавающей точкой 1,7 миллиарда параметров занимают 6,8 ГБ.
  2. При 16 битах они занимают 3,4 ГБ.
  3. При 8 битах они занимают 1,7 ГБ. При каждом уменьшении числа бит на вес вдвое уменьшается и требуемая для весов память.
  4. При 4 битах требуется около 0,85 ГБ. Полбайта на вес — вот что позволяет модели такого размера работать на телефоне с 4 ГБ памяти.
  5. Файл 4-битной модели может быть больше, чем объём необработанных весов. Размер увеличивают масштабы блоков и другие сохранённые данные.
Рисунок 1. Память, необходимая для хранения весов Qwen3 1.7B, в десятичных гигабайтах. Синие столбцы рассчитаны как число параметров × число бит ÷ 8 для 1,7 миллиарда параметров и учитывают только веса; работающей модели также нужна память для кэша ключей и значений и среды выполнения. Оранжевый столбец обозначает загруженный файл модели.
ТочностьБит на параметрПримерный объём памяти для весов
32-битное число с плавающей точкой326,8 ГБ
16-битное число с плавающей точкой163,4 ГБ
8-битное целое число81,7 ГБ
4-битное целое число40,85 ГБ

Именно поэтому модели, рассчитанные на телефон, сочетают несколько миллиардов параметров с 4-битными весами или смешанной точностью: квантование уменьшает объём памяти, нужный для хранения весов.

Одними весами дело не ограничивается. Работающей модели также нужна память для кэша ключей и значений, который растёт вместе с длиной контекстного окна, и для самой среды выполнения. Скорость зависит от того же расчёта: чтобы выдать каждый новый токен, модель должна считывать свои веса из памяти, поэтому меньшее число более компактных весов означает более быстрые ответы на одном и том же телефоне.

В чём небольшие модели хорошо справляются?

Небольшие модели хорошо справляются с задачами, для которых нужная информация есть в запросе или относится к общим знаниям: переписывают, суммируют, составляют черновики, объясняют и отвечают на основе предоставленных фрагментов. Поскольку они работают на устройстве, то могут отвечать без подключения к сети и без отправки запроса на сервер.

В карточке модели Google называет семейство Gemma 4 «хорошо подходящим для рассуждений, агентных рабочих процессов, программирования и мультимодального понимания»; E2B и E4B принимают на вход текст, изображения и аудио 8. Это собственные описания и результаты разработчиков; работу конкретной задачи на конкретном телефоне всё равно нужно проверять.

Если предоставить подходящий текст, небольшая модель может работать с тем, чего ей не известно. Генерация с дополнением извлечёнными данными (retrieval-augmented generation) добавляет фрагменты, найденные во время запроса, поэтому модель опирается на источники, а не на собственную память. Небольшие модели также предсказуемы в эксплуатации: нет расходов на сервер для каждого вопроса, очереди и зависимости от подключения после загрузки.

В чём уступают небольшие модели?

Небольшие модели хранят меньше знаний, хуже справляются с длинными рассуждениями и рассуждениями из нескольких шагов, а также с длинным контекстом. Как и все языковые модели, они могут уверенно выдавать неверную информацию.

Эта закономерность видна и при сравнении моделей одного семейства. Согласно карточке модели Google, Gemma 4 E2B набирает 60,0% на тесте знаний и рассуждений MMLU Pro, E4B — 69,4%, а модель Gemma 4 с 31 миллиардами параметров — 85,2%. На GPQA Diamond, наборе вопросов по естественным наукам уровня аспирантуры, результаты составляют 43,4%, 58,6% и 84,3% соответственно 8. Это результаты Google для собственных моделей.

Небольшие модели также могут застревать на повторениях. В карточке модели Qwen предупреждает, что жадное декодирование «может привести к снижению качества и бесконечным повторам» 7.

Почему небольшие модели копируют форму инструкций?

Небольшие модели склонны подражать форме запроса наряду с выполнением его содержания, поэтому длинный структурированный системный запрос может превратиться в структуру каждого ответа.

На запрос, предписывавший модели «начинать с прямого ответа, а затем приводить полезные подробности», она ответила текстом с жирными метками «Прямой ответ:» и «Полезные подробности:». Инструкция была задумана как совет по содержанию, а модель восприняла её как шаблон.

Как работают режимы рассуждения в небольших моделях?

В режиме рассуждения модель сначала расписывает промежуточные рассуждения, а затем даёт окончательный ответ; это требует больше времени и токенов и может улучшить результат в задачах из нескольких шагов. И Qwen3, и Gemma 4 предлагают такой режим как переключатель в одной модели, а не как отдельную модель рассуждения.

Эта идея восходит к запросам с цепочкой рассуждений (chain-of-thought prompting). Новые небольшие модели обучают рассуждать; в случае Qwen3 часть обучения основана на результатах более крупных моделей.

Переключатель задаётся в запросе. По умолчанию Qwen3 1.7B рассуждает и записывает ход рассуждений внутри блока <think>…</think>; разработчики отключают рассуждения с помощью настройки enable_thinking, а пользователи могут добавлять к сообщению /think или /no_think, меняя режим от хода к ходу 7. В Gemma 4 режим рассуждения включается, если системный запрос начинается с токена <|think|> 8.

Рассуждения требуют времени и места в контексте, поскольку токены рассуждений входят в вывод модели и занимают часть её окна. Если модель настроена показывать их, рассуждения появляются перед ответом, но поведение зависит от модели и приложения.

Чем отличаются Qwen3 1.7B, Gemma 4 E2B и Gemma 4 E4B?

Эти три модели различаются размером, типами входных данных и длиной контекста. У Qwen3 1.7B 1,7 миллиарда параметров, и она принимает только текст. Google указывает для Gemma 4 E2B и E4B 2,3 и 4,5 миллиарда эффективных параметров; обе модели принимают текст, изображения и аудио. Все три выпущены под лицензией Apache 2.0.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
РазработчикAlibaba (команда Qwen)Google DeepMindGoogle DeepMind
Параметры1,7B, из них 1,4B вне эмбеддингов2,3B эффективных, 5,1B с эмбеддингами4,5B эффективных, 8B с эмбеддингами
Слои283542
Длина контекста32 768 токенов128K токенов128K токенов
Входные данныеТекстТекст, изображения, аудиоТекст, изображения, аудио
Режим рассужденияДа, включён по умолчаниюДаДа
ЛицензияApache 2.0Apache 2.0Apache 2.0

Таблица 1. Характеристики из карточек моделей Qwen3-1.7B от Qwen и Gemma 4 от Google; проверено 5 октября 2026 года 7 8.

Источники

  1. Qwen. «Qwen3-1.7B». Карточка модели и конфигурация, Hugging Face. Дата обращения: 5 октября 2026 года. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. «Карточка модели Gemma 4». Google AI for Developers. Дата обращения: 5 октября 2026 года. ai.google.dev/gemma/docs/core/model_card_4

Примените это руководство с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель для своей задачи и начните работу, следуя документации Ailoot.