Малые языковые модели (SLM): подробный обзор
MarkdownОбзор малых языковых моделей (SLM): как их создают, их преимущества и ограничения, практическое применение, варианты для устройств и методы тонкой настройки.
Последние несколько лет стали настоящим прорывом в области искусственного интеллекта: большие языковые модели (LLM) поражают своими возможностями и лежат в основе самых разных решений — от чат-ботов до помощников по программированию. Однако не всем приложениям нужны огромный размер и сложность LLM: требуемые вычислительные мощности делают их непрактичными для многих сценариев использования. Поэтому появились малые языковые модели (SLM): благодаря компактному размеру они делают мощные модели ИИ доступнее.
Разберёмся, что такое SLM, как их уменьшают, в чём их преимущества и ограничения, где их применяют в реальном мире и как использовать их на мобильных и настольных устройствах.
Что такое малые языковые модели?
Малые языковые модели (SLM) — это облегчённые версии традиционных языковых моделей, разработанные для эффективной работы в условиях ограниченных ресурсов, например на смартфонах, во встроенных системах или на компьютерах с низким энергопотреблением. Если у больших языковых моделей сотни миллиардов, а иногда и триллионы параметров, то у SLM обычно от 1 миллиона до 10 миллиардов параметров. Они значительно компактнее, но сохраняют основные возможности NLP, такие как генерация текста, суммаризация, перевод и ответы на вопросы.
Некоторым специалистам не нравится термин «малая языковая модель», потому что миллиард параметров — это совсем не мало. Они предпочитают термин «малая большая языковая модель», который звучит громоздко. Но большинство выбрало название «малая языковая модель», так что пусть будет SLM. Кстати, помните, что она мала только по сравнению с большими моделями.
Как их делают компактными?
Уменьшение языковой модели включает несколько методов, призванных сократить её размер без существенной потери производительности:
- Дистилляция знаний: обучение меньшей модели-«ученика» на знаниях, переданных более крупной моделью-«учителем».
- Прореживание: удаление избыточных или менее важных параметров из архитектуры нейронной сети.
- Квантование: снижение точности числовых значений, используемых в вычислениях (например, преобразование чисел с плавающей запятой в целые числа).
Примеры малых языковых моделей
Появилось несколько компактных, но мощных языковых моделей, доказывающих, что размер — не главное. Ниже приведены примеры SLM с числом параметров от 1 до 4 миллиардов:
- Llama3.2-1B — разработанный Meta вариант с 1 миллиардом параметров, оптимизированный для периферийных устройств.
- Qwen2.5-1.5B — модель Alibaba для многоязычных приложений с 1,5 миллиарда параметров.
- DeepSeeek-R1-1.5B — модель рассуждений первого поколения от DeepSeek, дистиллированная из Qwen2.5, с 1,5 миллиарда параметров.
- SmolLM2-1.7B — передовая «малая» языковая модель от HuggingFaceTB с 1,7 миллиарда параметров, обученная на специализированных открытых наборах данных (FineMath, Stack-Edu и SmolTalk).
- Phi-3.5-Mini-3.8B — небольшая, но мощная открытая модель Microsoft с 3,8 миллиарда параметров, оптимизированная для рассуждений и генерации кода.
- Gemma3-4B — разработанная Google DeepMind лёгкая, но мощная модель с 4 миллиарда параметров, поддерживающая несколько языков и мультимодальность.
Существуют и другие более мощные малые языковые модели: Mistral 7B, Gemma 9B и Phi-4 14B (хотя я не уверен, что Phi-4 с 14 миллиардами параметров всё ещё можно считать «малой», но она так хороша :)
Преимущества малых языковых моделей
- Низкие требования к вычислительным ресурсам — могут работать на обычных ноутбуках, периферийных устройствах и мобильных телефонах.
- Меньше энергопотребление — эффективные модели расходуют меньше энергии, что делает их более экологичными.
- Быстрый вывод — компактные модели быстро генерируют ответы, что подходит для приложений реального времени.
- ИИ на устройстве — подключение к интернету и облачным сервисам не требуется, что повышает приватность и безопасность.
- Более дешёвое развёртывание — низкие затраты на оборудование и облачные сервисы делают ИИ доступнее для стартапов и разработчиков.
- Возможность настройки: модели легко дообучить для узкоспециализированных задач (например, анализа юридических документов).
Ограничения малых языковых моделей
У SLM много преимуществ, но есть и определённые компромиссы:
- Узкая область применения: способности к обобщению за пределами обучающего домена ограничены (например, медицинской SLM сложно справляться с программированием).
- Риск предвзятости: небольшие наборы данных могут усиливать предвзятость, если их тщательно не отбирать.
- Меньшая способность решать сложные задачи: компактным моделям бывает трудно справляться с очень тонкими или сложными задачами, требующими глубокого понимания контекста.
- Низкая устойчивость: они чаще ошибаются в неоднозначных ситуациях или при столкновении с состязательными входными данными.
Практическое применение малых языковых моделей
Несмотря на ограничения, SLM подходят для широкого круга практических задач:
- Чат-боты и виртуальные помощники: достаточно эффективны для работы на мобильных устройствах и обеспечивают взаимодействие в реальном времени.
- Генерация кода: модели вроде Phi-3.5 Mini помогают разработчикам писать и отлаживать код.
- Перевод: компактные модели могут переводить на устройстве, например, для путешественников.
- Суммаризация и генерация контента: компании используют SLM для создания рекламных текстов, публикаций в социальных сетях и отчётов.
- Применение в здравоохранении: ИИ на устройстве помогает проверять симптомы и проводить медицинские исследования.
- Интернет вещей и периферийные вычисления: запуск ИИ на устройствах умного дома без зависимости от облака.
- Образовательные инструменты: обучающие системы могут использовать SLM, чтобы в реальном времени генерировать персонализированные объяснения, тесты и отзывы.
Запуск малых языковых моделей на периферийных устройствах
SLM позволяют использовать возможности ИИ прямо на смартфоне (с помощью PocketPal) или ПК (с помощью Ollama), обеспечивая работу без подключения к интернету, повышенную приватность и меньшую задержку.
SLM на мобильных устройствах с PocketPal
Тем, кто хочет лично попробовать SLM, приложение PocketPal AI предлагает удобный способ взаимодействовать с этими моделями прямо на смартфоне, не подключаясь к интернету. PocketPal позволяет составлять электронные письма, придумывать идеи или получать ответы на короткие вопросы через удобный интерфейс на базе оптимизированных SLM. Благодаря работе без подключения к интернету ваши запросы остаются конфиденциальными.
Возможности
- ИИ-помощь без интернета: запускайте языковые модели непосредственно на устройстве без подключения к интернету.
- Выбор моделей: загружайте и переключайтесь между несколькими SLM, например Phi, Gemma, Qwen и другими.
- Автоматическая выгрузка и загрузка: память управляется автоматически — модели выгружаются, когда приложение работает в фоновом режиме.
- Параметры вывода: настраивайте параметры модели, например системный промпт, температуру, токен BOS и шаблоны чата.
- Метрики производительности в реальном времени: во время генерации ответа ИИ смотрите число токенов в секунду и миллисекунды на токен.
Загрузите PocketPal AI в iOS и Android.
Запуск SLM на ПК с Ollama
Ollama — инструмент с открытым исходным кодом, упрощающий запуск SLM на ПК:
- Локальное управление: запускайте модели, например Llama3.2-1B или Phi-3.5 Mini, с минимальной настройкой.
- Оптимизация GPU: используйте потребительские видеокарты для ускорения вывода.
- Пользовательские рабочие процессы: интегрируйте SLM в конвейеры обработки данных или творческие инструменты (например, для автоматизированной проверки кода).
Начало работы с Ollama:
- Установите Ollama с сайта ollama.com
- Откройте терминал и загрузите модель:
ollama pull qwen2.5:1.5b
- Запустите модель в интерактивном режиме:
ollama run qwen2.5:1.5b
Эта конфигурация позволяет запускать локальные чат-боты, помощников по программированию и средства суммаризации документов на базе ИИ без облачных сервисов.
Тонкая настройка малых языковых моделей
Одна из самых интересных особенностей SLM — возможность адаптировать их с помощью тонкой настройки. Знакомя SLM с предметно-ориентированными наборами данных, можно повысить её эффективность для узкоспециализированных приложений.
Например:
- Дообучить модель на юридических документах, чтобы создать помощника по анализу договоров.
- Обучить SLM на технических руководствах, чтобы создать справочник по устранению неисправностей для инженеров.
Есть несколько способов тонкой настройки SLM:
- Полная тонкая настройка — повторное обучение всех параметров на новых данных (требует значительных вычислительных ресурсов).
- LoRA (адаптация низкого ранга) — настраиваются только несколько слоёв, поэтому метод остаётся лёгким и эффективным.
- Адаптеры и настройка промптов — добавляются дополнительные слои или оптимизируются промпты, чтобы направлять ответы модели.
Пример: тонкая настройка с LoRA с использованием библиотеки peft от Hugging Face:
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)
# Train the model on new data...
Тонкая настройка не только повышает точность, но и помогает модели лучше соответствовать вашим уникальным требованиям.
Заключение
Малые языковые модели (SLM) — важный шаг на пути к эффективному, доступному и экономичному ИИ. Они дают практические решения компаниям, разработчикам и исследователям, которым нужны мощные возможности ИИ без серьёзной вычислительной нагрузки LLM.
Благодаря таким инструментам, как Ollama для ПК, и возможностям тонкой настройки, позволяющим адаптировать модели, SLM меняют ландшафт ИИ — делая искусственный интеллект более персонализированным, приватным и доступным для всех.
Давайте посмотрим, как компактный ИИ может преобразить наши проекты.
Источники
Обзор малых языковых моделей (научная статья)
Примените это руководство вместе с Ailoot
Подключайте модели ИИ к приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя документации Ailoot.