Блог

Шағын тілдік модельдер (SLM): жан-жақты шолу

Markdown

Шағын тілдік модельдерге (SLM) шолу: олардың қалай жасалатыны, артықшылықтары мен шектеулері, практикалық қолданыстары, құрылғыда іске қосу мүмкіндіктері және дәл баптау әдістері.

Соңғы бірнеше жыл жасанды интеллект үшін ерекше кезең болды: үлкен тілдік модельдер (LLM) мүмкіндіктерімен жұртты таңғалдырып, чатботтардан бастап код жазуға көмектесетін ассистенттерге дейінгі көптеген құралға қуат берді. Алайда барлық қолданбаға LLM-дердің ауқымды көлемі мен күрделілігі қажет емес; олар талап ететін есептеу қуаты көптеген қолдану жағдайында тиімсіз. Сондықтан қуатты ЖИ модельдерінің көлемін кішірейтіп, оларды қолжетімді ету үшін шағын тілдік модельдер (SLM) пайда болды.

SLM дегеніміз не, олардың көлемі қалай кішірейтіледі, артықшылықтары мен шектеулері қандай, нақты өмірде қалай қолданылады және мобильді әрі үстелүсті құрылғыларда қалай іске қосуға болады — осының бәрін қарастырайық.

Шағын тілдік модельдер дегеніміз не?

Шағын тілдік модельдер (SLM) — смартфондар, ендірілген жүйелер немесе қуаты төмен компьютерлер сияқты ресурстары шектеулі ортада тиімді жұмыс істеуге арналған дәстүрлі тілдік модельдердің ықшам нұсқалары. Үлкен тілдік модельдерде жүздеген миллиард, тіпті триллиондаған параметр болса, SLM әдетте 1 миллионнан 10 миллиардқа дейін параметрден тұрады. Олардың көлемі әлдеқайда шағын болғанымен, мәтін генерациялау, қорытындылау, аудару және сұрақтарға жауап беру сияқты негізгі NLP мүмкіндіктерін сақтайды.

Кейбір мамандарға «Шағын тілдік модель» деген атау ұнамайды, өйткені миллиард параметр ешбір өлшеммен шағын емес. Олар «Шағын үлкен тілдік модель» атауын жөн көреді, бірақ ол күрделі естіледі. Дегенмен көпшілік «Шағын тілдік модель» атауын таңдады, сондықтан SLM дейміз. Айтпақшы, ол тек үлкен модельдермен салыстырғанда ғана шағын екенін ескеріңіз.

Олардың көлемі қалай кішірейтіледі?

Тілдік модельді ықшамдау процесі өнімділікке шамадан тыс нұқсан келтірмей, оның көлемін азайтуға бағытталған бірнеше әдісті қамтиды:

  1. Білімді дистилляциялау: үлкен «ұстаз» модельден берілген білімді пайдаланып, кішірек «шәкірт» модельді оқыту.
  2. Прунинг: нейрондық желі архитектурасындағы артық немесе маңызы төмен параметрлерді алып тастау.
  3. Кванттау: есептеулерде қолданылатын сандық мәндердің дәлдігін төмендету (мысалы, жылжымалы үтірлі сандарды бүтін сандарға айналдыру).

Шағын тілдік модельдердің мысалдары

Көлем бәрін шешпейтінін дәлелдейтін, шағын әрі қуатты тілдік модельдер пайда болды. Төмендегі мысалдар — параметр саны 1–4 миллиард аралығындағы SLM:

  • Llama3.2-1B – шеткі құрылғыларға оңтайландырылған, Meta әзірлеген 1 миллиард параметрлі нұсқа.
  • Qwen2.5-1.5B – көптілді қолданбаларға арналған, 1,5 миллиард параметрі бар Alibaba моделі.
  • DeepSeeek-R1-1.5B - Qwen2.5 негізінде дистилляцияланған, DeepSeek компаниясының бірінші буындағы пайымдау моделі; 1,5 миллиард параметрі бар.
  • SmolLM2-1.7B – HuggingFaceTB жасаған, арнайы ашық деректер жиындарында (FineMath, Stack-Edu және SmolTalk) оқытылған, озық «шағын» (1,7 миллиард параметрлі) тілдік модель.
  • Phi-3.5-Mini-3.8B – пайымдау мен код генерациясына оңтайландырылған, Microsoft компаниясының шағын, бірақ қуатты ашық моделі; 3,8 миллиард параметрі бар.
  • Gemma3-4B - Google DeepMind әзірлеген, бірнеше тілді және мультимодальды, жеңіл әрі қуатты 4 миллиард параметрлі модель.

Бұдан да қуатты шағын тілдік модельдер бар: Mistral 7B, Gemma 9B және Phi-4 14B (14 миллиард параметрі бар Phi-4-ті әлі де «шағын» деуге болатынына сенімді емеспін, бірақ мүмкіндігі мол :)

Шағын тілдік модельдердің артықшылықтары

  • Есептеу ресурстарына қойылатын талап төмен – тұтынушылық ноутбуктерде, шеткі құрылғыларда және ұялы телефондарда іске қосуға болады.
  • Энергия тұтынуы төмен – тиімді модельдер қуатты аз жұмсайды, сондықтан қоршаған ортаға зияны аз.
  • Жылдам инференс – шағын модельдер жауаптарды тез генерациялайды, бұл оларды нақты уақыттағы қолданбаларға қолайлы етеді.
  • Құрылғыдағы ЖИ – интернетке немесе бұлттық қызметтерге қосылу қажет емес, бұл құпиялылық пен қауіпсіздікті арттырады.
  • Орналастыру құны төмен – аппараттық құралдар мен бұлт қызметтеріне кететін шығын азайып, ЖИ стартаптар мен әзірлеушілерге қолжетімді болады.
  • Бейімдеу мүмкіндігі: модельдерді белгілі бір салаға арналған тапсырмаларға оңай дәл баптауға болады (мысалы, заң құжаттарын талдау).

Шағын тілдік модельдердің шектеулері

SLM көптеген артықшылық ұсынғанымен, оларды қолданғанда да белгілі бір ымыраға келуге тура келеді:

  • Қолдану аясы тар: модельдің оқытылған саласынан тыс жалпылау мүмкіндігі шектеулі (мысалы, медициналық SLM код жазуда қиналады).
  • Біржақтылық тәуекелі: шағын деректер жиындары мұқият іріктелмесе, біржақтылықты күшейтуі мүмкін.
  • Күрделілікті өңдеу мүмкіндігі төмен: терең контекстік түсінікті қажет ететін өте нәзік немесе күрделі тапсырмалар шағын модельдерге қиын болуы мүмкін.
  • Тұрақтылығы төмен: екіұшты жағдайларда немесе қарсылас енгізген деректермен жұмыс істегенде, олар қате жіберуге бейімірек.

Шағын тілдік модельдердің нақты өмірдегі қолданыстары

Шектеулеріне қарамастан, SLM-нің практикалық қолдану аясы кең:

  1. Чатботтар мен виртуалды ассистенттер: мобильді құрылғыларда іске қосылып, нақты уақыттағы өзара әрекетке жеткілікті дәрежеде тиімді.
  2. Код генерациялау: Phi-3.5 Mini сияқты модельдер әзірлеушілерге код жазуға және жөндеуге көмектеседі.
  3. Тілдік аударма: ықшам модельдер саяхатшыларға құрылғының өзінде аударма ұсына алады.
  4. Қорытындылау және мазмұн генерациялау: компаниялар SLM-ді маркетинг мәтіндерін, әлеуметтік желі жазбаларын және есептерді жасау үшін пайдаланады.
  5. Денсаулық сақтау саласындағы қолданыстар: құрылғыдағы ЖИ симптомдарды тексеруге және медициналық зерттеуге көмектеседі.
  6. Заттар интернеті және шеткі есептеулер: ЖИ-ді бұлтқа тәуелсіз ақылды үй құрылғыларында іске қосу.
  7. Білім беру құралдары: оқыту жүйелері SLM арқылы жекелендірілген түсіндірмелерді, викториналарды және нақты уақыттағы кері байланысты жасай алады.

Шеткі құрылғыларда шағын тілдік модельдерді іске қосу

SLM ЖИ мүмкіндіктерін тікелей смартфонға (PocketPal арқылы) немесе компьютерге (Ollama арқылы) жеткізеді. Бұл интернетсіз пайдалануға, құпиялылықты арттыруға және кідірісті азайтуға мүмкіндік береді.

PocketPal көмегімен мобильді құрылғыда SLM пайдалану

SLM-ді өз көзімен көргісі келетін пайдаланушыларға PocketPal AI қолданбасы интернетке қосылмай-ақ, смартфоннан осы модельдермен тікелей әрекеттесудің ыңғайлы жолын ұсынады. Электрондық хаттардың бастапқы нұсқасын жазғыңыз, идеяларды талқылағыңыз немесе қысқа сұрақтарға жауап алғыңыз келсе де, PocketPal оңтайландырылған SLM негізіндегі ыңғайлы интерфейсті ұсынады. Оның интернетсіз жұмыс істеу мүмкіндігі сұрауларыңыздың құпия қалуын қамтамасыз етеді.

Мүмкіндіктері

  • Интернетсіз ЖИ көмекшісі: тілдік модельдерді интернетке қосылмай-ақ тікелей құрылғыңызда іске қосыңыз.
  • Модельдерді таңдау еркіндігі: Phi, Gemma, Qwen және басқа модельдерді жүктеп алып, олардың арасында ауысыңыз.
  • Жадтан автоматты түрде түсіру/жүктеу: қолданба фондық режимде болғанда модельдерді жадтан түсіріп, жадты автоматты түрде басқарыңыз.
  • Инференс баптаулары: жүйелік промпт, температура, BOS токені және чат үлгілері сияқты модель параметрлерін реттеңіз.
  • Нақты уақыттағы өнімділік көрсеткіштері: ЖИ жауап генерациялаған кезде секундтағы токендер мен бір токенге кететін миллисекундтарды көріңіз.

PocketPal AI қолданбасын iOS және Android жүйесіне жүктеп алыңыз.

Ollama көмегімен компьютерде SLM іске қосу

Ашық кодты Ollama құралы компьютерлерде SLM орналастыруды жеңілдетеді:

  • Жергілікті басқару: Llama3.2-1B немесе Phi-3.5 Mini сияқты модельдерді аз баптаумен іске қосыңыз.
  • GPU оңтайландыруы: инференсті жылдамдату үшін тұтынушылық GPU құрылғыларының мүмкіндіктерін пайдаланады.
  • Реттелетін жұмыс процестері: SLM-ді деректер конвейерлеріне немесе шығармашылық құралдарға біріктіріңіз (мысалы, кодты автоматты түрде тексеру).

Ollama-мен жұмысты бастау:

  1. Ollama-ны ollama.com сайтынан орнатыңыз
  2. Терминалды ашып, модельді жүктеп алыңыз:
ollama pull qwen2.5:1.5b
  1. Модельді интерактивті режимде іске қосыңыз:
ollama run qwen2.5:1.5b

Бұл баптау бұлттық қызметтерді қажет етпей, ЖИ-мен жұмыс істейтін чатботтарды, код жазуға арналған ассистенттерді және құжаттарды қорытындылау құралдарын жергілікті пайдалануға мүмкіндік береді.

Шағын тілдік модельдерді дәл баптау

SLM-нің ең қызықты қырларының бірі — дәл баптау арқылы оларды бейімдеу мүмкіндігі. SLM-ді белгілі бір салаға арналған деректер жиындарымен оқыту арқылы оның тар бағыттағы қолданбалардағы жұмысын жақсартуға болады.

Мысалы:

  • Құжаттарды талдайтын көмекші жасау үшін модельді заң құжаттарымен дәл баптаңыз.
  • Инженерлерге арналған ақауларды жою нұсқаулығын жасау үшін SLM-ді техникалық нұсқаулықтармен оқытыңыз.

SLM-ді дәл баптаудың бірнеше жолы бар:

  1. Толық дәл баптау – жаңа деректермен барлық параметрді қайта оқыту (көп есептеу ресурсын қажет етеді).
  2. LoRA (төмен рангті бейімдеу) – тек бірнеше қабатты дәл баптайды, сондықтан әдіс жеңіл әрі тиімді.
  3. Адаптерлер және промптты баптау – модель жауаптарын бағыттау үшін қосымша қабаттар қосады немесе промпттарды оңтайландырады.

Мысал: Hugging Face компаниясының peft кітапханасын пайдаланып, LoRA арқылы дәл баптау:

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...

Дәл баптау дәлдікті жақсартып қана қоймай, модельдің бірегей талаптарыңызға барынша сай болуын қамтамасыз етеді.

Қорытынды

Шағын тілдік модельдер (SLM) тиімді, қолжетімді және үнемді ЖИ дамыту жолындағы маңызды қадам болып табылады. Олар LLM-дерге тән үлкен есептеу жүктемесінсіз қуатты ЖИ іздейтін компанияларға, әзірлеушілерге және зерттеушілерге практикалық шешім ұсынады.

Компьютерлерге арналған Ollama сияқты құралдар мен модельдерді бейімдеуге арналған дәл баптау мүмкіндіктері ЖИ саласын өзгертіп, ЖИ-ді жеке қажеттіліктерге сай, құпия әрі баршаға қолжетімді етіп келеді.

Ықшам ЖИ жобаларымызды қалай өзгерте алатынын бірге көрейік.

Дереккөздер

Шағын тілдік модельдерге шолу (зерттеу мақаласы)

Бұл нұсқаулықты Ailoot көмегімен іске қолданыңыз

Бір Ailoot API арқылы ЖИ модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру жүйелеріңізге қосыңыз. Тапсырмаңызға сай модельді таңдап, бастау үшін Ailoot құжаттамасын қараңыз.