Блог

Шағын тіл модельдері туралы түсінік

Markdown

Тіл моделінің шағын болуына не әсер етеді, параметрлер мен тиімді параметрлер нені білдіреді, шағын модельдер телефондарға неге сыяды және олардың мүмкіндіктері қандай тұстарда шектеулі.

Шағын тіл моделі дегеніміз не?

Шағын тіл моделі (SLM) — деректер орталығының орнына телефон немесе ноутбук сияқты күнделікті құрылғыларда жұмыс істей алатындай ықшам тіл моделі. Оның нақты шегі жөнінде ортақ келісім жоқ: бірнеше миллиард немесе одан аз параметрі бар модельдер әдетте шағын деп аталады, ал 2024 жылғы бір шолуда 100 миллионнан 5 миллиардқа дейінгі аралық берілген.

Шағын және үлкен тіл модельдері бірдей жұмыс істейді. Екеуі де нейрондық желілер, дерлік әрдайым трансформерлер, мәтіннің келесі токенін болжауға үйретілген; алдын ала оқытудан кейін екеуі де нұсқауларды орындауға бейімделеді. Жоғарыда аталған шолуда дәл осындай тек декодерден тұратын трансформерлер қарастырылған. Айырмашылығы — ауқымында. Телефонға сыятын модельде бірнеше миллиард параметр болады, ал бұлттағы озық модельдер әлдеқайда үлкен, сондықтан шағын модельде білім аз әрі пайымдау мүмкіндігі төмен ( «Шағын модельдердің әлсіз тұстары қандай?» бөлімін қараңыз). Шағын модельдер құрылғының өзінде AI қолдануды мүмкін етеді.

Сапаға әсер ететін жалғыз фактор — өлшем емес. Сондықтан шағын модельдің сапасы оның оқытылуына да, өлшеміне де байланысты. Ол үлкенірек модельден дистилляция арқылы үйрене алады: яғни үлкен модельдің шығыстарын қайталауға үйретіледі. Мұқият таңдалған деректер де көмектеседі: негізінен «оқулық сапасындағы» деректермен оқытылған, 1,3 миллиард параметрлі phi-1 код моделі HumanEval кодтау бенчмаркі бойынша pass@1 көрсеткішінде 50,6% нәтижеге жетті.

Параметрлер мен «тиімді параметрлер» нені білдіреді?

Параметрлер — модель оқыту барысында үйренетін сандар, ал олардың саны модель өлшемін өлшеудің әдеттегі тәсілі: Qwen3 1.7B атауындағы «1.7B» шамамен 1,7 миллиардты білдіреді. Google-дың Gemma 4 E2B және E4B модельдеріндегі «E» — «тиімді параметрлердің» қысқартуы; бұл модель есептеуде пайдаланатын параметрлерді санайды да, тек мәндері іздеп алынатын үлкен эмбеддинг кестелерін қоспайды.

Параметрлердің көбі трансформердің назар аудару және тура бағытта тарату қабаттарындағы салмақ матрицаларында орналасқан; олар арқылы әр токен өтеді. Эмбеддингтер деп аталатын бөлек блок сөздіктегі әр токенді векторға айналдырады, ал шағын модельде олар параметрлердің едәуір бөлігін құрауы мүмкін. Qwen3 1.7B эмбеддинг кестесінде 2 048 өлшемнен тұратын 151 936 жол бар (бұл — конфигурацияланған сөздік; токенизатордағы 151 669 жазбадан артық етіп толықтырылған), демек, шамамен 311 миллион эмбеддинг параметрі бар. Бұл модель картасындағы дерекпен сәйкес келеді: онда барлығы 1,7 миллиард параметр, оның ішінде эмбеддингтерден тыс 1,4 миллиард параметр көрсетілген 7. Масштабтау зерттеулерінде көбіне эмбеддингтерге жатпайтын параметрлер ғана саналады.

Gemma 4 E сериясында бұл идея одан әрі дамытылған. Google модель картасында: «E2B және E4B атауларындағы “E” “тиімді” параметрлерді білдіреді» деп түсіндіреді. Модельдерде Per-Layer Embeddings (PLE) қолданылады: олар «әр декодер қабатына әр токен үшін жеке шағын эмбеддинг береді». «Бұл эмбеддинг кестелері үлкен, бірақ тек жылдам іздеу үшін қолданылады, сондықтан тиімді параметрлер саны жалпы саннан әлдеқайда аз» 8. Картада Gemma 4 E2B үшін 2,3 миллиард тиімді параметр және эмбеддингтермен бірге 5,1 миллиард параметр, ал E4B үшін тиісінше 4,5 миллиард тиімді параметр және эмбеддингтермен бірге 8 миллиард параметр көрсетілген.

Бұл айырмашылық телефонда маңызды, өйткені іздеу жадты қажет етеді, бірақ есептеуді аз талап етеді; орындау ортасы кестелерді сақтау орнында қалдыра алады. «Тиімді» ұғымы «белсенді» ұғымынан да бөлек: Gemma 4 26B A4B — 25,2 миллиард параметрі бар сарапшылар қоспасы моделі; шығару кезінде олардың 3,8 миллиарды белсенді болады 8.

Шағын модельдер телефондарға неге сыяды?

Модель салмақтарына шамамен параметрлер санының әр параметрді сақтау үшін қолданылатын бит санына көбейтіндісін сегізге бөлу арқылы есептелетін жад қажет. 4 бит болғанда, 1,7 миллиард параметрге шамамен 0,85 GB қажет; бұл 4 GB жедел жады бар телефонда Android пен басқа қолданбаларға орын қалдырады.

Параметрлер саны мен дәлдігі — басқаруға болатын екі фактор. 1-суретте Qwen3 1.7B үшін 32 биттік жылжымалы үтір пішімінен бастап 4 биттік модель файлына дейінгі есеп көрсетілген.

  1. 32 биттік жылжымалы үтір сандарымен сақталса, 1,7 миллиард параметр 6,8 GB орын алады.
  2. 16 битте олар 3,4 GB орын алады.
  3. 8 битте олар 1,7 GB орын алады. Бір салмаққа арналған бит санын екі есе азайтқан сайын, салмақтарға қажет жад та екі есе азаяды.
  4. 4 битте шамамен 0,85 GB қажет. Әр салмаққа жарты байт жұмсалуы осындай өлшемдегі модельді 4 GB телефонында қолдануды мүмкін етеді.
  5. 4 биттік модель файлы бастапқы салмақтардан үлкен болуы мүмкін. Блок масштабтары мен басқа сақталған деректер оның өлшемін арттырады.
1-сурет. Qwen3 1.7B салмақтарын сақтау үшін қажет жад, ондық гигабайтпен. Көк жолақтар 1,7 миллиард параметр үшін параметрлер саны × бит саны ÷ 8 формуласы бойынша есептелген және тек салмақтарды есепке алады; іске қосылған модельге кілт-мән кэші мен орындау ортасы үшін де жад қажет. Қызғылт сары жолақ жүктеп алынған модель файлын көрсетеді.
ДәлдікБір параметрге арналған бит саныСалмақтарға қажет шамамен жад
32 биттік жылжымалы үтір326,8 GB
16 биттік жылжымалы үтір163,4 GB
8 биттік бүтін сан81,7 GB
4 биттік бүтін сан40,85 GB

Сондықтан телефонға арналған модельдер бірнеше миллиард параметрді 4 биттік немесе аралас дәлдіктегі салмақтармен біріктіреді; кванттау салмақтарды сақтауға қажетті орынды азайтады.

Жадтың барлығы тек салмақтарға жұмсалмайды. Іске қосылған модельге контекст терезесі ұзарған сайын көлемі өсетін кілт-мән кэші және орындау ортасының өзі үшін де жад қажет. Жылдамдық та осыған ұқсас есепке тәуелді: әрбір жаңа токенді шығару үшін модель салмақтарын жадтан оқу керек, сондықтан бір телефонда салмақтары аз әрі шағын модельдер жылдамырақ жауап береді.

Шағын модельдер қандай тапсырмаларды жақсы орындайды?

Шағын модельдер қажетті ақпарат нұсқауда берілген немесе жалпыға мәлім болатын тапсырмаларда жақсы: мәтінді қайта жазу, қысқаша мазмұндау, нобай дайындау, түсіндіру және берілген үзінділер негізінде жауап беру. Олар құрылғының өзінде жұмыс істейтіндіктен, желіге қосылмай-ақ және нұсқауды серверге жібермей жауап бере алады.

Google модель картасында Gemma 4 тобы «пайымдау, агенттік жұмыс үдерістері, код жазу және мультимодальды түсіну үшін қолайлы» деп сипатталған; E2B және E4B мәтін, сурет және аудио енгізуді қабылдайды 8. Бұл — әзірлеушілердің өз сипаттамалары мен бенчмарк нәтижелері; нақты модельдің белгілі бір телефондағы нақты тапсырманы қаншалықты жақсы орындайтынын тексеру қажет.

Шағын модель білмейтін нәрсеге дұрыс мәтін ұсыну көмектеседі. Іздеумен толықтырылған генерация сұрақ қойылған кезде табылған үзінділерді қосады, сонда модель жадына емес, дереккөздерге сүйенеді. Шағын модельдердің жұмыс істеуі де болжамды: әр сұрақ үшін серверге бөлек ақы төленбейді, кезек болмайды және жүктеп алғаннан кейін байланыс қажет емес.

Шағын модельдердің әлсіз тұстары қандай?

Шағын модельдер үлкен модельдерге қарағанда аз білім қамтиды, ұзақ немесе көп қадамды пайымдауда әлсіздеу және ұзын контексті нашар өңдейді. Барлық тіл модельдері сияқты, олар да сенімді түрде жалған нәрсе айтуы мүмкін.

Бұл үрдісті бір модель тобынан да көруге болады. Google модель картасында Gemma 4 E2B білім мен пайымдауды бағалайтын MMLU Pro бенчмаркі бойынша 60,0%, E4B 69,4% жинаған; ал 31 миллиард параметрлі Gemma 4 моделі 85,2% көрсеткен. Жоғары оқу орны деңгейіндегі жаратылыстану сұрақтары жиынтығы GPQA Diamond бенчмаркі бойынша көрсеткіштер тиісінше 43,4%, 58,6% және 84,3% 8. Бұл — Google жариялаған өз модельдерінің нәтижелері.

Шағын модельдер қайталай беріп, тұйыққа да тірелуі мүмкін. Qwen модель картасында ашкөз декодтау «өнімділіктің төмендеуіне және тоқтаусыз қайталауға әкелуі мүмкін» деп ескертілген 7.

Шағын модельдер нұсқаулардың пішінін неге қайталайды?

Шағын модельдер нұсқаудың мазмұнын орындаумен қатар, оның пішінін де қайталауға бейім. Сондықтан ұзақ әрі құрылымды жүйелік нұсқау әр жауапта сол құрылымның қайталануына әкелуі мүмкін.

Модельге «алдымен тікелей жауап бер, содан кейін пайдалы мәлімет қос» деген нұсқау берілгенде, жауаптарда қалың қаріппен «Тікелей жауап:» және «Пайдалы мәлімет:» деген белгілер пайда болды. Нұсқау мазмұнға қатысты кеңес ретінде берілген еді, бірақ модель оны үлгі ретінде қабылдады.

Шағын модельдердегі ойлау режимдері қалай жұмыс істейді?

Ойлау режимі модельді соңғы жауабын бермес бұрын аралық пайымдауын жазуға мәжбүр етеді. Бұл көп қадамды есептерді мұқият шешу үшін көбірек уақыт пен токен жұмсайды. Qwen3 те, Gemma 4 те бұл мүмкіндікті бөлек пайымдау моделі ретінде емес, бір модельдің ішіндегі ауыстырып-қосқыш ретінде ұсынады.

Бұл идея ой қадамдарының тізбегін сұрататын нұсқаулардан шыққан. Жаңа шағын модельдер пайымдауға үйретіледі; Qwen3 жағдайында бұл ішінара үлкен модельдерінен үйрену арқылы жүзеге асады.

Ауыстырып-қосқыш нұсқаудың құрамында болады. Qwen3 1.7B әдепкіде ойлайды және пайымдауын <think>…</think> блогының ішінде жазады. Әзірлеушілер ойлау режимін enable_thinking параметрімен өшіреді, ал пайдаланушылар режимді әр айналым сайын өзгерту үшін хабарламаға /think немесе /no_think қоса алады 7. Gemma 4 жүйелік нұсқауы <|think|> токенінен басталғанда ойлау режимін қосады 8.

Ойлау уақыт пен контекстті қажет етеді, өйткені пайымдау токендері модель шығысының бөлігі болып, оның контекст терезесін пайдаланады. Модель оларды көрсетуге бапталса, пайымдау жауаптың алдында беріледі, бірақ бұл мінез-құлық модель мен қолданбаға байланысты.

Qwen3 1.7B, Gemma 4 E2B және Gemma 4 E4B қалай ерекшеленеді?

Бұл үш модель өлшемі, кіріс деректері және контекст ұзындығы бойынша ерекшеленеді. Qwen3 1.7B-де 1,7 миллиард параметр бар және ол тек мәтінді қабылдайды; Google дерегінше, Gemma 4 E2B мен E4B-де тиісінше 2,3 және 4,5 миллиард тиімді параметр бар және олар мәтін, сурет пен аудионы қабылдайды. Үшеуі де Apache 2.0 лицензиясымен шығарылған.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
ӘзірлеушіAlibaba (Qwen тобы)Google DeepMindGoogle DeepMind
Параметрлер1,7B, оның 1,4B-і эмбеддингтерден тыс2,3B тиімді, эмбеддингтермен бірге 5,1B4,5B тиімді, эмбеддингтермен бірге 8B
Қабаттар283542
Контекст ұзындығы32 768 токен128K токен128K токен
КірісМәтінМәтін, сурет, аудиоМәтін, сурет, аудио
Ойлау режиміИә, әдепкіде қосулыИәИә
ЛицензияApache 2.0Apache 2.0Apache 2.0

1-кесте. Qwen-нің Qwen3-1.7B модель картасында және Google-дың Gemma 4 модель картасында жарияланған сипаттамалар; 2026 жылғы 5 қазанда тексерілген 7 8.

Дереккөздер

  1. Qwen. «Qwen3-1.7B». Модель картасы және конфигурациясы, Hugging Face. 2026 жылғы 5 қазанда қаралды. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. «Gemma 4 модель картасы». Google AI for Developers. 2026 жылғы 5 қазанда қаралды. ai.google.dev/gemma/docs/core/model_card_4

Бұл нұсқаулықты Ailoot көмегімен қолданыңыз

AI модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру үдерістеріңізге бір Ailoot API арқылы қосыңыз. Тапсырмаңызға сай модельді таңдап, жұмысты бастау үшін Ailoot құжаттамасын пайдаланыңыз.