Małe modele językowe — wyjaśnienie
MarkdownCo sprawia, że model językowy jest mały, co oznaczają parametry i parametry efektywne, dlaczego małe modele mieszczą się w telefonach oraz z jakich możliwości rezygnują.
Czym jest mały model językowy?
Mały model językowy (SLM) to model językowy na tyle kompaktowy, by działać na codziennym sprzęcie, takim jak telefon czy laptop, zamiast w centrum danych. Nie ma uzgodnionej granicy: modele mające kilka miliardów parametrów lub mniej zwykle nazywa się małymi, a w jednym przeglądzie z 2024 roku przyjęto zakres od 100 milionów do 5 miliardów.
Małe i duże modele językowe działają tak samo. Oba są sieciami neuronowymi, niemal zawsze transformatorami, trenowanymi do przewidywania następnego tokenu tekstu, a po wstępnym trenowaniu oba dostosowuje się do wykonywania instrukcji; wspomniany przegląd dotyczy właśnie transformatorów wyłącznie dekoderowych. Różni je skala. Model mieszczący się w telefonie ma kilka miliardów parametrów, podczas gdy czołowe modele chmurowe są znacznie większe, więc mały model zawiera mniej wiedzy i ma mniejsze możliwości rozumowania (zob. „Gdzie małe modele sobie nie radzą?”). To małe modele sprawiają, że praktyczna staje się sztuczna inteligencja działająca na urządzeniu.
Rozmiar nie jest jedyną dźwignią wpływającą na jakość. Jakość małego modelu zależy więc zarówno od jego trenowania, jak i rozmiaru. Może uczyć się od większego modelu przez destylację, w której trenuje się go tak, by naśladował wyniki większego modelu, a starannie dobrane dane również poprawiają jego możliwości: phi-1, model kodowania z 1,3 miliarda parametrów, trenowany głównie na danych „podręcznikowej jakości”, uzyskał 50,6% pass@1 w teście programistycznym HumanEval.
Co oznaczają „parametry” i „parametry efektywne”?
Parametry to liczby, których model uczy się podczas trenowania, a ich liczba jest zwyczajową miarą jego rozmiaru: „1.7B” w Qwen3 1.7B oznacza około 1,7 miliarda. „Parametry efektywne”, czyli „E” w nazwach Gemma 4 E2B i E4B firmy Google, oznaczają parametry używane w obliczeniach modelu, z pominięciem dużych tablic embeddingów, z których model jedynie odczytuje wartości.
Większość parametrów znajduje się w macierzach wag warstw uwagi i warstw feed-forward transformatora, przez które przechodzi każdy token. Osobny blok — embeddingi — mapuje każdy token ze słownika na wektor; w małym modelu może stanowić dużą część całości. Tablica embeddingów Qwen3 1.7B ma 151 936 wierszy (skonfigurowany słownik, rozszerzony poza 151 669 wpisów tokenizera) o wymiarze 2 048, czyli około 311 milionów parametrów embeddingów. Zgadza się to z kartą modelu, która podaje łącznie 1,7 miliarda parametrów, w tym 1,4 miliarda poza embeddingami 7. W badaniach nad skalowaniem często uwzględnia się wyłącznie parametry niebędące embeddingami.
Seria E modelu Gemma 4 rozwija tę koncepcję. Karta modelu Google wyjaśnia: „Litera «E» w E2B i E4B oznacza parametry «efektywne»”: modele wykorzystują embeddingi dla każdej warstwy (PLE), które zapewniają „każdej warstwie dekodera własny mały embedding dla każdego tokenu”, a „te tablice embeddingów są duże, ale służą wyłącznie do szybkiego odczytu, dlatego liczba parametrów efektywnych jest znacznie mniejsza niż całkowita” 8. Karta podaje dla Gemma 4 E2B 2,3 miliarda parametrów efektywnych i 5,1 miliarda łącznie z embeddingami, a dla E4B odpowiednio 4,5 miliarda efektywnych i 8 miliardów z embeddingami.
To rozróżnienie ma znaczenie w telefonie, ponieważ odczyty wymagają pamięci, ale niewielu obliczeń, a środowisko wykonawcze może pozostawić tablice w pamięci masowej. „Efektywne” to jeszcze co innego niż „aktywne”: Gemma 4 26B A4B jest modelem typu mixture-of-experts z 25,2 miliarda parametrów, z których 3,8 miliarda jest aktywnych podczas inferencji 8.
Dlaczego małe modele mieszczą się w telefonach?
Wagi modelu zajmują w przybliżeniu tyle, ile wynosi liczba parametrów pomnożona przez liczbę bitów przechowywanych na parametr i podzielona przez osiem. Przy 4 bitach 1,7 miliarda parametrów wymaga około 0,85 GB, co pozostawia miejsce na Androida i inne aplikacje w telefonie z 4 GB pamięci RAM.
Dźwigniami są liczba parametrów i precyzja. Rysunek 1 przedstawia obliczenia dla Qwen3 1.7B — od 32-bitowej reprezentacji zmiennoprzecinkowej po plik modelu 4-bitowego.
- Przechowywane jako 32-bitowe liczby zmiennoprzecinkowe 1,7 miliarda parametrów zajmuje 6,8 GB.
- Przy 16 bitach zajmują 3,4 GB.
- Przy 8 bitach zajmują 1,7 GB. Każde zmniejszenie o połowę liczby bitów na wagę zmniejsza o połowę pamięć potrzebną na wagi.
- Przy 4 bitach: około 0,85 GB. Pół bajtu na wagę sprawia, że model tej wielkości może praktycznie działać na telefonie z 4 GB pamięci.
- Plik modelu 4-bitowego może być większy niż surowe wagi. Skale bloków i inne przechowywane dane zwiększają jego rozmiar.
| Precyzja | Liczba bitów na parametr | Przybliżona pamięć na wagi |
|---|---|---|
| 32-bitowa liczba zmiennoprzecinkowa | 32 | 6,8 GB |
| 16-bitowa liczba zmiennoprzecinkowa | 16 | 3,4 GB |
| 8-bitowa liczba całkowita | 8 | 1,7 GB |
| 4-bitowa liczba całkowita | 4 | 0,85 GB |
Z tego powodu modele mieszczące się w telefonach łączą kilka miliardów parametrów z wagami 4-bitowymi lub o mieszanej precyzji; kwantyzacja zmniejsza ilość miejsca potrzebnego na wagi.
Wagi nie stanowią całego zapotrzebowania na pamięć. Uruchomiony model potrzebuje również pamięci na pamięć podręczną klucz–wartość, która rośnie wraz z długością okna kontekstu, oraz na samo środowisko wykonawcze. Szybkość wynika z tej samej zależności: wygenerowanie każdego nowego tokenu wymaga odczytania wag modelu z pamięci, dlatego mniejsza liczba mniejszych wag oznacza szybsze odpowiedzi na tym samym telefonie.
W czym małe modele są dobre?
Małe modele dobrze radzą sobie z zadaniami, w których potrzebne informacje znajdują się w poleceniu lub należą do wiedzy powszechnej: przeredagowywaniem, streszczaniem, przygotowywaniem szkiców, wyjaśnianiem i odpowiadaniem na podstawie dostarczonych fragmentów. Ponieważ działają na urządzeniu, mogą też odpowiadać bez połączenia z siecią i bez wysyłania polecenia na serwer.
Karta modelu Google określa rodzinę Gemma 4 jako „dobrze przystosowaną do rozumowania, przepływów pracy z agentami, kodowania i rozumienia multimodalnego”; modele E2B i E4B przyjmują tekst, obrazy i dźwięk 8. Są to własne opisy i wyniki testów deweloperów; to, jak dobrze konkretne zadanie działa na konkretnym telefonie, nadal wymaga sprawdzenia.
Dostarczenie właściwego tekstu pomaga w przypadku tego, czego mały model nie wie. Generowanie wspomagane wyszukiwaniem (RAG) dodaje fragmenty pobrane w chwili zadania pytania, dzięki czemu model korzysta ze źródeł, a nie z pamięci. Małe modele są też przewidywalne w eksploatacji: nie ma kosztu serwera za każde pytanie, kolejki ani zależności od połączenia po pobraniu modelu.
Gdzie małe modele sobie nie radzą?
Małe modele zawierają mniej wiedzy, gorzej radzą sobie z długim lub wieloetapowym rozumowaniem i obsługują długie konteksty słabiej niż większe modele; podobnie jak wszystkie modele językowe potrafią płynnie przedstawiać nieprawdziwe informacje.
Ten wzorzec widać w obrębie jednej rodziny. Według karty modelu Google Gemma 4 E2B uzyskuje 60,0% w teście wiedzy i rozumowania MMLU Pro, a E4B 69,4%, podczas gdy model Gemma 4 z 31 miliardami parametrów osiąga 85,2%. W teście GPQA Diamond, obejmującym pytania z nauk ścisłych na poziomie studiów magisterskich, wyniki wynoszą odpowiednio 43,4%, 58,6% i 84,3% 8. To wyniki Google dla jego modeli.
Małe modele mogą też utknąć w powtarzaniu. Karta modelu Qwen ostrzega, że dekodowanie zachłanne „może prowadzić do pogorszenia wyników i niekończących się powtórzeń” 7.
Dlaczego małe modele kopiują strukturę swoich instrukcji?
Małe modele mają tendencję do naśladowania formy polecenia, a zarazem wykonywania jego treści, dlatego długie, ustrukturyzowane polecenie systemowe może sprawić, że struktura ta pojawi się w każdej odpowiedzi.
Polecenie „zacznij od bezpośredniej odpowiedzi, a potem podaj przydatne szczegóły” zaowocowało odpowiedziami z pogrubionymi etykietami „Bezpośrednia odpowiedź:” i „Przydatne szczegóły:”. Instrukcja miała być wskazówką dotyczącą treści, ale model potraktował ją jak szablon.
Jak działają tryby myślenia w małych modelach?
Tryb myślenia sprawia, że model zapisuje rozumowanie pośrednie przed odpowiedzią końcową, poświęcając więcej czasu i tokenów, by uzyskać staranniejsze wyniki przy problemach wieloetapowych. Zarówno Qwen3, jak i Gemma 4 oferują tę funkcję jako przełącznik w ramach jednego modelu, a nie osobny model rozumujący.
Koncepcja wywodzi się z promptingowania łańcucha myśli. Nowsze małe modele są trenowane do rozumowania; w przypadku Qwen3 dzieje się to częściowo przez uczenie na podstawie większych modeli z tej rodziny.
Przełącznik jest częścią polecenia. Qwen3 1.7B domyślnie myśli i zapisuje rozumowanie w bloku <think>…</think>; deweloperzy wyłączają myślenie ustawieniem enable_thinking, a użytkownicy mogą dodawać do wiadomości /think lub /no_think, by zmieniać tryb z tury na turę 7. Gemma 4 włącza myślenie, gdy jej polecenie systemowe zaczyna się od tokenu <|think|> 8.
Myślenie kosztuje czas i miejsce w kontekście, ponieważ tokeny rozumowania są częścią wyjścia modelu i zajmują część jego okna. Jeśli model skonfigurowano tak, by ujawniał rozumowanie, pojawia się ono przed odpowiedzią, ale zachowanie zależy od modelu i aplikacji.
Jak wypadają w porównaniu Qwen3 1.7B, Gemma 4 E2B i Gemma 4 E4B?
Te trzy modele różnią się rozmiarem, rodzajami danych wejściowych i długością kontekstu. Qwen3 1.7B ma 1,7 miliarda parametrów i przyjmuje wyłącznie tekst; Google podaje dla Gemma 4 E2B i E4B odpowiednio 2,3 i 4,5 miliarda parametrów efektywnych, a modele te przyjmują tekst, obrazy i dźwięk. Wszystkie trzy są udostępniane na licencji Apache 2.0.
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| Deweloper | Alibaba (zespół Qwen) | Google DeepMind | Google DeepMind |
| Parametry | 1.7B, w tym 1.4B poza embeddingami | 2.3B efektywnych, 5.1B z embeddingami | 4.5B efektywnych, 8B z embeddingami |
| Warstwy | 28 | 35 | 42 |
| Długość kontekstu | 32 768 tokenów | 128K tokenów | 128K tokenów |
| Dane wejściowe | Tekst | Tekst, obraz, dźwięk | Tekst, obraz, dźwięk |
| Tryb myślenia | Tak, domyślnie włączony | Tak | Tak |
| Licencja | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Tabela 1. Dane opublikowane w kartach modeli Qwen3-1.7B firmy Qwen i Gemma 4 firmy Google, sprawdzone 5 października 2026 7 8.
Źródła
- Qwen. „Qwen3-1.7B”. Karta modelu i konfiguracja, Hugging Face. Dostęp: 5 października 2026. huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind. „Karta modelu Gemma 4”. Google AI for Developers. Dostęp: 5 października 2026. ai.google.dev/gemma/docs/core/model_card_4
Wykorzystaj ten poradnik z Ailoot
Połącz modele AI ze swoimi aplikacjami, agentami i automatyzacjami za pomocą jednego API Ailoot. Wybierz model odpowiedni do zadania i rozpocznij pracę zgodnie z dokumentacją Ailoot.