Tinklaraštis

Mažieji kalbos modeliai (SLM): išsami apžvalga

Markdown

Mažųjų kalbos modelių (SLM) apžvalga: kaip jie kuriami, jų privalumai ir ribotumai, praktinis pritaikymas, veikimas įrenginiuose ir tikslinimo metodai.

Pastarieji keleri metai dirbtinio intelekto srityje buvo įspūdingi: didieji kalbos modeliai (LLM) stebino savo galimybėmis ir tapo įvairių įrankių – nuo pokalbių robotų iki kodavimo asistentų – pagrindu. Tačiau ne visoms programoms reikia milžiniško dydžio ir sudėtingumo LLM: dėl reikiamos skaičiavimo galios jie daugeliui naudojimo atvejų yra nepraktiški. Todėl atsirado mažieji kalbos modeliai (SLM), kurie, sumažindami modelių dydį, padaro galingus DI modelius prieinamesnius.

Apžvelkime, kas yra SLM, kaip jie sumažinami, kokie jų privalumai ir ribotumai, kaip jie pritaikomi realiame pasaulyje ir kaip juos galima naudoti mobiliuosiuose bei staliniuose įrenginiuose.

Kas yra mažieji kalbos modeliai?

Mažieji kalbos modeliai (SLM) – tai lengvos tradicinių kalbos modelių versijos, sukurtos efektyviai veikti ribotų išteklių aplinkoje, pavyzdžiui, išmaniuosiuose telefonuose, įterptinėse sistemose ar mažos galios kompiuteriuose. Didieji kalbos modeliai turi šimtus milijardų ar net trilijonus parametrų, o SLM paprastai turi nuo 1 milijono iki 10 milijardų parametrų. Jie gerokai mažesni, tačiau išsaugo pagrindines NLP galimybes, tokias kaip teksto generavimas, apibendrinimas, vertimas ir atsakymai į klausimus.

Kai kuriems specialistams nepatinka terminas „mažasis kalbos modelis“, nes milijardas parametrų jokiu būdu nėra mažai. Jie teikia pirmenybę terminui „mažasis didysis kalbos modelis“, kuris skamba painiai. Tačiau dauguma pasirinko „mažąjį kalbos modelį“, taigi tebūnie SLM. Beje, atminkite, kad jis mažas tik palyginti su didžiaisiais modeliais.

Kaip jie sumažinami?

Kalbos modelio mažinimo procesas apima kelis metodus, kuriais siekiama sumažinti jo dydį per daug nepakenkiant našumui:

  1. Žinių distiliavimas: mažesnio „mokinio“ modelio mokymas, perduodant jam žinias iš didesnio „mokytojo“ modelio.
  2. Retinimas: perteklinių arba mažiau svarbių neuroninio tinklo architektūros parametrų pašalinimas.
  3. Kvantavimas: skaičiavimuose naudojamų skaitinių reikšmių tikslumo mažinimas (pvz., slankiojo kablelio skaičių keitimas sveikaisiais skaičiais).

Mažųjų kalbos modelių pavyzdžiai

Atsirado keletas mažų, bet galingų kalbos modelių, įrodančių, kad dydis dar ne viskas. Toliau pateikti SLM, turintys nuo 1 iki 4 milijardų parametrų:

  • Llama3.2-1B – „Meta“ sukurtas, kraštiniams įrenginiams optimizuotas 1 milijardo parametrų variantas.
  • Qwen2.5-1.5B – „Alibaba“ modelis, skirtas daugiakalbėms programoms, turintis 1,5 milijardo parametrų.
  • DeepSeeek-R1-1.5B - pirmosios kartos „DeepSeek“ samprotavimo modelis, distiliuotas iš Qwen2.5 ir turintis 1,5 milijardo parametrų.
  • SmolLM2-1.7B – „HuggingFaceTB“ sukurtas pažangiausias „mažasis“ (1,7 milijardo parametrų) kalbos modelis, mokytas naudojant specializuotus atviruosius duomenų rinkinius („FineMath“, „Stack-Edu“ ir „SmolTalk“).
  • Phi-3.5-Mini-3.8B – mažas, bet galingas atvirasis „Microsoft“ modelis, turintis 3,8 milijardo parametrų ir optimizuotas samprotavimui bei kodo generavimui.
  • Gemma3-4B - „Google DeepMind“ sukurtas lengvas, bet galingas 4 milijardų parametrų modelis, palaikantis kelias kalbas ir multimodalumą.

Yra ir kitų galingesnių mažųjų kalbos modelių: Mistral 7B, Gemma 9B ir Phi-4 14B (nors nesu tikras, ar Phi-4 su 14 milijardų parametrų vis dar galima vadinti „mažu“, bet jis toks pajėgus :)

Mažųjų kalbos modelių privalumai

  • Maži skaičiavimo išteklių poreikiai – gali veikti vartotojų nešiojamuosiuose kompiuteriuose, kraštiniuose įrenginiuose ir mobiliuosiuose telefonuose.
  • Mažesnis energijos suvartojimas – efektyvūs modeliai naudoja mažiau energijos, todėl yra draugiškesni aplinkai.
  • Greitesnis išvedimas – mažesni modeliai greitai generuoja atsakymus, todėl tinka realiojo laiko programoms.
  • DI įrenginyje – nereikia interneto ryšio ar debesijos paslaugų, todėl užtikrinamas didesnis privatumas ir saugumas.
  • Pigesnis diegimas – mažesnės aparatinės įrangos ir debesijos sąnaudos daro DI prieinamesnį startuoliams ir kūrėjams.
  • Pritaikomumas: modelius lengva tikslinti konkrečios srities užduotims (pvz., teisinių dokumentų analizei).

Mažųjų kalbos modelių ribotumai

SLM turi daug privalumų, tačiau juos naudojant tenka susitaikyti ir su tam tikrais kompromisais:

  • Siaura taikymo sritis: ribotas gebėjimas apibendrinti žinias už mokymo srities ribų (pvz., medicininis SLM sunkiai susidoroja su programavimu).
  • Šališkumo rizika: jei mažesni duomenų rinkiniai kruopščiai neatrinkti, jie gali sustiprinti šališkumą.
  • Mažesnis sudėtingų užduočių pajėgumas: mažesniems modeliams gali būti sunku atlikti labai subtilias ar sudėtingas užduotis, kurioms reikia gilaus konteksto supratimo.
  • Mažesnis patikimumas: dviprasmiškomis aplinkybėmis arba susidūrę su priešiškais įvesties duomenimis jie dažniau klysta.

Mažųjų kalbos modelių taikymas realiame pasaulyje

Nepaisant ribotumų, SLM galima praktiškai pritaikyti daugelyje sričių:

  1. Pokalbių robotai ir virtualieji asistentai: pakankamai efektyvūs, kad veiktų mobiliuosiuose įrenginiuose ir užtikrintų sąveiką realiuoju laiku.
  2. Kodo generavimas: tokie modeliai kaip Phi-3.5 Mini padeda kūrėjams rašyti ir derinti kodą.
  3. Vertimas: lengvi modeliai gali versti įrenginyje keliaujančių žmonių reikmėms.
  4. Apibendrinimas ir turinio generavimas: įmonės naudoja SLM rinkodaros tekstams, įrašams socialiniuose tinkluose ir ataskaitoms kurti.
  5. Pritaikymas sveikatos priežiūroje: DI įrenginyje gali padėti tikrinti simptomus ir vykdyti medicininius tyrimus.
  6. Daiktų internetas ir kraštiniai skaičiavimai: DI veikia išmaniuosiuose namų įrenginiuose be priklausomybės nuo debesijos.
  7. Mokomosios priemonės: mokymo sistemos gali pasitelkti SLM personalizuotiems paaiškinimams, viktorinoms ir grįžtamajam ryšiui generuoti realiuoju laiku.

Mažųjų kalbos modelių vykdymas kraštiniuose įrenginiuose

SLM suteikia DI galią tiesiai jūsų išmaniajam telefonui (naudojant PocketPal) arba kompiuteriui (naudojant Ollama), todėl galima dirbti neprisijungus, užtikrinti didesnį privatumą ir sumažinti delsą.

SLM mobiliuosiuose įrenginiuose su PocketPal

Norintiems patiems išbandyti SLM, PocketPal AI programėlė siūlo paprastą būdą tiesiogiai bendrauti su šiais modeliais išmaniajame telefone, neprisijungus prie interneto. Nesvarbu, ar norite parengti el. laišką, pasisemti idėjų, ar gauti atsakymą į trumpą klausimą, PocketPal suteikia sklandžią sąsają, veikiančią su optimizuotais SLM. Veikimas neprisijungus užtikrina, kad jūsų užklausos liks privačios.

Funkcijos

  • DI pagalba neprisijungus: kalbos modeliai veikia tiesiogiai jūsų įrenginyje, be interneto ryšio.
  • Modelių pasirinkimas: atsisiųskite kelis SLM ir perjunkite juos – pavyzdžiui, Phi, Gemma, Qwen ir kitus.
  • Automatinis iškėlimas ir įkėlimas: automatiškai valdykite atmintį, iškeldami modelius, kai programėlė veikia fone.
  • Išvedimo nustatymai: tinkinkite modelio parametrus, pavyzdžiui, sistemos raginimą, temperatūrą, BOS žetoną ir pokalbių šablonus.
  • Veikimo metrika realiuoju laiku: generuojant DI atsakymą peržiūrėkite žetonų per sekundę ir milisekundžių vienam žetonui rodiklius.

Atsisiųskite PocketPal AI iš iOS ir „Android“ parduotuvių.

SLM vykdymas kompiuteryje su Ollama

Atvirojo kodo įrankis Ollama supaprastina SLM diegimą kompiuteriuose:

  • Vietinis valdymas: paleiskite tokius modelius kaip Llama3.2-1B ar Phi-3.5 Mini, atlikę minimalią sąranką.
  • GPU optimizavimas: pasitelkiami vartotojų vaizdo procesoriai, kad išvedimas būtų spartesnis.
  • Pritaikytos darbo eigos: integruokite SLM į duomenų srautus ar kūrybinius įrankius (pvz., automatizuotoms kodo peržiūroms).

Darbo su Ollama pradžia:

  1. Įdiekite Ollama iš ollama.com
  2. Atverkite terminalą ir atsisiųskite modelį:
ollama pull qwen2.5:1.5b
  1. Paleiskite interaktyvų modelį:
ollama run qwen2.5:1.5b

Taip galima vietoje naudoti DI pagrįstus pokalbių robotus, kodavimo asistentus ir dokumentų apibendrinimo įrankius, kuriems nereikia debesijos paslaugų.

Mažųjų kalbos modelių tikslinimas

Vienas įdomiausių SLM aspektų – jų pritaikomumas tikslinant. Pateikę SLM konkrečios srities duomenų rinkinius, galite pagerinti jo veikimą nišinėms programoms.

Pavyzdžiui:

  • Patikslinkite modelį pagal teisinius dokumentus ir sukurkite sutarčių analizės asistentą.
  • Išmokykite SLM pagal techninius vadovus ir sukurkite inžinieriams skirtą trikčių šalinimo vadovą.

Yra keletas SLM tikslinimo būdų:

  1. Visiškas tikslinimas – visi parametrai iš naujo apmokomi naudojant naujus duomenis (tam reikia didelių skaičiavimo išteklių).
  2. LoRA (mažo rango adaptavimas) – tikslinami tik keli sluoksniai, todėl procesas yra lengvas ir efektyvus.
  3. Adapteriai ir raginimų tikslinimas – pridedami papildomi sluoksniai arba optimizuojami raginimai, kad būtų nukreipiami modelio atsakymai.

Pavyzdys: tikslinimas naudojant LoRA ir Hugging Face peft biblioteką:

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)

# Train the model on new data...

Tikslinimas ne tik pagerina tikslumą, bet ir padeda modeliui geriau atitikti jūsų unikalius poreikius.

Išvada

Mažieji kalbos modeliai (SLM) yra svarbus žingsnis kuriant efektyvų, prieinamą ir ekonomišką DI. Jie siūlo praktinius sprendimus įmonėms, kūrėjams ir tyrėjams, kuriems reikia galingo DI be didelės skaičiavimo naštos, būdingos LLM.

Tokie įrankiai kaip Ollama, skirti kompiuteriams, ir tikslinimo parinktys, leidžiančios pritaikyti modelius, keičia DI aplinką – daro DI asmeniškesnį, privatesnį ir prieinamesnį visiems.

Sužinokime, kaip kompaktiškas DI gali pakeisti mūsų projektus.

Nuorodos

Mažųjų kalbos modelių apžvalga (mokslinis straipsnis)

Pritaikykite šį vadovą su Ailoot

Prijunkite DI modelius prie savo programų, agentų ir automatizavimo procesų naudodami vieną Ailoot API. Pasirinkite užduočiai tinkamą modelį ir pradėkite nuo Ailoot dokumentacijos.