Google: Gemma 4 31B (free)

Gemma 4 31B IT yra Google DeepMind pagal instrukcijas suderinta tankioji atviros Gemma 4 šeimos versija. Google 31B modelį sieja su modelio kokybe ir pritaikymu užduočiai, o atskira 26B A4B versija naudoja ekspertų mišinį išvedimo efektyvumui. Ši kortelė skirta nurodytai pagal instrukcijas suderintai 31B versijai, o ne iš anksto apmokytiems jos svoriams ar kvantuotai išvestinei versijai.

Oficialioje tankiosios architektūros lentelėje nurodoma 30,7 milijardo parametrų, 60 sluoksnių, 1 024 žetonų slenkantis langas ir 256K žetonų kontekstas. Šeima derina vietinį slenkančio lango dėmesį su visuotiniu dėmesiu, užbaigiama visuotiniu sluoksniu ir šiam modeliui naudoja atskirą vaizdinį koduotuvą. Taip sukurtas profilis skirtas teksto ir vaizdų įvesčiai bei tekstinei išvesčiai. Tai modelio architektūros faktai; jie nenustato programos atsako laiko ir nereiškia kitų Gemma 4 dydžių garso palaikymo.

256K žetonų kontekstas leidžia atlikti užduotį, kurioje didelis teksto kiekis derinamas su vaizdiniais įrodymais. Vienoje užklausoje vaizdus galima kaitalioti su tekstu; gamintojas rekomenduoja vaizdo turinį pateikti prieš su juo susijusį tekstą, kad rezultatai būtų geriausi. Vaizdinės užduotys apima objektų aptikimą, dokumentų puslapių interpretavimą, ekranų ir sąsajų supratimą, diagramas, daugiakalbį OCR, rankraštį ir vietos nurodymą. Rezultatas yra tekstas: išgautas turinys, paaiškinimas, kodas arba siūlomas įrankio veiksmas.

Konfigūruojamas mąstymas leidžia modeliui samprotauti prieš atsakant arba pateikti tiesioginį atsakymą. Gemma 4 greta naudotojo ir asistento vaidmenų prideda savąjį sistemos vaidmenį. Google užklausų formatas įjungia mąstymą sistemos užklausoje esančiu valdymo žymeniu <|think|> ir atskiria mąstymo kanalą nuo galutinio atsakymo; dokumentacijoje aprašytas procesorius gali apdoroti šį šabloną. Kelių ėjimų pokalbio istorijoje palikite ankstesnius galutinius atsakymus ir neįtraukite ankstesnių minčių, išskyrus ėjimus su įrankių iškvietimais, kuriuose gamintojas nurodo jas išsaugoti.

Savieji funkcijų iškvietimai (Native Function Calling) palaiko struktūruotą įrankių naudojimą, o Google pristatymo apraše taip pat dokumentuotas struktūruotas JSON rezultatas. Apibrėžkite užduotį, pasiekiamą funkciją ir laukiamą rezultatą; programa atlieka prašomą operaciją ir grąžina jos rezultatą kitam žingsniui. Programavimo užduotyje galima prašyti generuoti, užbaigti ar taisyti kodą, o vaizdinis asistentas gali grąžintą tekstą naudoti diagramai ar ekranui paaiškinti. Nurodymas iškviesti funkciją skiriasi nuo prijungto veiksmo, kuris jau iš tikrųjų įvykdytas.

Kintama vaizdo raiška valdoma vaizdinių žetonų biudžetu. Dokumentuotos parinktys yra 70, 140, 280, 560 ir 1 120 žetonų. Mažesni biudžetai tinka klasifikavimui ar antraštėms; didesni išsaugo daugiau detalių OCR, dokumentų analizavimui ir smulkiam tekstui, tačiau reikalauja daugiau skaičiavimų. Prieš ruošdami vaizdą nuspręskite, ar jums reikia bendros scenos, ar tikslių užrašų. Aiški iškirpta etiketė išgavimo užduočiai gali būti naudingesnė už nekonkretų prašymą išnagrinėti visas viso puslapio detales.

Google rekomenduoja šią šeimos atrankos konfigūraciją: temperature 1.0, top-p 0.95 ir top-k 64. Modelio kortelėje mokymas naudojant daugiau kaip 140 kalbų duomenis atskiriamas nuo daugiau kaip 35 kalbų palaikymo be papildomo pritaikymo. Apraše aiškiai nurodykite atsakymo kalbą ir domenų vardus, laukų pavadinimus ar formules, kuriuos reikia išsaugoti. 256K reikšmė yra konteksto specifikacija; cituojamoje modelio kortelėje šiai versijai nenustatoma atskira universali didžiausia išvesties apimtis.

Dokumento ir kodo užduočiai pateikite susijusio puslapio vaizdą, rašytinį reikalavimą ir pradinio kodo fragmentą: „Perskaityk žymes, paaiškink, kuo šis ekranas skiriasi nuo specifikacijos, ir pasiūlyk tikslinį pateikto kodo pataisymą.“ Diagramai paprašykite atsakyme atskirti matomas reikšmes nuo numanomos tendencijos. Gemma modelio kortelėje nurodomi apribojimai, susiję su dviprasme kalba, labai sudėtingomis užduotimis ir klaidingais ar pasenusiais faktiniais teiginiais, todėl pridėkite patikimus faktus, kuriais turi remtis prašomas rezultatas, užuot tikėjęsi, kad juos pateiks mokymo metu įgytos žinios.

Per Ailoot pasirinkite šį tikslų modelio ID galiniame taške /v1/chat/completions ir pateikite užduotį lauke messages. Kiekvienas pranešimas turi vaidmenį ir turinį; susijusias instrukcijas ir šaltinio medžiagą laikykite kartu. Surinkite visą JSON atsakymą arba visus SSE segmentus, kai įjungtas stream, ir kartu su tekstiniu rezultatu išsaugokite usage.