Google: Gemma 4 31B (free)

Gemma 4 31B IT is Google DeepMinds dense editie van de open Gemma 4-familie, afgestemd op instructies. Google positioneert het 31B-model rond modelkwaliteit en aanpassing aan een taak, terwijl de afzonderlijke 26B A4B-editie een mixture of experts gebruikt voor efficiënte inferentie. Deze kaart gaat over de genoemde op instructies afgestemde 31B-editie, niet over de vooraf getrainde gewichten of een gekwantiseerde afgeleide versie.

De officiële architectuurtabel voor de dense versie vermeldt 30.7 miljard parameters, 60 lagen, een verschuivend venster van 1,024 tokens en een context van 256K tokens. De familie combineert lokale aandacht binnen een verschuivend venster met globale aandacht, eindigt met een globale laag en gebruikt voor dit model een afzonderlijke visuele encoder. Het resulterende profiel is ontwikkeld voor tekst- en beeldinvoer met tekst als uitvoer. Dit zijn feiten over de modelarchitectuur; ze bepalen geen responstijd van een toepassing en impliceren niet de audio-ondersteuning van andere Gemma 4-formaten.

De context van 256K tokens ondersteunt taken die omvangrijke tekst combineren met visueel bewijsmateriaal. Afbeeldingen en tekst kunnen in één prompt worden afgewisseld; de fabrikant raadt aan om de afbeelding vóór de bijbehorende tekst te plaatsen voor het beste resultaat. Visuele taken omvatten objectdetectie, interpretatie van documentpagina’s, begrip van schermen en interfaces, grafieken, meertalige OCR, handschrift en het aanwijzen van locaties. De uitvoer is tekst: geëxtraheerde inhoud, een uitleg, code of een voorgestelde toolactie.

Met instelbaar denkgedrag kan het model redeneren voordat het antwoordt of meteen een antwoord geven. Gemma 4 voegt een eigen system-rol toe naast de rollen user en assistant. Googles promptformaat activeert het denkgedrag met het controletoken <|think|> in de systeemprompt en scheidt het denkkanaal van het definitieve antwoord; de gedocumenteerde processor kan die sjabloon verwerken. Bewaar bij een gesprek met meerdere beurten de eerdere definitieve antwoorden in de geschiedenis en laat eerdere denkstappen weg, behalve bij beurten met toolaanroepen: volgens de fabrikant moeten die daar bewaard blijven.

Native Function Calling ondersteunt gestructureerd toolgebruik, en Googles aankondiging beschrijft ook gestructureerde JSON-uitvoer. Definieer de taak, de beschikbare functie en het verwachte resultaat; de toepassing voert de gevraagde bewerking uit en geeft de uitvoer terug voor de volgende stap. Een programmeertaak kan vragen om code te genereren, aan te vullen of te corrigeren, terwijl een visuele assistent de teruggegeven tekst kan gebruiken om een grafiek of scherm toe te lichten. Een instructie voor een functieaanroep verschilt van een gekoppelde actie die daadwerkelijk is uitgevoerd.

De variabele beeldresolutie wordt geregeld via het budget voor visuele tokens. De gedocumenteerde opties zijn 70, 140, 280, 560 en 1,120 tokens. Lagere budgetten zijn geschikt voor classificatie of bijschriften; hogere budgetten bewaren meer detail voor OCR, documentverwerking en kleine tekst, met extra rekenwerk. Bepaal vóór het voorbereiden van de afbeelding of je de volledige scène of de exacte belettering nodig hebt. Een duidelijke uitsnede van een etiket kan nuttiger zijn voor een extractietaak dan een ongerichte vraag om elk detail van een volledige pagina te bekijken.

Google raadt temperature 1.0, top-p 0.95 en top-k 64 aan als samplingconfiguratie voor de familie. De modelkaart maakt onderscheid tussen training in meer dan 140 talen en ondersteuning zonder aanpassing voor meer dan 35 talen. Vermeld de antwoordtaal en geef in de opdracht expliciet aan welke domeinnamen, veldnamen of formules behouden moeten blijven. Het getal 256K is een contextspecificatie; de aangehaalde modelkaart legt voor deze editie geen afzonderlijke universele maximale uitvoerlengte vast.

Lever voor een opdracht rond documenten en code de relevante pagina-afbeelding, de geschreven vereiste en het bronfragment aan: “Lees de labels, leg uit hoe dit scherm afwijkt van de specificatie en stel een gerichte correctie voor in de aangeleverde code.” Vraag bij een grafiek om zichtbare waarden te onderscheiden van een afgeleide trend. Gemma’s modelkaart vermeldt beperkingen bij dubbelzinnig taalgebruik, zeer complexe taken en onjuiste of verouderde feitelijke uitspraken. Voeg daarom de gezaghebbende feiten toe waarop het gevraagde resultaat moet steunen, in plaats van te verwachten dat trainingskennis die aanlevert.

Selecteer via Ailoot deze exacte model-ID in /v1/chat/completions en geef de taak mee in messages. Elk bericht bevat een role en de bijbehorende content; houd de relevante instructie en het bronmateriaal samen. Verzamel het volledige JSON-antwoord of alle SSE-segmenten wanneer stream is ingeschakeld, en bewaar usage bij het geschreven resultaat.