Google: Gemma 4 31B (free)

Gemma 4 31B IT ist Google DeepMinds dichte, auf Anweisungen abgestimmte Ausgabe der offenen Gemma-4-Familie. Google positioniert das 31B-Modell mit Blick auf Modellqualität und aufgabenspezifische Anpassung, während die separate 26B-A4B-Ausgabe für effiziente Inferenz eine Mixture-of-Experts-Architektur nutzt. Diese Modellkarte behandelt die benannte, auf Anweisungen abgestimmte 31B-Ausgabe und weder deren vortrainierte Gewichte noch eine quantisierte Ableitung.

Die offizielle Architekturtabelle für das dichte Modell nennt 30,7 Milliarden Parameter, 60 Schichten, ein gleitendes Fenster von 1.024 Token und einen Kontext von 256K Token. Die Familie verbindet lokale Aufmerksamkeit innerhalb gleitender Fenster mit globaler Aufmerksamkeit, schließt mit einer globalen Schicht ab und verwendet für dieses Modell einen eigenen visuellen Encoder. Dieses Profil ist für Text- und Bildeingaben mit Textausgabe ausgelegt. Es handelt sich um Angaben zur Modellarchitektur; sie legen weder die Antwortzeit einer Anwendung fest noch bedeuten sie, dass die Audiounterstützung anderer Gemma-4-Größen vorhanden ist.

Der Kontext von 256K Token unterstützt Aufgaben, die umfangreichen Text mit visuellen Belegen verbinden. Bilder und Text können innerhalb eines Prompts abwechselnd erscheinen; der Hersteller empfiehlt für optimale Ergebnisse, Bildinhalte vor dem zugehörigen Text anzuordnen. Zu den visuellen Aufgaben gehören Objekterkennung, die Interpretation von Dokumentseiten, Bildschirm- und Oberflächenverständnis, Diagramme, mehrsprachige OCR, Handschrift und das Zeigen auf Bildbereiche. Die Ausgabe ist Text: extrahierte Inhalte, eine Erklärung, Code oder eine vorgeschlagene Werkzeugaktion.

Mit konfigurierbarem Denken kann das Modell vor der Antwort Schlussfolgerungen ziehen oder direkt antworten. Gemma 4 ergänzt die Rollen user und assistant um eine native system-Rolle. Googles Promptformat aktiviert das Denken mit dem Steuer-Token <|think|> im Systemprompt und trennt den Denkkanal von der endgültigen Antwort; der dokumentierte Prozessor kann diese Vorlage verarbeiten. Behalten Sie bei Gesprächen mit mehreren Runden die bisherigen endgültigen Antworten im Verlauf und lassen Sie frühere Gedankengänge weg. Ausgenommen sind Runden mit Werkzeugaufrufen: Hier sollen sie laut Hersteller erhalten bleiben.

Native Function Calling unterstützt den strukturierten Werkzeugeinsatz; Googles Beschreibung zur Veröffentlichung dokumentiert außerdem strukturierte JSON-Ausgaben. Definieren Sie die Aufgabe, die verfügbare Funktion und das erwartete Ergebnis; die Anwendung führt den angeforderten Vorgang aus und liefert dessen Ausgabe für den nächsten Schritt zurück. Eine Programmieraufgabe kann die Erstellung, Vervollständigung oder Korrektur von Code verlangen, während ein visueller Assistent anhand des zurückgegebenen Texts ein Diagramm oder einen Bildschirm erklären kann. Eine Anweisung zum Funktionsaufruf ist von einer tatsächlich ausgeführten angebundenen Aktion zu unterscheiden.

Die variable Bildauflösung wird über das Budget visueller Token gesteuert. Dokumentiert sind 70, 140, 280, 560 und 1.120 Token. Niedrigere Budgets eignen sich für Klassifikation oder Bildunterschriften; höhere Budgets bewahren mehr Details für OCR, Dokumentanalyse und kleine Schrift, erfordern jedoch mehr Rechenaufwand. Entscheiden Sie vor der Bildaufbereitung, ob Sie die Gesamtszene oder den genauen Wortlaut benötigen. Ein klarer Ausschnitt eines Etiketts kann für eine Extraktionsaufgabe nützlicher sein als die pauschale Aufforderung, jedes Detail einer ganzen Seite zu untersuchen.

Google empfiehlt für das Sampling der Modellfamilie temperature 1.0, top-p 0.95 und top-k 64. Die Modellkarte unterscheidet zwischen dem Training in mehr als 140 Sprachen und der sofort verfügbaren Unterstützung für mehr als 35 Sprachen. Geben Sie die Antwortsprache an und legen Sie im Briefing ausdrücklich fest, welche Domänennamen, Feldnamen oder Formeln erhalten bleiben sollen. Die Angabe 256K bezeichnet die Kontextgröße; die zitierte Modellkarte legt für diese Ausgabe keinen gesonderten universellen Höchstwert für die Ausgabelänge fest.

Übergeben Sie für eine Aufgabe mit Dokument und Code das betreffende Seitenbild, die schriftliche Anforderung und den Quellcodeausschnitt: „Lesen Sie die Beschriftungen, erklären Sie die Abweichungen dieses Bildschirms von der Spezifikation und schlagen Sie eine gezielte Korrektur am bereitgestellten Code vor.“ Bitten Sie bei einem Diagramm darum, sichtbare Werte von einem daraus abgeleiteten Trend zu trennen. Gemmas Modellkarte nennt Grenzen bei mehrdeutiger Sprache, sehr komplexen Aufgaben sowie falschen oder veralteten Tatsachenaussagen. Fügen Sie deshalb die maßgeblichen Fakten bei, die das gewünschte Ergebnis verwenden muss, statt sie vom Trainingswissen zu erwarten.

Wählen Sie in Ailoot unter /v1/chat/completions diese exakte Modell-ID und übergeben Sie die Aufgabe in messages. Jede Nachricht enthält eine Rolle und ihren Inhalt; halten Sie die relevante Anweisung und das Ausgangsmaterial zusammen. Erfassen Sie die vollständige JSON-Antwort oder bei aktiviertem stream sämtliche SSE-Segmente und speichern Sie usage zusammen mit dem schriftlichen Ergebnis.