Google: Gemma 4 31B (free)

Gemma 4 31B IT ist Google DeepMinds dichte, auf Anweisungen abgestimmte Ausgabe der offenen Gemma-4-Familie. Google stellt beim 31B-Modell Modellqualität und die Anpassung an eine Aufgabe in den Mittelpunkt, während die separate 26B-A4B-Ausgabe für effiziente Inferenz eine Mixture-of-Experts-Architektur nutzt. Diese Modellkarte betrifft die benannte, auf Anweisungen abgestimmte 31B-Ausgabe und nicht deren vortrainierte Gewichte oder eine quantisierte Ableitung.

Die offizielle Architekturtabelle für das dichte Modell nennt 30.7 Milliarden Parameter, 60 Schichten, ein gleitendes Fenster mit 1,024 Tokens und einen Kontext von 256K Tokens. Die Familie kombiniert lokale Sliding-Window-Attention mit globaler Attention, schließt mit einer globalen Schicht ab und verwendet für dieses Modell einen eigenen visuellen Encoder. Das daraus resultierende Profil ist für Text- und Bildeingaben mit Textausgabe ausgelegt. Diese Angaben betreffen die Modellarchitektur; sie legen weder die Antwortzeit einer Anwendung fest noch implizieren sie die Audiounterstützung anderer Gemma-4-Größen.

Der Kontext von 256K Tokens ermöglicht Aufgaben, die umfangreichen Text mit visuellen Belegen verbinden. Bilder und Text können in einem Prompt abwechselnd angeordnet werden; für optimale Ergebnisse empfiehlt der Hersteller, Bildinhalte vor dem zugehörigen Text zu platzieren. Zu den visuellen Aufgaben zählen Objekterkennung, die Interpretation von Dokumentseiten, das Verstehen von Bildschirmen und Benutzeroberflächen, Diagramme, mehrsprachige OCR, Handschrift und das Zeigen auf Bildbereiche. Die Ausgabe ist Text: extrahierter Inhalt, eine Erklärung, Code oder ein vorgeschlagener Werkzeugaufruf.

Konfigurierbares Denken ermöglicht es dem Modell, vor der Antwort zu überlegen oder direkt zu antworten. Gemma 4 ergänzt die Rollen user und assistant um eine native Rolle system. Googles Promptformat aktiviert das Denken mit dem Steuertoken <|think|> im Systemprompt und trennt den Denkkanal von der endgültigen Antwort; der dokumentierte Prozessor kann diese Vorlage verarbeiten. Behalten Sie bei Gesprächen mit mehreren Runden frühere endgültige Antworten im Verlauf und lassen Sie frühere Gedankengänge weg. Eine Ausnahme bilden Runden mit Werkzeugaufrufen: Hier sollen sie laut Hersteller erhalten bleiben.

Natives Function Calling unterstützt die strukturierte Nutzung von Werkzeugen; Googles Veröffentlichung beschreibt außerdem strukturierte JSON-Ausgaben. Definieren Sie die Aufgabe, die verfügbare Funktion und das erwartete Ergebnis; die Anwendung führt die angeforderte Operation aus und gibt deren Ausgabe für den nächsten Schritt zurück. Bei einer Programmieraufgabe kann es um das Erstellen, Vervollständigen oder Korrigieren von Code gehen, während ein visueller Assistent mit dem zurückgegebenen Text ein Diagramm oder einen Bildschirm erklären kann. Eine Anweisung zum Funktionsaufruf ist von einer angebundenen Aktion zu unterscheiden, die tatsächlich ausgeführt wurde.

Die variable Bildauflösung wird durch das Budget für visuelle Tokens gesteuert. Dokumentiert sind 70, 140, 280, 560 und 1,120 Tokens. Niedrigere Budgets eignen sich für Klassifizierung oder Bildbeschreibungen; höhere Budgets bewahren mehr Details für OCR, Dokumentanalyse und kleine Schrift, benötigen aber mehr Rechenleistung. Entscheiden Sie vor der Bildvorbereitung, ob die Gesamtszene oder der genaue Wortlaut wichtig ist. Ein klarer Ausschnitt eines Etiketts kann für die Extraktion hilfreicher sein als eine undifferenzierte Aufforderung, jedes Detail einer ganzen Seite zu prüfen.

Google empfiehlt für das Sampling der Modellfamilie temperature 1.0, top-p 0.95 und top-k 64. Die Modellkarte unterscheidet zwischen dem Training in mehr als 140 Sprachen und der sofort nutzbaren Unterstützung für mehr als 35 Sprachen. Geben Sie die Antwortsprache an und halten Sie Domainnamen, Feldnamen oder Formeln ausdrücklich im Briefing fest. Die Angabe 256K beschreibt den Kontext; die zitierte Modellkarte legt für diese Ausgabe kein separates, allgemeingültiges Maximum der Ausgabelänge fest.

Stellen Sie für eine Aufgabe mit Dokument und Code das relevante Seitenbild, die schriftliche Anforderung und den Quelltextausschnitt bereit: „Lesen Sie die Beschriftungen, erklären Sie, wie dieser Bildschirm von der Spezifikation abweicht, und schlagen Sie eine gezielte Korrektur am bereitgestellten Code vor.“ Bitten Sie bei einem Diagramm darum, sichtbare Werte von einem daraus abgeleiteten Trend zu trennen. Die Gemma-Modellkarte nennt Grenzen bei mehrdeutiger Sprache, sehr komplexen Aufgaben sowie falschen oder veralteten Tatsachenaussagen. Fügen Sie daher die maßgeblichen Fakten bei, auf denen das gewünschte Ergebnis beruhen muss, statt sie aus dem Trainingswissen zu erwarten.

Wählen Sie über Ailoot diese exakte Modell-ID in /v1/chat/completions und übergeben Sie die Aufgabe in messages. Jede Nachricht enthält eine role und ihren content; halten Sie die relevante Anweisung und das Ausgangsmaterial zusammen. Erfassen Sie die vollständige JSON-Antwort oder, bei aktiviertem stream, alle SSE-Segmente und speichern Sie usage zusammen mit dem schriftlichen Ergebnis.