Google: Gemma 4 31B (free)

Gemma 4 31B IT ist Google DeepMinds instruktionsabgestimmte dichte Edition der offenen Gemma-4-Familie. Google richtet das 31B-Modell auf Modellqualität und die Anpassung an eine Aufgabe aus, während die separate Edition 26B A4B für eine effiziente Inferenz einen Mixture-of-Experts-Ansatz nutzt. Diese Karte beschreibt die genannte instruktionsabgestimmte 31B-Edition, nicht ihre vortrainierten Gewichte oder eine quantisierte Ableitung.

Die offizielle Architekturtabelle für das dichte Modell nennt 30.7 Milliarden Parameter, 60 Schichten, ein gleitendes Fenster von 1,024 Tokens und einen Kontext von 256K Tokens. Die Familie kombiniert lokale Sliding-Window-Attention mit globaler Attention, schliesst mit einer globalen Schicht ab und verwendet für dieses Modell einen eigenen visuellen Encoder. Das daraus entstehende Profil ist für Text- und Bildeingaben mit Textausgabe ausgelegt. Diese Angaben beschreiben die Modellarchitektur; sie legen weder die Antwortzeit einer Anwendung fest noch bedeuten sie, dass die Audiounterstützung anderer Gemma-4-Grössen ebenfalls vorhanden ist.

Der Kontext von 256K Tokens eignet sich für Aufgaben, die umfangreichen Text mit visuellen Belegen verbinden. Bilder und Text können in einem Prompt abwechselnd angeordnet werden; für die besten Ergebnisse empfiehlt der Hersteller, Bildinhalte vor dem zugehörigen Text zu platzieren. Zu den visuellen Aufgaben gehören Objekterkennung, die Auswertung von Dokumentseiten, das Verständnis von Bildschirminhalten und Benutzeroberflächen, Diagramme, mehrsprachige OCR, Handschrift und das Zeigen auf Bildbereiche. Die Ausgabe ist Text: extrahierte Inhalte, eine Erklärung, Code oder eine vorgeschlagene Werkzeugaktion.

Konfigurierbares Denken erlaubt dem Modell, vor der Antwort nachzudenken oder direkt zu antworten. Gemma 4 ergänzt die Rollen user und assistant um eine native system-Rolle. Googles Prompt-Format aktiviert das Denken mit dem Steuertoken <|think|> im System-Prompt und trennt den Denkkanal von der endgültigen Antwort; der dokumentierte Prozessor kann diese Vorlage verarbeiten. Behalten Sie bei Gesprächen über mehrere Runden die bisherigen endgültigen Antworten im Verlauf und lassen Sie frühere Gedankengänge weg. Eine Ausnahme sind Runden mit Werkzeugaufrufen: Laut Hersteller sollen die Gedankengänge dort erhalten bleiben.

Native Function Calling unterstützt den strukturierten Werkzeugeinsatz; Googles Einführung beschreibt zudem strukturierte JSON-Ausgaben. Definieren Sie die Aufgabe, die verfügbare Funktion und das erwartete Ergebnis; die Anwendung führt den angeforderten Vorgang aus und gibt dessen Ausgabe für den nächsten Schritt zurück. Eine Programmieraufgabe kann die Erstellung, Ergänzung oder Korrektur von Code verlangen, während ein visueller Assistent mit dem zurückgegebenen Text ein Diagramm oder einen Bildschirm erklären kann. Eine Anweisung für einen Funktionsaufruf ist von einer angebundenen Aktion zu unterscheiden, die tatsächlich ausgeführt wurde.

Die variable Bildauflösung wird über das visuelle Token-Budget gesteuert. Dokumentiert sind 70, 140, 280, 560 und 1,120 Tokens. Niedrigere Budgets eignen sich für Klassifikation oder Bildbeschreibungen; höhere Budgets erhalten mehr Details für OCR, das Parsen von Dokumenten und kleine Schrift, benötigen aber mehr Rechenleistung. Entscheiden Sie vor der Bildaufbereitung, ob Sie die Gesamtszene oder den genauen Wortlaut benötigen. Ein klarer Ausschnitt eines Etiketts kann für eine Extraktionsaufgabe hilfreicher sein als die pauschale Aufforderung, jedes Detail einer ganzen Seite zu prüfen.

Google empfiehlt temperature 1.0, top-p 0.95 und top-k 64 als Sampling-Konfiguration der Modellfamilie. Die Modellkarte unterscheidet zwischen dem Training in mehr als 140 Sprachen und der direkten Unterstützung von mehr als 35 Sprachen. Nennen Sie die gewünschte Antwortsprache und geben Sie im Briefing ausdrücklich an, welche Domänennamen, Feldnamen oder Formeln erhalten bleiben müssen. Die Angabe 256K bezeichnet den Kontext; die zitierte Modellkarte legt für diese Edition keine separate, allgemeingültige maximale Ausgabelänge fest.

Stellen Sie für eine Aufgabe zu Dokumenten und Code das relevante Seitenbild, die schriftliche Anforderung und den Quellcodeausschnitt bereit: «Lesen Sie die Beschriftungen, erklären Sie die Abweichungen dieses Bildschirms von der Spezifikation und schlagen Sie eine gezielte Korrektur am bereitgestellten Code vor.» Bitten Sie bei einem Diagramm darum, sichtbare Werte von einem abgeleiteten Trend zu trennen. Gemmas Modellkarte nennt Grenzen bei mehrdeutiger Sprache, sehr komplexen Aufgaben sowie falschen oder veralteten Tatsachenangaben. Fügen Sie deshalb die massgeblichen Fakten bei, auf denen das gewünschte Ergebnis beruhen muss, statt sich dafür auf das Trainingswissen zu verlassen.

Wählen Sie über Ailoot diese genaue Modell-ID in /v1/chat/completions und übermitteln Sie die Aufgabe in messages. Jede Nachricht enthält eine role und ihren content; halten Sie die relevante Anweisung und das Ausgangsmaterial zusammen. Erfassen Sie die vollständige JSON-Antwort oder bei aktiviertem stream sämtliche SSE-Segmente und bewahren Sie usage zusammen mit dem schriftlichen Ergebnis auf.