Blog

Kleine Sprachmodelle erklärt

Markdown

Was ein Sprachmodell klein macht, was Parameter und effektive Parameter bedeuten, warum kleine Modelle auf Smartphones passen und welche Fähigkeiten sie einbüßen.

Was ist ein kleines Sprachmodell?

Ein kleines Sprachmodell (SLM) ist ein Sprachmodell, das kompakt genug ist, um auf alltäglicher Hardware wie einem Smartphone oder Laptop statt in einem Rechenzentrum zu laufen. Eine allgemein anerkannte Grenze gibt es nicht: Modelle mit einigen Milliarden Parametern oder weniger werden üblicherweise als klein bezeichnet, und eine Übersichtsstudie aus dem Jahr 2024 verwendet eine Spanne von 100 Millionen bis 5 Milliarden.

Kleine und große Sprachmodelle funktionieren auf dieselbe Weise. Beide sind neuronale Netze, fast immer Transformer, die darauf trainiert wurden, das nächste Texttoken vorherzusagen, und beide werden nach dem Vortraining so angepasst, dass sie Anweisungen befolgen; die oben genannte Übersicht behandelt genau solche Decoder-only-Transformer. Der Unterschied liegt in der Größe. Ein Modell, das auf ein Smartphone passt, hat einige Milliarden Parameter, während führende Cloudmodelle viel größer sind. Deshalb enthält ein kleines Modell weniger Wissen und hat weniger Kapazität zum Schlussfolgern (siehe „Wo stoßen kleine Modelle an ihre Grenzen?“). Kleine Modelle machen KI direkt auf dem Gerät praktisch nutzbar.

Die Größe ist nicht der einzige Faktor für die Qualität. Die Qualität eines kleinen Modells hängt daher ebenso von seinem Training wie von seiner Größe ab. Es kann durch Destillation von einem größeren Modell lernen, bei der es darauf trainiert wird, die Ausgaben des größeren Modells nachzuahmen, und profitiert von sorgfältig ausgewählten Daten: phi-1, ein Codierungsmodell mit 1,3 Milliarden Parametern, das größtenteils mit Daten in „Lehrbuchqualität“ trainiert wurde, erreichte 50.6% pass@1 beim Codierungsbenchmark HumanEval.

Was bedeuten „Parameter“ und „effektive Parameter“?

Parameter sind die Zahlenwerte, die ein Modell während des Trainings lernt; ihre Anzahl ist das übliche Maß für seine Größe: „1.7B“ in Qwen3 1.7B bedeutet etwa 1,7 Milliarden. „Effektive Parameter“, das „E“ in Googles Gemma 4 E2B und E4B, bezeichnet die Parameter, mit denen das Modell rechnet, und lässt große Embedding-Tabellen aus, auf die es lediglich zugreift.

Die meisten Parameter befinden sich in den Gewichtsmatrizen der Attention- und Feed-Forward-Schichten eines Transformers, die jedes Token durchläuft. Ein separater Block, die Embeddings, bildet jedes Token des Vokabulars auf einen Vektor ab und kann bei einem kleinen Modell einen großen Anteil der Gesamtzahl ausmachen. Die Embedding-Tabelle von Qwen3 1.7B hat 151,936 Zeilen (das konfigurierte Vokabular, aufgefüllt über die 151,669 Einträge des Tokenizers hinaus) mit 2,048 Dimensionen, also etwa 311 Millionen Embedding-Parameter. Das stimmt mit der Modellkarte überein, die insgesamt 1,7 Milliarden Parameter und 1,4 Milliarden außerhalb der Embeddings aufführt 7. Skalierungsstudien zählen häufig nur die Parameter außerhalb der Embeddings.

Die E-Serie von Gemma 4 führt diese Idee weiter. Googles Modellkarte erklärt: „Das ‚E‘ in E2B und E4B steht für ‚effective‘“: Die Modelle verwenden Per-Layer Embeddings (PLE), wodurch „jede Decoder-Schicht ein eigenes kleines Embedding für jedes Token erhält“. Außerdem heißt es: „Diese Embedding-Tabellen sind groß, werden aber nur für schnelle Abfragen verwendet. Deshalb ist die Anzahl der effektiven Parameter viel kleiner als die Gesamtzahl“ 8. Laut Modellkarte hat Gemma 4 E2B 2,3 Milliarden effektive Parameter und 5,1 Milliarden einschließlich Embeddings; E4B hat 4,5 Milliarden effektive Parameter und 8 Milliarden einschließlich Embeddings.

Dieser Unterschied ist auf einem Smartphone wichtig, weil Abfragen Speicher, aber wenig Rechenleistung benötigen und die Laufzeitumgebung die Tabellen im Speicherplatz belassen kann. „Effektiv“ ist außerdem etwas anderes als „aktiv“: Gemma 4 26B A4B ist ein Mixture-of-Experts-Modell mit 25,2 Milliarden Parametern, von denen während der Inferenz 3,8 Milliarden aktiv sind 8.

Warum passen kleine Modelle auf Smartphones?

Die Gewichte eines Modells benötigen ungefähr so viel Speicher wie die Anzahl der Parameter multipliziert mit der Zahl der pro Parameter gespeicherten Bits und geteilt durch acht. Bei 4 Bits benötigen 1,7 Milliarden Parameter etwa 0,85 GB. Damit bleibt auf einem Smartphone mit 4 GB RAM Platz für Android und andere Apps.

Die Anzahl der Parameter und die Präzision sind die beiden Stellschrauben. Abbildung 1 zeigt die Rechnung für Qwen3 1.7B, von 32-Bit-Gleitkommazahlen bis hin zu einer 4-Bit-Modelldatei.

  1. Als 32-Bit-Gleitkommazahlen gespeichert, benötigen 1,7 Milliarden Parameter 6,8 GB.
  2. Bei 16 Bits benötigen sie 3,4 GB.
  3. Bei 8 Bits benötigen sie 1,7 GB. Jede Halbierung der Bits pro Gewicht halbiert den benötigten Speicher für die Gewichte.
  4. Bei 4 Bits sind es etwa 0,85 GB. Ein halbes Byte pro Gewicht macht ein Modell dieser Größe auf einem Smartphone mit 4 GB praktisch nutzbar.
  5. Eine 4-Bit-Modelldatei kann größer sein als die Rohgewichte. Blockskalierungen und andere gespeicherte Daten erhöhen ihre Größe.
Abbildung 1. Speicherbedarf für die Gewichte von Qwen3 1.7B in dezimalen Gigabyte. Die blauen Balken werden als Parameter × Bits ÷ 8 für 1,7 Milliarden Parameter berechnet und berücksichtigen nur die Gewichte; ein laufendes Modell benötigt außerdem Speicher für seinen Key-Value-Cache und die Laufzeitumgebung. Der orangefarbene Balken zeigt die heruntergeladene Modelldatei.
PräzisionBits pro ParameterUngefährer Speicherbedarf der Gewichte
32-Bit-Gleitkommazahl326,8 GB
16-Bit-Gleitkommazahl163,4 GB
8-Bit-Ganzzahl81,7 GB
4-Bit-Ganzzahl40,85 GB

Smartphone-taugliche Modelle kombinieren aus diesem Grund einige Milliarden Parameter mit 4-Bit- oder gemischt präzisen Gewichten; Quantisierung verringert den für die Gewichte benötigten Speicherplatz.

Die Gewichte machen nicht den gesamten Speicherbedarf aus. Ein laufendes Modell benötigt außerdem Speicher für seinen Key-Value-Cache, der mit der Länge des Kontextfensters wächst, und für die Laufzeitumgebung selbst. Für die Geschwindigkeit gilt dieselbe Rechnung: Für jedes neue Token müssen die Modellgewichte aus dem Speicher gelesen werden. Weniger und kleinere Gewichte bedeuten daher schnellere Antworten auf demselben Smartphone.

Was können kleine Modelle gut?

Kleine Modelle eignen sich gut für Aufgaben, bei denen die benötigten Informationen in der Eingabeaufforderung oder im Allgemeinwissen enthalten sind: Texte umformulieren, zusammenfassen, Entwürfe verfassen, Inhalte erklären und Fragen anhand bereitgestellter Textpassagen beantworten. Da sie auf dem Gerät laufen, können sie auch ohne Netzwerkverbindung antworten, ohne die Eingabeaufforderung an einen Server zu senden.

Googles Modellkarte bezeichnet die Gemma-4-Familie als „gut geeignet für Schlussfolgerungen, agentische Arbeitsabläufe, Codierung und multimodales Verständnis“. E2B und E4B nehmen Texte, Bilder und Audio als Eingabe an 8. Dies sind die eigenen Beschreibungen und Benchmark-Ergebnisse der Entwickler; wie gut eine bestimmte Aufgabe auf einem bestimmten Smartphone funktioniert, muss weiterhin getestet werden.

Die passenden Texteingaben helfen bei Dingen, die ein kleines Modell nicht weiß. Retrieval-Augmented Generation fügt Textpassagen hinzu, die zum Zeitpunkt der Frage abgerufen werden. So arbeitet das Modell mit Quellen statt aus dem Gedächtnis. Kleine Modelle sind außerdem im Betrieb gut vorhersehbar: Es fallen keine Serverkosten pro Frage an, es gibt keine Warteschlange, und nach dem Herunterladen sind sie nicht mehr von einer Verbindung abhängig.

Wo stoßen kleine Modelle an ihre Grenzen?

Kleine Modelle verfügen über weniger Wissen, sind bei langem oder mehrstufigem Schlussfolgern schwächer und bewältigen lange Kontexte schlechter als größere Modelle. Wie alle Sprachmodelle können sie außerdem Falsches flüssig und überzeugend formulieren.

Dieses Muster zeigt sich innerhalb einer einzigen Modellfamilie. Auf Googles Modellkarte erreicht Gemma 4 E2B 60.0% beim Wissens- und Schlussfolgerungsbenchmark MMLU Pro, E4B erreicht 69.4% und das Gemma-4-Modell mit 31 Milliarden Parametern 85.2%. Beim GPQA Diamond, einer Sammlung naturwissenschaftlicher Fragen auf Graduiertenniveau, liegen die Ergebnisse bei 43.4%, 58.6% und 84.3% 8. Dies sind Googles Ergebnisse für seine Modelle.

Kleine Modelle können sich auch in Wiederholungen festfahren. Qwens Modellkarte warnt, dass gieriges Decoding „zu einer Leistungsminderung und endlosen Wiederholungen führen kann“ 7.

Warum übernehmen kleine Modelle die Form ihrer Anweisungen?

Kleine Modelle neigen dazu, neben dem Inhalt auch die Form einer Eingabeaufforderung nachzuahmen. Eine lange, strukturierte Systemaufforderung kann daher dazu führen, dass die Struktur in jeder Antwort wieder auftaucht.

Auf eine Eingabeaufforderung, die dem Modell sagte, es solle „mit der direkten Antwort beginnen und dann nützliche Details hinzufügen“, folgten Antworten mit fett gedruckten Bezeichnungen: „Direkte Antwort:“ und „Nützliche Details:“. Die Anweisung war als Hinweis zum Inhalt gemeint; das Modell behandelte sie als Vorlage.

Wie funktionieren Denkmodi bei kleinen Modellen?

Ein Denkmodus veranlasst das Modell, vor seiner endgültigen Antwort Zwischenschritte der Schlussfolgerung auszugeben. Bei mehrstufigen Problemen braucht es dafür mehr Zeit und Tokens, um sorgfältigere Ergebnisse zu liefern. Sowohl Qwen3 als auch Gemma 4 bieten diese Funktion als Umschalter innerhalb desselben Modells an und nicht als separates Schlussfolgerungsmodell.

Die Idee stammt aus dem Chain-of-Thought-Prompting. Neuere kleine Modelle werden darauf trainiert, Schlussfolgerungen zu ziehen; bei Qwen3 geschieht dies teilweise durch Lernen von den größeren Modellen.

Der Umschalter ist Teil der Eingabeaufforderung. Qwen3 1.7B denkt standardmäßig und gibt seine Schlussfolgerungen in einem <think>…</think>-Block aus. Entwickler schalten das Denken mit der Einstellung enable_thinking aus, und Benutzer können einer Nachricht /think oder /no_think hinzufügen, um den Modus von einer Gesprächsrunde zur nächsten zu ändern 7. Gemma 4 aktiviert das Denken, wenn seine Systemaufforderung mit einem <|think|>-Token beginnt 8.

Denken kostet Zeit und Kontext, weil Schlussfolgerungstokens zur Ausgabe des Modells gehören und dessen Kontextfenster beanspruchen. Wenn ein Modell so eingerichtet ist, dass es seine Schlussfolgerungen offenlegt, erscheinen diese vor der Antwort. Das Verhalten hängt jedoch vom Modell und der Anwendung ab.

Wie unterscheiden sich Qwen3 1.7B, Gemma 4 E2B und Gemma 4 E4B?

Die drei Modelle unterscheiden sich in Größe, Eingaben und Kontextlänge. Qwen3 1.7B hat 1,7 Milliarden Parameter und nimmt nur Text an. Google gibt für Gemma 4 E2B und E4B 2,3 beziehungsweise 4,5 Milliarden effektive Parameter an; beide nehmen Text, Bilder und Audio als Eingabe an. Alle drei werden unter Apache 2.0 veröffentlicht.

Qwen3 1.7BGemma 4 E2BGemma 4 E4B
EntwicklerAlibaba (Qwen-Team)Google DeepMindGoogle DeepMind
Parameter1.7B, davon 1,4 Milliarden außerhalb der Embeddings2,3B effektiv, 5,1B mit Embeddings4,5B effektiv, 8B mit Embeddings
Schichten283542
Kontextlänge32,768 Tokens128K Tokens128K Tokens
EingabeTextText, Bild, AudioText, Bild, Audio
DenkmodusJa, standardmäßig eingeschaltetJaJa
LizenzApache 2.0Apache 2.0Apache 2.0

Tabelle 1. Spezifikationen aus den Modellkarten für Qwen3-1.7B von Qwen und Gemma 4 von Google, abgerufen am 5. Oktober 2026 7 8.

Quellen

  1. Qwen. „Qwen3-1.7B.“ Modellkarte und Konfiguration, Hugging Face. Abgerufen am 5. Oktober 2026. huggingface.co/Qwen/Qwen3-1.7B
  2. Google DeepMind. „Gemma 4-Modellkarte.“ Google AI for Developers. Abgerufen am 5. Oktober 2026. ai.google.dev/gemma/docs/core/model_card_4

Setzen Sie diesen Leitfaden mit Ailoot um

Verbinden Sie KI-Modelle über eine einzige Ailoot-API mit Ihren Anwendungen, Agents und Automatisierungen. Wählen Sie das passende Modell für Ihre Aufgabe und folgen Sie der Ailoot-Dokumentation, um loszulegen.