Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B ist die 4B-Ausgabe für Text-Embeddings in Qwens Embedding- und Reranking-Familie. Auf Grundlage des dichten Qwen3-Basismodells wandelt es einen Textabschnitt in eine numerische Darstellung seiner Bedeutung um. Qwen nennt Textsuche, Codesuche, Klassifikation, Clustering und Bitext-Mining als Anwendungsbereiche. Es ist nützlich, wenn eine Anwendung verwandte Passagen finden, ähnliche Datensätze gruppieren oder Texte sprachübergreifend vergleichen muss. Die Ausgabe des Modells ist ein Embedding-Vektor, keine Gesprächsantwort und kein umgeschriebenes Dokument.

Diese genaue Ausgabe hat eine Sequenzlänge von 32K Token und eine Embedding-Dimension von bis zu 2.560. Durch Matryoshka Representation Learning unterstützt sie anpassbare Ausgabedimensionen von 32 bis 2.560. Die gewählte Vektorlänge beeinflusst die Speicherung und den Vergleich der Darstellung. Verwenden Sie deshalb innerhalb einer Sammlung dieselbe Länge für Anfrage- und Dokumentvektoren. Qwen3-Embedding-8B hat eine andere Modellgröße und maximal 4.096 Dimensionen; weder diese Ausgabegröße noch die Identität des 8B-Modells übertragen sich auf diese 4B-Ausgabe. Ein bestehender Index sollte seine eigenen konsistenten Darstellungseinstellungen beibehalten.

Der Hersteller beschreibt die Unterstützung von mehr als 100 Sprachen, einschließlich Programmiersprachen, mit mehrsprachiger und sprachübergreifender Suche sowie Codesuche. Eine beispielhafte Suche in einem Hilfecenter kann die Frage eines Nutzers mit Passagen in mehreren Sprachen vergleichen und anschließend die thematisch passenden Originalpassagen zurückgeben. Eine Codesuche kann eine Beschreibung in natürlicher Sprache mit relevanten Funktionen und ihrer Dokumentation vergleichen. Erhalten Sie bei der Textvorbereitung aussagekräftige Überschriften, Fachbegriffe und Kennungen und halten Sie jede dargestellte Passage mit ihrer Quelle verknüpft, damit die Anwendung das passende Material anzeigen kann.

Qwen3-Embedding-4B berücksichtigt Anweisungen. Qwen empfiehlt, jeder Suchanfrage eine auf die gewünschte Suchbeziehung zugeschnittene Aufgabenbeschreibung in einem Satz hinzuzufügen, und empfiehlt für mehrsprachige Szenarien englische Anweisungen. Im direkten Beispiel steht Instruct: vor der Aufgabenbeschreibung und Query: vor dem Anfragetext. Die Suchdokumente werden ohne diese Anfrageanweisung codiert. Eine praktische eigene Anweisung kann festlegen, Dokumentationspassagen zu finden, die einen gemeldeten Fehler erklären, oder Quellcodeauszüge, die das beschriebene Verhalten implementieren. Dies richtet die Darstellung auf die Frage der Anwendung aus, statt das Modell um eine ausformulierte Antwort zu bitten.

Die offiziellen Beispiele codieren Anfrage- und Dokumenttexte, vergleichen ihre Embeddings anhand der Kosinusähnlichkeit und zeigen das Pooling des verborgenen Zustands des letzten Tokens mit anschließender Normalisierung. In diesem Beispiel auf niedrigerer Ebene wird die Eingabe bei einer gewählten Einstellung von 8.192 Token gekürzt; die dokumentierte Modellsequenzlänge bleibt 32K. Entscheiden Sie bei langem Material, welche Passagen dargestellt werden sollen, und stellen Sie sicher, dass die Kürzung nicht unbemerkt den Teil verwirft, den die Anfrage benötigt. Speichern Sie Vektoren mit stabilen Quellverweisen, vergleichen Sie die vorbereitete Anfrage mit der Sammlung und geben Sie die zugehörigen Passagen nach Ähnlichkeit geordnet zurück.

Qwens Embedding-Modell verwendet einen Dual-Encoder-Ansatz, während seine separaten Reranking-Modelle einen Cross-Encoder zur Bewertung von Anfrage-Dokument-Paaren einsetzen. Die Veröffentlichung beschreibt den gemeinsamen Einsatz dieser Module: Embeddings finden erste Kandidaten, und ein Reranker kann anschließend deren Reihenfolge verfeinern. Qwen3-Embedding-4B selbst liefert die Darstellung eines einzelnen Textes. Sein Vektor ist weder ein Reranker-Score noch eine überprüfte Aussage oder eine erzeugte Antwort. Wenn der abschließende Ablauf Fragen anhand abgerufenen Materials beantwortet, bleiben die ausgewählten Quellpassagen die Belege, die an diesen späteren Schritt übergeben werden.