Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B ist Qwens Text-Embedding-Modell mit 8 Milliarden Parametern, aufgebaut auf dem dichten Qwen3-Basismodell. Es stellt Text als numerische Vektoren dar, statt Gesprächsantworten zu erzeugen. Qwen nennt Textsuche, Codesuche, Klassifikation, Clustering und das Finden paralleler Texte als unterstützte Anwendungsgebiete. Ein Suchsystem kann diese Vektoren nutzen, um eine Frage mit relevanten Passagen zu vergleichen; eine Dokumentensammlung kann damit semantisch verwandtes Material finden oder Datensätze in Gruppen ordnen.

Das konkrete Modell unterstützt eine Sequenzlänge von 32K Tokens und Embeddings mit bis zu 4.096 Dimensionen. Es unterstützt zudem benutzerdefinierte Ausgabedimensionen von 32 bis 4.096 durch Matryoshka Representation Learning. Die Vektorlänge wird damit zu einer bewussten Entwurfsentscheidung: Ein kürzerer Vektor verändert die Größe der Darstellung, während die vollständige Ausgabe die maximale Dimensionalität des Modells bewahrt. Halten Sie die gewählte Dimension für Dokumente und Suchanfragen, die in einem Index verglichen werden, konsistent. Qwen3-Embedding-4B ist eine separate Ausführung mit einer anderen maximalen Dimension, kein austauschbarer Vektorlieferant für eine bestehende 8B-Sammlung.

Der Hersteller beschreibt die Unterstützung von mehr als 100 Sprachen, einschließlich Programmiersprachen, sowie mehrsprachige, sprachübergreifende und codebezogene Suche. Eine praktische Sammlung kann Dokumente in mehreren Sprachen enthalten, während Suchanfragen nach der relevanten Bedeutung suchen, oder Quellcodepassagen, die für eine natürlichsprachliche Frage indexiert wurden. Behalten Sie wichtige Kennungen, Titel und Fachbegriffe in der Eingabe. Lassen Sie bei Code die begleitende Erklärung der Funktion oder des Moduls beim Ausschnitt, wenn dieser Kontext Teil der Frage ist. Die Ausgabe bleibt eine Vektordarstellung; den passenden Dokumenttext zurückzugeben, ist der nächste Schritt der Suchanwendung.

Das Modell berücksichtigt Anweisungen. Qwen empfiehlt eine an die Suchaufgabe angepasste Anweisung in einem Satz und empfiehlt für mehrsprachige Nutzung, diese Anweisung auf Englisch zu schreiben. Das direkte Beispiel formatiert eine Anfrage mit Instruct: gefolgt von der Aufgabenbeschreibung und Query: gefolgt von der Frage. Die zu durchsuchenden Dokumente benötigen in diesem Beispiel nicht dasselbe Anweisungspräfix. Eine passende eigene Aufgabenbeschreibung könnte das Finden technischer Passagen zur Erklärung eines Nutzerfehlers beschreiben und anschließend die konkrete Fehlerbeschreibung in die Anfrage aufnehmen. Die Anweisung beschreibt, welche Art semantischer Beziehung die Suche bevorzugen soll.

Qwens Beispiele kodieren Suchanfragen und Dokumente separat, vergleichen ihre Vektoren mit Kosinusähnlichkeit und zeigen ein Verfahren auf niedrigerer Ebene, das den verborgenen Zustand des letzten Tokens herausgreift und das Embedding vor einem Vergleich per Skalarprodukt normalisiert. Ein nützlicher Ablauf verknüpft den Vektor jeder Passage mit ihrer Quellenkennung, vergleicht eine vorbereitete Anfrage mit den gespeicherten Vektoren und gibt die entsprechenden Passagen in der Reihenfolge ihrer Ähnlichkeit zurück. Die Kürzung auf 8.192 Tokens im Beispiel ist eine gewählte Einstellung der Eingabeverarbeitung und unterscheidet sich von der dokumentierten Sequenzlänge des Modells von 32K. Prüfen Sie bei der Vorbereitung langer Eingaben, was erhalten bleibt.

Embedding- und Reranking-Modelle sind unterschiedliche Komponenten der Qwen-Veröffentlichung. Ein Embedding-Modell stellt ein einzelnes Textsegment dar und ermöglicht eine erste Ähnlichkeitssuche. Ein separates Reranking-Modell bewertet die Beziehung zwischen einer Anfrage und Kandidatenpassagen und kann ihre Reihenfolge verfeinern. Qwen beschreibt die Kombination beider Module, doch Qwen3-Embedding-8B selbst liefert Embeddings, keine Relevanzbewertung eines Rerankers und keine schriftliche Antwort. Behalten Sie für Suche mit anschließender Antwort den gefundenen Quelltext bei und übergeben Sie diese Belege an den antwortenden Schritt. Wählen Sie für die durchsuchte Sammlung ein konsistentes Modell, eine Dimension und eine Anweisung für die Suchanfrage und behalten Sie diese bei.