Intfloat: E5-Base-v2

E5-Base-v2 ist das englische Embedding-Modell von intfloat mit zwölf Schichten und einer 768-dimensionalen Repräsentation. Es wandelt vorbereiteten Text in einen numerischen Vektor für Informationssuche, semantische Vergleiche oder die Verwendung als Merkmale in einer anderen Aufgabe um. Der Base-v2-Checkpoint unterscheidet sich von der Large-v2-Ausgabe mit vierundzwanzig Schichten und 1024 Dimensionen sowie von den separat trainierten mehrsprachigen E5-Modellen.

Die trainierten Rollenpräfixe verwenden

E5 erwartet eine Rollenangabe am Anfang der Eingabe. Für die Passagensuche beginnt eine Frage mit „query:“ und ihre potenziell antwortrelevante Quelle mit „passage:“. Der Hersteller empfiehlt „query:“ auf beiden Seiten für symmetrische Aufgaben wie semantische Ähnlichkeit und Paraphrasensuche. Er empfiehlt dieses Präfix auch, wenn die Vektoren als Merkmale für Clustering oder Klassifikation verwendet werden.

Eine Feedback-Sammlung kann beispielsweise mehrere unterschiedlich formulierte Wünsche nach derselben Verbesserung enthalten. Kodieren Sie diese Datensätze mit der empfohlenen symmetrischen Vorbereitung und vergleichen oder clustern Sie anschließend die resultierenden Vektoren. Speichern Sie den Originalwortlaut und die Datensatzkennung bei jeder Repräsentation, damit ein Cluster anhand tatsächlicher Kundennachrichten und nicht als unerklärte Zahlengruppe untersucht werden kann.

Bereiten Sie für eine Suchsammlung Fragen und Quellpassagen mit ihren jeweiligen Rollen vor. Eine nützliche Anfrage lautet „query: Which setting changes the notification frequency?“. Die Korpuspassage behält die Erklärung und ihre relevanten Bedingungen. Das Präfix gehört zur trainierten Vorbereitung des Modells; der Hersteller weist darauf hin, dass sein Weglassen die Leistung mindert.

Die Repräsentation durch Pooling bilden und vergleichen

Das offizielle Beispiel berechnet einen Mittelwert der Token-Repräsentationen unter Berücksichtigung der Attention-Maske, schließt Padding aus und normalisiert dann den resultierenden Vektor. Ein Skalarprodukt zwischen normalisierten Embeddings liefert die Kosinusähnlichkeit. Die 768 Ausgabewerte beschreiben einen Text; sie sind keine Antwort, keine Klassenbezeichnung und kein paarweiser Reranker-Wert.

In einem Clustering-Workflow bildet eine andere Stufe Gruppen aus diesen Vektoren. In einem Klassifikations-Workflow nutzt eine andere Stufe sie als Eingabemerkmale. Diese Unterscheidung macht das Ergebnis leichter verständlich: Das Embedding repräsentiert den Datensatz, während die nachgelagerte Aufgabe eine Gruppe oder Bezeichnung bestimmt. Verwenden Sie für die verglichenen Repräsentationen durchgehend dasselbe Modell und dieselbe Vorbereitungskonvention.

Mit englischem Text und 512 Tokens arbeiten

Laut Modellkarte funktioniert diese Ausgabe nur für Englisch und kürzt lange Texte auf höchstens 512 Tokens. Bereiten Sie zusammenhängende Passagen innerhalb dieses Umfangs vor, einschließlich des erforderlichen Rollenpräfixes. Eine lange Rezension, ein Bericht oder ein Handbuch sollte nach sinnvollen Abschnitten aufgeteilt werden, statt als übergroße Eingabe eingebettet zu werden, deren Ende verloren geht.

Lassen Sie eine Überschrift bei den Sätzen, die sie einleitet, und erhalten Sie die Bedingung oder Ausnahme, die die Bedeutung einer Regel verändert. Behalten Sie bei kurzen Datensätzen wie Feedback die vollständige Nachricht bei, wenn sie hineinpasst. Eine beim Vektor gespeicherte Quellkennung und Version ermöglichen es, bei einer späteren Aktualisierung der Sammlung den richtigen Datensatz zu ersetzen.

Ähnlichkeit aufgabenbezogen interpretieren

Der Hersteller erklärt, dass die relative Reihenfolge der Kosinuswerte wichtiger ist als ein absoluter Wert. Ein Filterschwellenwert sollte anhand eigener Beispiele der Sammlung bewertet werden, und Vektorähnlichkeit ist keine kalibrierte Wahrscheinlichkeit für eine passende Bezeichnung oder eine richtige Antwort. Untersuchen Sie benachbarte Datensätze und bekannte Nichtübereinstimmungen, wenn Sie über die Verwendung der Vektoren entscheiden.

Das nützliche Ergebnis ist ein englischer Suchindex, eine Menge semantischer Vergleichsdaten oder numerische Textmerkmale, die mit ihren Quelldatensätzen verknüpft sind. Dieses Base-v2-Profil hat eigene Dimensionen, eigenes Pooling und eine eigene Rollenvorbereitung; die Vektorform oder Sprachabdeckung einer anderen E5-Ausgabe belegt keine Austauschbarkeit der Repräsentationen.