BAAI: bge-large-en-v1.5

bge-large-en-v1.5 ist die große englischsprachige Edition für dichte Embeddings von BAAI. Sie bildet einen Text auf einen 1024-dimensionalen Vektor zur Suche nach Textpassagen und zum semantischen Vergleich ab. Version 1.5 ist die Aktualisierung des Herstellers für eine nützlichere Ähnlichkeitsverteilung und eine verbesserte Suche ohne Anweisung. Large bleibt ein eigenständiger Checkpoint, getrennt von Base, Small, chinesischsprachigen Editionen und dem mehrsprachigen Modell BGE-M3.

Richten Sie die Suche nach Textpassagen ein

Für eine kurze Suchanfrage in längeren Dokumenten empfiehlt der Hersteller die Abfrageanweisung „Represent this sentence for searching relevant passages:“. Fügen Sie sie auf der Abfrageseite hinzu; die Passagen des Korpus behalten ihren Quelltext ohne diese Anweisung. Bei anderen Anwendungen genügt der direkte Text. BAAI dokumentiert für v1.5 auch die Suche ohne Präfix und empfiehlt, die Vorbereitung zu wählen, die bei der tatsächlichen Aufgabe am besten funktioniert.

Eine praktische Wissenssammlung kann die Abschnitte eines englischsprachigen technischen Handbuchs indexieren. Eine Frage danach, welche Einstellung das Ausgabeformat ändert, sollte den Abschnitt zurückliefern, der diese Einstellung und ihre Bedingungen erklärt. Bewahren Sie Überschrift, relevante Erklärung und Quellenstelle zusammen mit jeder Passage auf. Das Modell liefert die numerische Darstellung; der zurückgegebene Quelltext wird von einem Leser oder einer späteren RAG-Stufe verwendet.

Darstellung und Abgleich

Das direkte Kodierungsbeispiel des Herstellers verwendet den letzten verborgenen Zustand des ersten CLS-Tokens als gepooltes Embedding und normalisiert anschließend den Vektor. Der Vergleich normalisierter Vektoren über ihr Skalarprodukt ergibt die Kosinusähnlichkeit. Jede Passage kann daher einmal aufbereitet und für den Vergleich mit eingehenden Abfragevektoren gespeichert werden, während geändertes Quellmaterial eine aktualisierte Darstellung erhält.

Die 1024 Dimensionen legen die Länge des Ausgabevektors fest. Sie unterscheiden sich von der 768-dimensionalen Base-Darstellung und belegen keinen kompatiblen gemeinsamen Vektorraum mit einem anderen Checkpoint. Speichern Sie Modell und Aufbereitungskonvention zusammen mit dem Index. Bei einem Wechsel der Embedding-Edition müssen die Darstellungen von Korpus und Abfragen gemeinsam geprüft werden.

Passen Sie die Quelle an das Kontextfenster an

Die dokumentierte Sequenzlänge beträgt 512 Token. Bereiten Sie ein langes Handbuch als zusammenhängende Abschnitte statt als eine übergroße Eingabe auf. Lassen Sie Bedingungen oder Ausnahmen bei der Regel, die sie näher bestimmen, und fügen Sie genügend Kontext hinzu, damit ein gefundener Abschnitt für sich verständlich bleibt. Eine zusätzliche Abfrageanweisung belegt ebenfalls Eingabetoken; das Kontextfenster des Modells betrifft also die gesamte aufbereitete Eingabe.

Eine sinnvolle Passage kann eine Überschrift und die Absätze enthalten, die eine Nutzerfrage beantworten. Bewahren Sie Kennung und Version des übergeordneten Dokuments außerhalb des Vektors auf, damit ein Ergebnis zur richtigen Quelle zurückverfolgt werden kann. Verwenden Sie bei Vergleichsaufgaben die tatsächlichen Vergleichstexte, statt sie durch sachfremde Zusammenfassungen zu ersetzen, die den gesuchten Unterschied entfernen.

Ordnen Sie den Ähnlichkeitswert ein

Der Hersteller warnt davor, absolute Ähnlichkeit als universelle Regel für semantische Gleichwertigkeit zu behandeln. Die relative Reihenfolge der Werte ist für die Suche entscheidend; ein Schwellenwert sollte anhand der Textverteilung der jeweiligen Aufgabe kalibriert werden. Prüfen Sie mögliche Treffer für Fragen mit bekannten Antworten und für Fragen, deren Antwort fehlt. Das zeigt, ob ein gefundener Abschnitt die benötigte Information liefert oder nur thematisch ähnlich ist.

bge-large-en-v1.5 liefert englischsprachige dichte Vektoren. Ein separater Reranker kann die Reihenfolge der Treffer verfeinern; ein separates Sprachmodell kann aus den ausgewählten Passagen eine Antwort formulieren. Die nutzbare Ausgabe dieser Edition ist eine durchsuchbare Darstellung mit Bezug zu ihrem Quelltext, bei der die genaue Wahl des Modells Large v1.5 und die Eingabeaufbereitung erhalten bleiben.