BAAI: bge-large-en-v1.5

bge-large-en-v1.5 is BAAI’s grote Engelse editie voor dichte embeddings. Het zet een tekst om in een vector met 1024 dimensies voor het terugvinden van passages en semantische vergelijking. Versie 1.5 is de update van de ontwikkelaar die een bruikbaardere verdeling van overeenkomsten en beter zoeken zonder instructie beoogt. Large blijft een afzonderlijk checkpoint naast Base, Small, Chinese edities en het meertalige BGE-M3-model.

Zoeken naar passages voorbereiden

Voor een korte zoekvraag in langere documenten beveelt de ontwikkelaar de zoekvraaginstructie “Represent this sentence for searching relevant passages:” aan. Voeg die aan de zoekvraagkant toe; corpuspassages behouden hun eigen brontekst zonder die instructie. Voor andere toepassingen volstaat directe tekst. BAAI documenteert ook zoeken zonder het voorvoegsel in v1.5 en beveelt aan de voorbereiding te kiezen die het beste werkt voor de werkelijke taak.

Een praktische kennisverzameling kan de onderdelen van een Engelse technische handleiding indexeren. Een vraag over welke instelling het uitvoerformaat verandert, moet het onderdeel teruggeven dat die instelling en de bijbehorende voorwaarden uitlegt. Bewaar de kop, de relevante uitleg en de bronlocatie bij elke passage. Het model levert de numerieke representatie; de teruggegeven brontekst is wat een lezer of een latere RAG-stap gebruikt.

Representatie en vergelijking

Het directe coderingsvoorbeeld van de ontwikkelaar gebruikt de laatste verborgen toestand van het eerste CLS-token als samengevoegde embedding en normaliseert daarna de vector. Het inwendig product van genormaliseerde vectoren geeft de cosinusgelijkenis. Elke passage kan daardoor eenmaal worden voorbereid en opgeslagen voor vergelijking met binnenkomende zoekvraagvectoren, terwijl gewijzigd bronmateriaal een bijgewerkte representatie krijgt.

De 1024 dimensies bepalen de lengte van de uitvoervector. Ze verschillen van de Base-representatie met 768 dimensies en vormen geen garantie voor een compatibele gedeelde vectorruimte met een ander checkpoint. Bewaar het model en de voorbereidingsconventie bij de opgeslagen index. Een andere embeddingeditie kiezen vereist dat de representaties van het corpus en de zoekvragen samen worden gecontroleerd.

Laat de bron binnen het venster passen

De gedocumenteerde reekslengte is 512 tokens. Bereid een lange handleiding voor als samenhangende onderdelen in plaats van één te grote invoer. Bewaar een voorwaarde of uitzondering naast de regel waarop zij van toepassing is en geef voldoende context zodat een teruggevonden onderdeel op zichzelf te begrijpen is. Een toegevoegde zoekvraaginstructie neemt ook invoertokens in, dus het modelvenster geldt voor de volledige voorbereide invoer.

Een nuttige passagegrens kan een kop en de alinea’s omvatten die één gebruikersvraag beantwoorden. Bewaar de identificatie en versie van het bovenliggende document buiten de vector, zodat een resultaat naar de juiste bron te herleiden blijft. Gebruik voor een vergelijkingstaak de werkelijke te vergelijken teksten in plaats van ze te vervangen door niet-gerelateerde samenvattingen die het gezochte verschil verwijderen.

De score interpreteren

De ontwikkelaar waarschuwt ervoor absolute gelijkenis als universele regel voor semantische gelijkwaardigheid te gebruiken. De relatieve scorevolgorde staat centraal bij zoeken en een drempel moet worden afgestemd op de tekstverdeling van de eigen taak. Beoordeel kandidaatpassages voor vragen met bekende antwoorden en voor vragen waarvoor het antwoord ontbreekt. Dat laat zien of een teruggegeven onderdeel de vereiste informatie biedt in plaats van alleen op het onderwerp te lijken.

bge-large-en-v1.5 levert Engelse dichte vectoren. Een afzonderlijke reranker kan de volgorde van kandidaten verfijnen en een afzonderlijk taalmodel kan een antwoord uit de geselecteerde passages samenstellen. De bruikbare uitvoer van deze editie is een doorzoekbare representatie die aan haar brontekst is gekoppeld, met behoud van de exacte keuze voor Large v1.5 en de invoervoorbereiding.