BAAI: bge-base-en-v1.5

bge-base-en-v1.5 is het Engelse dense embeddingmodel van BAAI in basisformaat. Het zet elke tekst om in een 768-dimensionale numerieke representatie voor informatieopvraging en semantische vergelijking. Het model behoort tot de BGE-v1.5-reeks, die de verdeling van gelijkenisscores van de eerdere familie aanpakt en informatieopvraging verbetert wanneer geen instructie wordt meegegeven. De uitvoer is een vector waarmee teksten worden vergeleken of relevante passages worden gevonden.

Bereid zoekvragen en passages voor

Voor een korte zoekvraag naar langere passages beveelt BAAI aan de vraag vooraf te laten gaan door “Represent this sentence for searching relevant passages:”. De corpuspassages krijgen die instructie niet. Voor andere taken kan de oorspronkelijke tekst rechtstreeks worden ingebed. De maker merkt op dat v1.5 ook zonder instructie werkt, dus de voorbereiding moet op de taak worden afgestemd in plaats van het prefix als de enige geldige invoer te behandelen.

Een praktische zoekverzameling kan hulpartikelen, productuitleg of technische instructies bevatten. Een zoekvraag zoals “How do I change the export format?” moet de passage ophalen die die handeling beschrijft. Bewaar de sectiekop, relevante voorwaarden en daadwerkelijke brontekst samen. Sla de identifier en locatie van de passage bij de vector op, zodat een zoekresultaat iets teruggeeft dat de gebruiker kan lezen of een latere antwoordfase kan citeren.

Vectorformaat en vergelijking

De gedocumenteerde representatie gebruikt de laatste verborgen toestand van het eerste token, ook het CLS-token genoemd, als zinsembedding. De voorbeelden van de fabrikant normaliseren de vector en vergelijken genormaliseerde embeddings met een inproduct, gelijkwaardig aan cosinusgelijkenis. De 768 dimensies vormen de omvang van de uitvoerrepresentatie van dit model; ze zijn geen selecteerbare contextlengte of budget voor tekstgeneratie.

Gebruik hetzelfde model en dezelfde voorbereidingsconventie voor de zoekvraag- en corpusvectoren die worden vergeleken. Een praktische controle is om voor een kleine verzameling daadwerkelijke gebruikersvragen bekende antwoorddragende passages op te halen en daarna de geretourneerde tekst te onderzoeken. Een compatibele vectorvorm laat een index de representatie opslaan, terwijl de bronpassage vaststelt wat het resultaat daadwerkelijk zegt.

Invoerlengte en documentvoorbereiding

De gedocumenteerde sequentielengte van het model is 512 tokens. Een lange bron moet daarom vóór het inbedden worden verdeeld in samenhangende, antwoorddragende passages. Bewaar definities en uitzonderingen bij de uitspraak waarop ze betrekking hebben en behoud de koppeling van een passage aan het bovenliggende document. De in te bedden tekst omvat elke toegevoegde instructie of kop, dus een compacte voorbereiding laat meer ruimte over voor bruikbare broninhoud.

Kies bij een rapport of handleiding grenzen rond een sectie of een kleine groep samenhangende alinea's. Een passage met alleen een titel of een fragment zonder onderwerp kan na het ophalen moeilijk te interpreteren zijn. Bewaar de oorspronkelijke tekst en een bronversie, zodat een indexupdate het bijbehorende materiaal kan vervangen wanneer het document verandert.

Scores en bruikbare uitvoer

BAAI waarschuwt dat absolute gelijkeniswaarden geen universele drempels zijn om te besluiten dat twee teksten hetzelfde betekenen. De relatieve rangschikking is belangrijk en een filterdrempel moet worden gekozen op basis van de verdeling in de eigen taakgegevens. Een hoge vectorgelijkenis is een zoeksignaal in plaats van verificatie van de feitelijke inhoud van de passage.

Het bruikbare resultaat is een Engelse passage-index, een verzameling zoekvraagvectoren of numerieke kenmerken voor semantische vergelijking. Een afzonderlijke reranker kan opgehaalde kandidaten verfijnen en een afzonderlijke generatiefase kan uit hun tekst een antwoord schrijven. Dit exacte Engelse basismodel v1.5 blijft onderscheiden van BGE Large, Chinese edities en de meertalige en hybride zoekprofielen van BGE-M3.