bge-reranker-v2-m3

BGE Reranker v2 M3 is een meertalig relevantiemodel dat op BGE-M3 is gebouwd. Het ontvangt een zoekvraag samen met een kandidaatpassage en geeft een score voor hun onderlinge relatie terug. BAAI positioneert deze editie als een efficiënte meertalige reranker, onder meer voor informatieopvraging in het Chinees en Engels, wanneer een zoekapplicatie een bestaande lijst met kandidaten moet verfijnen.

Relevantie van een zoekvraag-passagepaar

Een cross-encoder verwerkt beide teksten gezamenlijk, zodat hun inhoud op elkaar kan inwerken voordat de relevantiescore wordt geproduceerd. Dit verschilt van een embeddingmodel, dat teksten onafhankelijk codeert voor herbruikbare vectorvergelijkingen. De uitvoer van de reranker is een scalaire score voor een specifiek paar, in plaats van een documentvector of een geschreven antwoord.

Gebruik het model nadat een eerste zoekstap plausibele passages heeft geselecteerd. Koppel de vraag aan elke kandidaat en rangschik de kandidaten op basis van de resulterende scores. Zo richt de gedetailleerdere vergelijking zich op een beheersbare voorselectie, in plaats van een cross-encoder elke passage in een grote verzameling te laten onderzoeken.

De v2 M3-editie

De ontwikkelaar noemt BGE-M3 als basismodel en meertalige ondersteuning als een van de belangrijkste kenmerken. Binnen de v2-rerankerfamilie is M3 de efficiënte meertalige optie; de varianten op basis van Gemma en met laagselectie zijn afzonderlijke modellen met andere implementatiekeuzes. De naam M3 betekent hier niet dat de reranker de dense, sparse en multi-vector-embeddings van het oorspronkelijke embeddingmodel teruggeeft.

Dit onderscheid is van belang bij de keuze van het resultaat dat je applicatie nodig heeft. Kies een embeddingmodel om een documentverzameling te representeren en te doorzoeken. Kies deze reranker wanneer je al kandidaatteksten hebt en moet bepalen welke passage het relevantst is voor de huidige zoekvraag.

Kandidaten voorbereiden voor een zinvolle rangschikking

Geef de daadwerkelijke vraag en de volledige kandidaattekst die nodig is om deze te interpreteren. Behoud koppen of nabijgelegen definities wanneer die de betekenis van een passage bepalen. In het gepubliceerde Transformers-voorbeeld worden de zoekvraag en passage samen getokeniseerd, met afkappen en max_length=512. Dat is een instelling uit het voorbeeld en geen algemene modellimiet. Houd de vraag en het benodigde bewijs binnen het gekozen budget voor het paar en controleer wat door afkappen verdwijnt. Een resultaat dat hetzelfde product noemt als een zoekvraag kan toch irrelevant zijn wanneer het over de verkeerde handeling of voorwaarde gaat; bereid bij de beoordeling van zoekkwaliteit voorbeelden voor die deze gevallen onderscheiden.

Bewaar voor een documentassistent kandidaat-ID’s bij de tekst, geef de vraag-passageparen een score en stuur de geselecteerde oorspronkelijke passages door naar de antwoordstap. Het antwoordmodel ontvangt dan het bewijsmateriaal in plaats van een relevantiescore zonder bron. Dit is een voorbeeld van een proces voor informatieopvraging; de reranker zelf doorzoekt geen externe verzameling en schrijft het antwoord niet.

Scores lezen en normaliseren

De fabrikant geeft ruwe relevantiescores terug, waarbij een hogere waarde een betere overeenkomst aangeeft. De gedocumenteerde optionele normalisatie past een sigmoidfunctie toe om de score tussen 0 en 1 te brengen. Een genormaliseerde score heeft een handig bereik, maar die omzetting alleen stelt geen gekalibreerde waarschijnlijkheid vast dat de kandidaat correct is.

Kies drempels voor rangschikken of filteren aan de hand van representatieve zoekvraag-passageparen uit je eigen werk. Neem passages op die dezelfde trefwoorden bevatten maar een andere vraag beantwoorden, en ook relevante passages met andere formuleringen. Zo krijgt de gekozen drempel betekenis voor de doorzochte verzameling.

Definieer voor een Ailoot API-project wat de uiteindelijke context moet bevatten en hoeveel kandidaten efficiënt kunnen worden onderzocht. Het bruikbare resultaat is een beter geordende verzameling bewijsmateriaal voor de volgende applicatiestap. Houd de relevantie-uitvoer van deze editie gescheiden van documentembeddings, gegenereerde tekst en de instellingen voor laagselectie die voor andere rerankers zijn gedocumenteerd.