bge-reranker-v2-m3

BGE Reranker v2 M3 is een meertalig relevantiemodel dat op BGE-M3 is gebouwd. Het ontvangt een zoekvraag samen met een kandidaatpassage en geeft een score terug voor hun onderlinge relatie. BAAI positioneert deze editie als een efficiënte meertalige reranker, onder meer voor Chinese en Engelse retrieval, waarbij een zoekapplicatie een bestaande kandidatenlijst moet verfijnen.

Relevantie van een combinatie van zoekvraag en passage

Een cross-encoder verwerkt beide teksten gezamenlijk, waardoor hun inhoud op elkaar kan inwerken voordat de relevantiescore wordt geproduceerd. Dit verschilt van een embeddingmodel, dat teksten onafhankelijk codeert voor herbruikbare vectorvergelijking. De uitvoer van de reranker is een scalaire score voor een bepaalde combinatie, in plaats van een documentvector of een geschreven antwoord.

Gebruik het model nadat een eerste zoekopdracht aannemelijke passages heeft geselecteerd. Combineer de vraag met elke kandidaat en orden de kandidaten volgens de resulterende scores. Zo wordt de meer gedetailleerde vergelijking op een beheersbare selectie gericht, in plaats van een cross-encoder elke passage in een grote verzameling te laten bekijken.

De v2 M3-editie

De maker noemt BGE-M3 als basismodel en vermeldt meertalige ondersteuning als een van de belangrijkste kenmerken. Binnen zijn v2-rerankerfamilie is M3 de efficiënte meertalige optie; de op Gemma gebaseerde varianten en varianten met laagselectie zijn afzonderlijke modellen met andere implementatiekeuzes. De naam M3 betekent hier niet dat de reranker de dense, sparse en multi-vector-embeddings van het oorspronkelijke embeddingmodel teruggeeft.

Dit onderscheid is van belang bij het kiezen van het resultaat dat je applicatie nodig heeft. Kies een embeddingmodel om een documentverzameling te representeren en te doorzoeken. Kies deze reranker wanneer je al kandidaattekst hebt en moet bepalen welke passage het relevantst is voor de huidige zoekvraag.

Kandidaten voorbereiden die zinvol gerangschikt kunnen worden

Geef de werkelijke vraag en de volledige kandidaattekst mee die nodig is om die te interpreteren. Behoud koppen of nabije definities wanneer ze de betekenis van een passage bepalen. In het gepubliceerde Transformers-voorbeeld worden de zoekvraag en passage samen getokeniseerd met afkapping en max_length=512. Dat is een voorbeeldinstelling en geen limiet voor het hele model. Houd de vraag en het vereiste bewijs binnen het gekozen budget voor de combinatie, en controleer wat door afkapping wordt verwijderd. Een resultaat dat hetzelfde product als een zoekvraag noemt, kan toch irrelevant zijn als het over de verkeerde bewerking of voorwaarde gaat; bereid voorbeelden voor die die gevallen onderscheiden wanneer je de retrievalkwaliteit evalueert.

Bewaar voor een documentassistent de kandidaatidentificatoren bij hun tekst, bereken scores voor de combinaties van vraag en passage en geef de geselecteerde oorspronkelijke passages door aan de antwoordstap. Het antwoordmodel ontvangt dan het bewijs in plaats van een relevantiescore zonder bron. Dit is een illustratieve retrievalworkflow; de reranker zelf doorzoekt geen externe verzameling en schrijft het antwoord niet.

Scores lezen en normaliseren

De fabrikant geeft ruwe relevantiescores terug, waarbij een hogere waarde op een betere overeenkomst wijst. De gedocumenteerde optionele normalisatie past een sigmoïdfunctie toe om de score tussen 0 en 1 te plaatsen. Een genormaliseerde score heeft een handig bereik, maar die omzetting alleen maakt er geen gekalibreerde kans van dat de kandidaat correct is.

Kies drempels voor rangschikking of filtering op basis van representatieve combinaties van zoekvraag en passage uit je werklast. Neem zowel passages op die dezelfde trefwoorden bevatten maar een andere vraag beantwoorden als relevante passages met een andere formulering. Zo is de gekozen drempel betekenisvol voor de doorzochte verzameling.

Definieer voor een Ailoot API-project wat de uiteindelijke context moet bevatten en hoeveel kandidaten efficiënt onderzocht kunnen worden. Het bruikbare resultaat is een beter geordende verzameling bewijs voor de volgende applicatiestap. Houd de relevantie-uitvoer van deze editie gescheiden van documentembeddings, gegenereerde tekst en de besturing voor laagselectie die voor andere rerankers is gedocumenteerd.