bge-reranker-v2-m3

BGE Reranker v2 M3 er en flerspråklig relevansmodell bygget på BGE-M3. Den mottar en spørring og et kandidatavsnitt samlet og returnerer en skår for forholdet mellom dem. BAAI posisjonerer denne utgaven som en effektiv flerspråklig omrangeringsmodell, blant annet for gjenfinning på kinesisk og engelsk, når en søkeapplikasjon trenger å forbedre en eksisterende kandidatliste.

Relevans fra et spørring–avsnitt-par

En kryssenkoder behandler begge tekstene samlet, slik at innholdet deres kan samvirke før relevansskåren produseres. Dette skiller seg fra en innbyggingsmodell, som koder tekster uavhengig for gjenbrukbar vektorsammenligning. Omrangeringsmodellens utdata er en skalar skår for et bestemt par, fremfor en dokumentvektor eller et skriftlig svar.

Bruk modellen etter at et innledende søk har valgt ut aktuelle avsnitt. Koble spørsmålet med hver kandidat, og sorter kandidatene etter skårene som returneres. Dette retter den mer detaljerte sammenligningen mot et håndterbart kort utvalg fremfor å be en kryssenkoder undersøke hvert avsnitt i en stor samling.

v2 M3-utgaven

Produsenten oppgir BGE-M3 som basismodell og flerspråklig støtte som en hovedfunksjon. Innenfor v2-familien av omrangeringsmodeller er M3 det effektive flerspråklige alternativet; de Gemma-baserte variantene og variantene med valg av lag er egne modeller med andre implementeringsvalg. Navnet M3 betyr her ikke at omrangeringsmodellen returnerer de tette, sparsomme og flervektorbaserte innbyggingene fra den opprinnelige innbyggingsmodellen.

Denne forskjellen er viktig når du velger resultatet applikasjonen trenger. Velg en innbyggingsmodell for å representere og søke i en dokumentsamling. Velg denne omrangeringsmodellen når du allerede har kandidattekst og må avgjøre hvilket avsnitt som er mest relevant for den aktuelle spørringen.

Klargjøre kandidater som kan rangeres på en nyttig måte

Oppgi det faktiske spørsmålet og hele kandidatteksten som trengs for å tolke den. Behold overskrifter eller definisjoner i nærheten når de avgjør betydningen av et avsnitt. I det publiserte Transformers-eksemplet tokeniseres spørringen og avsnittet sammen med avkorting og max_length=512. Dette er en eksempelinnstilling, ikke en grense for hele modellen. Hold spørsmålet og det nødvendige belegget innenfor det valgte parbudsjettet, og kontroller hva avkortingen fjerner. Et resultat som nevner det samme produktet som en spørring, kan likevel være irrelevant hvis det gjelder feil operasjon eller betingelse; klargjør eksempler som skiller disse tilfellene når du evaluerer kvaliteten på gjenfinningen.

For en dokumentassistent bør du beholde kandidatidentifikatorene sammen med teksten, skåre spørsmål–avsnitt-parene og sende de valgte originalavsnittene videre til svartrinnet. Svarmodellen mottar da belegget fremfor en relevansskår uten kilden. Dette er en illustrerende arbeidsflyt for gjenfinning; omrangeringsmodellen selv verken søker i en ekstern samling eller skriver svaret.

Lese og normalisere skårer

Produsenten returnerer rå relevansskårer, der en høyere verdi angir et nærmere samsvar. Den dokumenterte valgfrie normaliseringen bruker en sigmoidfunksjon for å plassere skåren mellom 0 og 1. En normalisert skår har et praktisk verdiområde, men denne transformasjonen alene fastslår ikke en kalibrert sannsynlighet for at kandidaten er korrekt.

Velg terskler for rangering eller filtrering ved hjelp av representative spørring–avsnitt-par fra arbeidsmengden din. Ta med avsnitt som deler nøkkelord, men svarer på et annet spørsmål, samt relevante avsnitt med en annen ordlyd. Dette gjør den valgte terskelen meningsfull for samlingen det søkes i.

For et Ailoot API-prosjekt bør du definere hva sluttkonteksten skal inneholde, og hvor mange kandidater som kan undersøkes effektivt. Det nyttige resultatet er et bedre sortert sett med belegg til applikasjonens neste trinn. Hold relevansutdataene fra denne utgaven atskilt fra dokumentinnbygginger, generert prosa og kontrollene for lagvalg som er dokumentert for andre omrangeringsmodeller.