bge-reranker-v2-m3

BGE Reranker v2 M3 er en flersproget relevansmodel bygget på BGE-M3. Den modtager en forespørgsel og en kandidatpassage samlet og returnerer en score for deres relation. BAAI placerer denne udgave som en effektiv flersproget reranker, herunder til kinesisk og engelsk informationshentning, hvor en søgeapplikation skal forbedre en eksisterende kandidatliste.

Relevans fra et forespørgsels–passage-par

En cross-encoder behandler begge tekster sammen, så indholdet kan vekselvirke, før relevansscoren produceres. Det adskiller sig fra en embeddingmodel, som koder tekster uafhængigt til genanvendelig vektorsammenligning. Rerankerens output er en skalær score for et bestemt par frem for en dokumentvektor eller et skriftligt svar.

Brug modellen, efter at en indledende søgning har valgt plausible passager. Par spørgsmålet med hver kandidat, og sortér kandidaterne efter de resulterende scorer. Det fokuserer den mere detaljerede sammenligning på en håndterbar kortliste frem for at bede en cross-encoder efterse hver passage i en stor samling.

v2 M3-udgaven

Producenten identificerer BGE-M3 som grundmodel og angiver flersproget understøttelse som en hovedegenskab. Inden for v2-rerankerfamilien er M3 den effektive flersprogede mulighed; de Gemma-baserede varianter og varianter med lagvalg er selvstændige modeller med forskellige implementeringsvalg. Navnet M3 betyder her ikke, at rerankeren returnerer den oprindelige embeddingmodels tætte, sparsomme og flervektor-embeddings.

Denne forskel betyder noget ved valg af det resultat, applikationen kræver. Vælg en embeddingmodel til at repræsentere og søge i en dokumentsamling. Vælg denne reranker, når du allerede har kandidattekst og skal afgøre, hvilken passage der er mest relevant for den aktuelle forespørgsel.

Forbered kandidater, der kan rangeres nyttigt

Vedlæg det faktiske spørgsmål og den fulde kandidattekst, der er nødvendig for at fortolke det. Bevar overskrifter eller nærliggende definitioner, når de bestemmer en passages betydning. I det offentliggjorte Transformers-eksempel tokeniseres forespørgsel og passage samlet med afkortning og max_length=512. Det er en eksempelindstilling frem for en grænse for hele modellen. Hold spørgsmålet og det nødvendige belæg inden for den valgte parramme, og kontrollér, hvad afkortningen fjerner. Et resultat, der nævner samme produkt som forespørgslen, kan stadig være irrelevant, hvis det vedrører den forkerte operation eller betingelse; forbered eksempler, der skelner disse tilfælde, når du vurderer hentningskvalitet.

Til en dokumentassistent skal du bevare kandidatidentifikatorer sammen med teksten, score spørgsmåls–passage-parrene og sende de valgte originalpassager videre til svartrinnet. Svarmodellen modtager derefter belægget frem for en relevansscore uden dens kilde. Dette er et illustrativt hentningsforløb; rerankeren hverken søger selv i en ekstern samling eller skriver svaret.

Læs og normalisér scorer

Producenten returnerer rå relevansscorer, hvor en højere værdi angiver et tættere match. Den dokumenterede valgfrie normalisering anvender en sigmoidfunktion til at placere scoren mellem 0 og 1. En normaliseret score har et praktisk interval, men denne transformation alene dokumenterer ikke en kalibreret sandsynlighed for, at kandidaten er korrekt.

Vælg rangerings- eller filtreringstærskler med repræsentative forespørgsels–passage-par fra dine opgaver. Medtag passager, der deler nøgleord, men besvarer et andet spørgsmål, samt relevante passager med anden ordlyd. Det gør den valgte tærskel meningsfuld for den samling, der søges i.

Til et Ailoot API-projekt skal du definere, hvad den endelige kontekst skal indeholde, og hvor mange kandidater der effektivt kan undersøges. Det nyttige resultat er et bedre sorteret belægssæt til næste applikationstrin. Hold denne udgaves relevansoutput adskilt fra dokumentembeddings, genereret prosa og de indstillinger til lagvalg, der dokumenteres for andre rerankere.