BAAI: bge-m3

BGE-M3 er BAAIs flerspråklige gjenfinningsmodell, utviklet rundt tre former for allsidighet: flere gjenfinningsfunksjoner, flere språk og ulike inndatalengder. Produsenten dokumenterer støtte for over hundre språk og inndata på opptil 8192 tokener. Den samlede modellen kan levere tette vektorer, sparsomme leksikalske vekter og multivektorrepresentasjoner, slik at et gjenfinningsoppsett kan velge eller kombinere mer enn én type evidens.

Tre representasjoner for gjenfinning

Tett modus avbilder en tekst til én 1024-dimensjonal vektor. Den støtter sammenligning av betydningen som representeres av en forespørsel og en passasje. Sparsom modus tildeler vekter til tokenene som finnes i teksten, for leksikalsk samsvar. Multivektormodus representerer en tekst med flere vektorer og bruker en ColBERT-lignende interaksjon til å sammenligne forespørsel og dokument på et finere nivå.

Disse resultatene har ulike roller i en søkeindeks. En tett vektor gir én representasjon av en passasje; en sparsom tilordning av tokener til vekter beholder leksikalske signaler; flere vektorer gir en annen sammenligningsstruktur. Produsenteksemplene viser hvordan de valgte representasjonene returneres og skårer for tekstpar beregnes. Behandle den valgte representasjonen og skåringsmetoden som en bevisst del av gjenfinningsoppgaven.

Flerspråklig tekst og forberedelse av inndata

BGE-M3 krever ikke at gjenfinningsinstruksjonen fra tidligere BGE-modeller legges til. Forbered forespørselen og de faktiske kildepassasjene direkte. En flerspråklig kunnskapssamling kan beholde hver passasje på originalspråket, sammen med dokumentidentifikator og språkvariant. Bruk reelle brukerspørsmål fra den tilsiktede språkblandingen når du kontrollerer resultatene.

En praktisk oppgave er å søke i regelforklaringer, produkthjelp eller teknisk dokumentasjon på flere språk. Behold navn, modellnumre og termer som er viktige for spørsmålet. En leksikalsk representasjon kan bidra til å bevare treff på disse termene, mens en tett representasjon gir semantisk evidens. Den gjenfunne passasjen bør omfatte teksten og kildeplasseringen som en leser kan undersøke.

Lengre dokumenter og detaljeringsgrad

Inndatavinduet på 8192 tokener lar modellen representere materiale fra korte setninger til lengre dokumenter. Velg detaljeringsgraden ut fra svaret søket skal returnere. En hel seksjon kan bevare en definisjon og unntakene; en mindre passasje kan gjøre en bestemt instruksjon lettere å finne. Et langt vindu muliggjør disse valgene, men vektoren er fortsatt knyttet til materialet som faktisk ble kodet.

Hold hver passasje koblet til det overordnede dokumentet og versjonen. For en omfattende rapport beholder du overskriften og forklaringen rundt det relevante tallet eller den relevante konklusjonen. Ikke stol på tittelen til et søketreff alene når evidensen ligger i brødteksten. Hvis kilden endres, behold nok metadata til å oppdatere de tilsvarende gjenfinningsrepresentasjonene.

Hybride skårer og etterfølgende bruk

Produsenten anbefaler hybrid gjenfinning etterfulgt av et separat rerankingtrinn. Eksemplene beregner tette, sparsomme og multivektorskårer og danner vektede kombinasjoner. Velg kombinasjonen ut fra samlingens spørsmål og ordforråd; en vekt i et eksempel er ikke en universell innstilling for ethvert korpus.

Et nyttig resultat er et kandidatsett der kildepassasjene fortsatt er tilgjengelige, og der representasjonen og rangeringsmetoden er registrert. En separat reranker kan finjustere settet, og et separat tekstgenereringstrinn kan bruke passasjeinnholdet. BGE-M3s sparsomme og multivektorbaserte evner er moduser i produsentens modell; den tette embeddingvektoren, det leksikalske resultatet og parskåren er ulike artefakter fremfor arrays som kan brukes om hverandre.