BAAI: bge-m3

BGE-M3 er BAAI’s flersprogede genfindingsmodel, designet omkring tre former for alsidighed: flere genfindingsfunktioner, flere sprog og forskellige inputlængder. Producenten dokumenterer understøttelse af mere end hundrede sprog og input på op til 8192 tokens. Den fælles model kan levere tætte vektorer, sparsomme leksikale vægte og multivektorrepræsentationer, så et genfindingsdesign kan vælge eller kombinere mere end én slags evidens.

Tre repræsentationer til genfinding

Tæt tilstand afbilder en tekst til én 1024-dimensional vektor. Den understøtter sammenligning af den betydning, som en forespørgsel og en passage repræsenterer. Sparsom tilstand tildeler vægte til de tokens, der findes i teksten, til leksikalt match. Multivektortilstand repræsenterer en tekst med flere vektorer og bruger en ColBERT-lignende interaktion til at sammenligne forespørgsel og dokument på et finere niveau.

Disse output har forskellige roller i et søgeindeks. En tæt vektor giver én repræsentation af en passage; en sparsom mapping af tokens til vægte bevarer leksikale signaler; flere vektorer giver en anden sammenligningsstruktur. Producentens eksempler viser returnering af de valgte repræsentationer og beregning af scorer for tekstpar. Behandl den valgte repræsentation og scoringsmetode som en bevidst del af genfindingsopgaven.

Flersproget tekst og inputforberedelse

BGE-M3 kræver ikke tilføjelse af den genfindingsinstruktion, som tidligere BGE-modeller brugte. Forbered forespørgslen og de faktiske kildepassager direkte. En flersproget videnssamling kan bevare hver passage på originalsproget sammen med dokumentidentifikator og locale. Brug virkelige brugerspørgsmål fra den tilsigtede sprogblanding ved kontrol af resultaterne.

En praktisk opgave er at søge i regelforklaringer, produkthjælp eller teknisk dokumentation på flere sprog. Bevar navne, modelnumre og termer, som er vigtige for spørgsmålet. En leksikal repræsentation kan hjælpe med at bevare match på disse termer, mens en tæt repræsentation leverer semantisk evidens. Den genfundne passage bør omfatte teksten og kildeplaceringen, som en læser kan undersøge.

Længere dokumenter og detaljeringsgrad

Inputvinduet på 8192 tokens lader modellen repræsentere materiale fra korte sætninger til længere dokumenter. Vælg detaljeringsgraden ud fra det svar, søgningen skal returnere. Et komplet afsnit kan bevare en definition og dens undtagelser; en mindre passage kan gøre en bestemt instruktion lettere at finde. Et langt vindue muliggør disse valg, men vektoren er fortsat knyttet til det materiale, der faktisk blev kodet.

Hold hver passage knyttet til sit overordnede dokument og sin version. Ved en lang rapport skal du bevare overskriften og den omgivende forklaring til det relevante tal eller den relevante konklusion. Stol ikke alene på en søgetræffers titel, når evidensen er i brødteksten. Hvis kilden ændres, skal der bevares tilstrækkelige metadata til at opdatere de tilsvarende genfindingsrepræsentationer.

Hybride scorer og efterfølgende brug

Producenten anbefaler hybrid genfinding efterfulgt af et separat rerankingtrin. Dens eksempler beregner tætte, sparsomme og multivektorscorer og danner vægtede kombinationer. Vælg kombinationen ud fra samlingens spørgsmål og ordforråd; en vægt vist i et eksempel er ikke en universel indstilling for ethvert korpus.

Et nyttigt resultat er et kandidatsæt, hvis kildepassager fortsat er tilgængelige, og hvor repræsentationen og rangeringsmetoden er registreret. En separat reranker kan forfine sættet, og et separat tekstgenereringstrin kan bruge passageindholdet. BGE-M3’s sparsomme og multivektorbaserede evner er tilstande i producentens model; den tætte embeddingvektor, det leksikale output og parscoren er særskilte resultater frem for indbyrdes udskiftelige arrays.