BAAI: bge-base-en-v1.5

bge-base-en-v1.5 er BAAI’s engelsksprogede model til tætte embeddings i basestørrelse. Den omdanner hver tekst til en 768-dimensional numerisk repræsentation til genfinding og semantisk sammenligning. Modellen tilhører BGE v1.5-serien, som adresserer den tidligere families fordeling af lighedsscorer og forbedrer genfindingen, når der ikke angives en instruktion. Outputtet er en vektor til at sammenligne tekster eller finde relevante passager.

Forbered forespørgsler og passager

Ved en kort forespørgsel, der søger i længere passager, anbefaler BAAI at sætte »Represent this sentence for searching relevant passages:« foran forespørgslen. Korpuspassagerne får ikke denne instruktion. Til andre opgaver kan den oprindelige tekst embeddes direkte. Producenten bemærker, at v1.5 også fungerer uden instruktion, så forberedelsen bør vælges efter opgaven frem for at behandle præfikset som det eneste gyldige input.

En praktisk søgesamling kan indeholde hjælpeartikler, produktforklaringer eller tekniske instruktioner. En forespørgsel som »How do I change the export format?« bør genfinde den passage, som beskriver handlingen. Hold afsnitsoverskriften, relevante betingelser og den faktiske kildetekst samlet. Gem passagens identifikator og placering sammen med dens vektor, så et søgeresultat kan returnere noget, brugeren kan læse, eller et senere svartrin kan citere.

Vektorformat og sammenligning

Den dokumenterede repræsentation bruger den endelige skjulte tilstand for den første token, eller CLS-tokenen, som sætningsembedding. Producentens eksempler normaliserer vektoren og sammenligner normaliserede embeddings med et prikprodukt, svarende til cosinuslighed. De 768 dimensioner er størrelsen på denne models outputrepræsentation; de er ikke en valgbar kontekstlængde eller et budget til tekstgenerering.

Brug samme model og forberedelseskonvention til de forespørgsels- og korpusvektorer, der sammenlignes. En praktisk kontrol er at genfinde kendte passager med svar til et lille sæt faktiske brugerspørgsmål og derefter undersøge den returnerede tekst. En kompatibel vektorform lader et indeks lagre repræsentationen, mens kildepassagen fastslår, hvad resultatet faktisk siger.

Inputlængde og dokumentforberedelse

Modellens dokumenterede sekvenslængde er 512 tokens. En lang kilde bør derfor opdeles i sammenhængende passager med svarindhold før embedding. Bevar definitioner og undtagelser sammen med det udsagn, de præciserer, og bevar forbindelsen mellem en passage og dens overordnede dokument. Den tekst, der skal embeddes, omfatter enhver instruktion eller overskrift, du tilføjer, så en kompakt forberedelse efterlader mere plads til nyttigt kildeindhold.

Ved en rapport eller manual skal grænserne vælges omkring et afsnit eller en lille gruppe relaterede tekstafsnit. En passage, der kun indeholder en titel eller et fragment uden sit emne, kan være vanskelig at fortolke ved genfinding. Bevar den oprindelige tekst og en kildeversion, så en indeksopdatering kan erstatte det tilsvarende materiale, når dokumentet ændres.

Scorer og nyttigt output

BAAI advarer om, at absolutte lighedsværdier ikke er universelle tærskler til at afgøre, om to tekster betyder det samme. Den relative rangering har betydning, og en filtreringstærskel bør vælges ud fra fordelingen på opgavens egne data. Høj vektorlighed er et genfindingssignal frem for verificering af passagens faktuelle indhold.

Den nyttige leverance er et engelsksproget passageindeks, et sæt forespørgselsvektorer eller numeriske features til semantisk sammenligning. En separat reranker kan forfine genfundne kandidater, og et separat genereringstrin kan skrive et svar ud fra deres tekst. Denne præcise engelske base-model i v1.5 er fortsat adskilt fra BGE Large, kinesiske udgaver og BGE-M3’s flersprogede og hybride genfindingsprofiler.