bge-reranker-v2-m3

BGE Reranker v2 M3 je večjezični model za ocenjevanje ustreznosti, zgrajen na BGE-M3. Skupaj sprejme poizvedbo in kandidatni odlomek ter vrne oceno njune povezanosti. BAAI to izdajo predstavlja kot učinkovit večjezični model za ponovno razvrščanje, tudi pri pridobivanju kitajskih in angleških besedil, kadar mora iskalna aplikacija izboljšati obstoječi seznam kandidatov.

Ustreznost iz para poizvedbe in odlomka

Križni kodirnik obe besedili obdeluje skupaj, kar njuni vsebini omogoča medsebojno vplivanje pred izdelavo ocene ustreznosti. To se razlikuje od modela za vektorske vložitve, ki besedila kodira neodvisno za večkratno vektorsko primerjavo. Izhod modela za ponovno razvrščanje je skalarna ocena za posamezni par, ne vektor dokumenta ali pisni odgovor.

Model uporabite po tem, ko začetno iskanje izbere verjetno ustrezne odlomke. Vprašanje združite z vsakim kandidatom in kandidate uredite glede na nastale ocene. Tako se podrobnejša primerjava osredotoči na obvladljiv ožji izbor, namesto da bi križni kodirnik pregledoval vsak odlomek v veliki zbirki.

Izdaja v2 M3

Proizvajalec BGE-M3 določa kot osnovni model in večjezično podporo navaja kot glavno značilnost. V njegovi družini modelov v2 za ponovno razvrščanje je M3 učinkovita večjezična možnost; različice na podlagi Gemma in različice z izbiro plasti so ločeni modeli z drugačnimi izvedbenimi odločitvami. Ime M3 tukaj ne pomeni, da model za ponovno razvrščanje vrača goste, redke in večvektorske vložitve prvotnega modela za vektorske vložitve.

Ta razlika je pomembna pri izbiri rezultata, ki ga potrebuje aplikacija. Za predstavitev in iskanje po zbirki dokumentov izberite model za vektorske vložitve. Ta model za ponovno razvrščanje izberite, kadar kandidatno besedilo že imate in morate določiti, kateri odlomek je najpomembnejši za trenutno poizvedbo.

Priprava kandidatov za uporabno razvrščanje

Predložite dejansko vprašanje in celotno kandidatno besedilo, potrebno za njegovo razumevanje. Ohranite naslove ali bližnje definicije, kadar določajo pomen odlomka. V objavljenem primeru Transformers se poizvedba in odlomek skupaj pretvorita v žetone s krajšanjem in max_length=512. To je nastavitev primera, ne omejitev celotnega modela. Vprašanje in zahtevane dokaze ohranite znotraj izbranega obsega para ter preverite, kaj krajšanje odstrani. Rezultat, ki omenja isti izdelek kot poizvedba, je lahko še vedno neustrezen, če obravnava napačno operacijo ali pogoj; pri vrednotenju kakovosti pridobivanja pripravite primere, ki razlikujejo te možnosti.

Pri dokumentnem pomočniku ob besedilu ohranite identifikatorje kandidatov, ocenite pare vprašanj in odlomkov ter izbrane izvirne odlomke predajte koraku odgovarjanja. Model za odgovarjanje tako prejme dokaze namesto ocene ustreznosti brez njenega vira. To je ponazoritev poteka pridobivanja; sam model za ponovno razvrščanje ne išče po zunanji zbirki in ne napiše odgovora.

Branje in normalizacija ocen

Proizvajalec vrača surove ocene ustreznosti, pri čemer višja vrednost pomeni boljše ujemanje. Dokumentirana izbirna normalizacija uporabi sigmoidno funkcijo, ki oceno umesti med 0 in 1. Normalizirana ocena ima priročen razpon, vendar ta pretvorba sama po sebi ne pomeni umerjene verjetnosti, da je kandidat pravilen.

Pragove razvrščanja ali filtriranja izberite z reprezentativnimi pari poizvedb in odlomkov iz vaše delovne obremenitve. Vključite odlomke, ki imajo skupne ključne besede, vendar odgovarjajo na drugo vprašanje, in ustrezne odlomke z drugačnim besedilom. Tako je izbrani prag smiseln za zbirko, po kateri iščete.

Pri projektu z Ailoot API določite, kaj naj vsebuje končni kontekst in koliko kandidatov je mogoče učinkovito pregledati. Uporaben rezultat je bolje urejen nabor dokazov za naslednji korak aplikacije. Izhod ustreznosti te izdaje ločite od vektorskih vložitev dokumentov, ustvarjenega besedila in nastavitev izbire plasti, dokumentiranih za druge modele za ponovno razvrščanje.