bge-reranker-v2-m3

BGE Reranker v2 M3 on BGE-M3:n pohjalle rakennettu monikielinen relevanssimalli. Se vastaanottaa yhdessä kyselyn ja ehdokastekstikatkelman sekä palauttaa pistearvon niiden suhteelle. BAAI asemoi tämän version tehokkaaksi monikieliseksi uudelleenjärjestelijäksi muun muassa kiinan- ja englanninkieliseen tiedonhakuun, kun hakusovelluksen täytyy tarkentaa olemassa olevaa ehdokasluetteloa.

Relevanssi kyselyn ja katkelman parista

Ristiinkooderi käsittelee molemmat tekstit yhdessä, jolloin niiden sisällöt voivat vaikuttaa toisiinsa ennen relevanssipisteen tuottamista. Tämä eroaa upotusmallista, joka koodaa tekstit erikseen uudelleenkäytettävää vektorivertailua varten. Uudelleenjärjestelijä tuottaa tietyn parin skalaarisen pistearvon, ei asiakirjavektoria tai kirjallista vastausta.

Käytä mallia sen jälkeen, kun ensimmäinen haku on valinnut mahdollisesti sopivat katkelmat. Yhdistä kysymys jokaiseen ehdokkaaseen ja järjestä ehdokkaat saatujen pisteiden perusteella. Näin yksityiskohtaisempi vertailu kohdistuu hallittavaan ehdokasjoukkoon sen sijaan, että ristiinkooderia pyydettäisiin tutkimaan suuren kokoelman kaikki katkelmat.

v2 M3 -versio

Valmistaja nimeää BGE-M3:n pohjamalliksi ja monikielisen tuen keskeiseksi ominaisuudeksi. Sen v2-uudelleenjärjestelijäperheessä M3 on tehokas monikielinen vaihtoehto; Gemma-pohjaiset ja kerrosvalintaa käyttävät variantit ovat eri malleja, joissa on erilaiset toteutusvalinnat. M3-nimi ei tässä tarkoita, että uudelleenjärjestelijä palauttaisi alkuperäisen upotusmallin tiheitä, harvoja ja monivektoriupotuksia.

Tämä ero on merkityksellinen, kun valitset sovelluksen tarvitsemaa tulosta. Valitse upotusmalli asiakirjakokoelman esittämiseen ja hakuun. Valitse tämä uudelleenjärjestelijä, kun sinulla on jo ehdokastekstit ja sinun on ratkaistava, mikä katkelma on nykyisen kyselyn kannalta olennaisin.

Hyödyllisesti järjestettävien ehdokkaiden valmistelu

Anna varsinainen kysymys ja sen tulkinnassa tarvittava ehdokasteksti kokonaisuudessaan. Säilytä otsikot tai lähellä olevat määritelmät, jos ne määräävät katkelman merkityksen. Julkaistussa Transformers-esimerkissä kysely ja katkelma tokenisoidaan yhdessä käyttäen katkaisua ja asetusta max_length=512. Se on esimerkkiasetus, ei koko mallin yleinen raja. Pidä kysymys ja tarvittava näyttö valitun paribudjetin sisällä ja tarkista, mitä katkaisu poistaa. Tulos, joka mainitsee saman tuotteen kuin kysely, voi silti olla epäolennainen, jos se koskee väärää toimintoa tai ehtoa; valmistele hakulaadun arviointiin esimerkkejä, jotka erottavat nämä tapaukset.

Säilytä asiakirja-avustajassa ehdokkaiden tunnisteet tekstien rinnalla, pisteytä kysymys–katkelma-parit ja välitä valitut alkuperäiskatkelmat vastausvaiheeseen. Vastauksen tuottava malli saa silloin näytön eikä lähteetöntä relevanssipistettä. Tämä on havainnollistava tiedonhakutyönkulku; uudelleenjärjestelijä itse ei hae ulkoisesta kokoelmasta eikä kirjoita vastausta.

Pisteiden tulkinta ja normalisointi

Valmistaja palauttaa raakoja relevanssipisteitä, joissa suurempi arvo merkitsee läheisempää vastaavuutta. Dokumentoitu valinnainen normalisointi käyttää sigmoidifunktiota pisteen sijoittamiseksi välille 0–1. Normalisoidun pisteen vaihteluväli on kätevä, mutta pelkkä muunnos ei osoita kalibroitua todennäköisyyttä sille, että ehdokas on oikea.

Valitse järjestys- tai suodatuskynnykset työkuormaasi edustavilla kysely–katkelma-pareilla. Ota mukaan katkelmia, joissa on samoja avainsanoja mutta jotka vastaavat eri kysymykseen, sekä relevantteja katkelmia, joiden sanamuoto on erilainen. Näin valittu kynnys on merkityksellinen haettavassa kokoelmassa.

Määrittele Ailoot API -projektissa, mitä lopullisen kontekstin pitää sisältää ja kuinka monta ehdokasta voidaan tutkia tehokkaasti. Hyödyllinen tulos on paremmin järjestetty näyttöjoukko sovelluksen seuraavaa vaihetta varten. Pidä tämän version relevanssituloste erillään asiakirjaupotuksista, tuotetusta proosasta ja muiden uudelleenjärjestelijöiden dokumentoiduista kerrosvalinnan ohjaimista.