bge-reranker-v2-m3

BGE Reranker v2 M3 je vícejazyčný model relevance postavený na BGE-M3. Přijímá společně dotaz a kandidátní pasáž a vrací skóre jejich vztahu. BAAI tuto variantu představuje jako úsporný vícejazyčný reranker, mimo jiné pro vyhledávání v čínštině a angličtině, kde vyhledávací aplikace potřebuje zpřesnit existující seznam kandidátů.

Relevance dvojice dotazu a pasáže

Cross-encoder zpracovává oba texty společně, takže jejich obsah může před vytvořením skóre relevance vzájemně působit. Tím se liší od embeddingového modelu, který texty kóduje nezávisle pro opakovaně použitelné vektorové porovnávání. Výstupem rerankeru je skalární skóre konkrétní dvojice, nikoli vektor dokumentu nebo písemná odpověď.

Model použijte až poté, co počáteční vyhledávání vybere pravděpodobně relevantní pasáže. Otázku spárujte s každým kandidátem a kandidáty seřaďte podle výsledných skóre. Podrobnější porovnávání se tak soustředí na zvládnutelný užší výběr místo toho, aby cross-encoder zkoumal všechny pasáže rozsáhlé kolekce.

Varianta v2 M3

Výrobce označuje BGE-M3 za základní model a mezi hlavními vlastnostmi uvádí vícejazyčnou podporu. V rodině rerankerů v2 je M3 úspornou vícejazyčnou volbou; varianty založené na Gemma a varianty s výběrem vrstev představují samostatné modely s odlišnými implementačními řešeními. Název M3 zde neznamená, že reranker vrací husté, řídké a vícevektorové embeddingy původního embeddingového modelu.

Tento rozdíl je důležitý při volbě výsledku, který aplikace vyžaduje. Pro reprezentaci a prohledávání kolekce dokumentů zvolte embeddingový model. Tento reranker zvolte, pokud už máte kandidátní text a potřebujete rozhodnout, která pasáž je pro aktuální dotaz nejrelevantnější.

Příprava kandidátů pro užitečné řazení

Dodejte skutečnou otázku a úplný kandidátní text potřebný pro její interpretaci. Zachovejte nadpisy nebo blízké definice, pokud určují význam pasáže. Ve zveřejněném příkladu Transformers se dotaz a pasáž tokenizují společně s ořezáváním a max_length=512. Jde o nastavení příkladu, nikoli limit platný pro celý model. Otázku a potřebné důkazy udržte v rámci zvoleného rozpočtu dvojice a zkontrolujte, co ořezávání odstraňuje. Výsledek zmiňující stejný produkt jako dotaz může být stále nerelevantní, pokud řeší jinou operaci nebo podmínku; při hodnocení kvality vyhledávání připravte příklady, které tyto situace odlišují.

U dokumentového asistenta uchovávejte identifikátory kandidátů společně s jejich textem, ohodnoťte dvojice otázky a pasáže a vybrané původní pasáže předejte kroku vytvářejícímu odpověď. Model vytvářející odpověď pak obdrží důkazy namísto samotného skóre relevance bez zdroje. Jde o ukázkový postup vyhledávání; reranker sám neprohledává externí kolekci ani nepíše odpověď.

Čtení a normalizace skóre

Výrobce vrací surová skóre relevance; vyšší hodnota znamená bližší shodu. Zdokumentovaná volitelná normalizace používá sigmoidní funkci, která převede skóre do intervalu od 0 do 1. Normalizované skóre má praktický rozsah, samotná transformace však nezajišťuje kalibrovanou pravděpodobnost správnosti kandidáta.

Prahy pro řazení nebo filtrování volte na reprezentativních dvojicích dotazu a pasáže z vlastní pracovní zátěže. Zahrňte pasáže se stejnými klíčovými slovy, které odpovídají na jinou otázku, i relevantní pasáže s odlišnou formulací. Zvolený práh tak bude smysluplný pro prohledávanou kolekci.

U projektu s Ailoot API určete obsah výsledného kontextu a počet kandidátů, které lze účinně posoudit. Užitečným výsledkem je lépe seřazená sada důkazů pro další krok aplikace. Výstup relevance této varianty oddělujte od embeddingů dokumentů, generovaného textu a ovládání výběru vrstev zdokumentovaného pro jiné rerankery.