VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite je odlehčený člen vydání modelů pro řazení podle relevance 2.5 společnosti Voyage AI. Výrobce jej popisuje jako univerzální model vyvažující latenci a kvalitu relevance s dodržováním pokynů v přirozeném jazyce a vícejazyčnou podporou. Vstupem je dotaz a kandidátní texty a výstupem zpřesněné pořadí těchto kandidátů se skóre relevance.

Odlehčené rozhodování o relevanci ve druhé fázi

Model Lite společně zpracovává každou dvojici dotaz–dokument jako cross-encoder. Může navázat na první fázi embeddingového nebo lexikálního vyhledávání a zpřesnit pasáže, které tato fáze vybrala. To se liší od přípravy opakovaně použitelného embeddingového indexu: model pro řazení podle relevance pro aktuální rozhodnutí o relevanci společně zkoumá odeslaný dotaz a text dokumentu.

Pro interaktivní vyhledávání v nápovědě odešlete kandidátní vysvětlení, která by mohla odpovědět na otázku uživatele. Z každé pasáže ponechte dostatek pro sdělení chování a jeho podmínek a zachovejte vazbu mezi vstupním indexem a zdrojovou položkou. Vymezená sada kandidátů pomáhá zpřehlednit úlohu změny pořadí a současně ponechává vyhledané podklady použitelné pro zobrazení nebo pozdější odpověď.

Pokyny vyjadřují, čemu chce uživatel dát přednost

Stejně jako rerank-2.5 přijímá Lite pokyny v přirozeném jazyce před dotazem nebo za ním. Příklady výrobce je používají ke zdůraznění částí dokumentu, výběru preferovaného typu zdroje nebo přidání kontextu k nejednoznačnému slovu. Aplikace může dodat stálou preferenci relevance nebo může aktuální otázka obsahovat konkrétnější preferenci.

Ilustrační dotaz podpory se může ptát, která pasáž vysvětluje chybu, s pokynem upřednostnit kroky řešení problémů před obecnými popisy produktu. Vyhledávání dokumentů může požadovat původní znění pravidel místo diskuse o nich. Popište zamýšlené podklady a pokyn ponechte stručný. Pokyny ovlivňují skóre relevance; případná přísná omezení verze, data nebo oprávnění připravte při výběru kandidátů místo považování preference relevance za zaručený filtr.

Přečtěte pořadí a vraťte zdrojovou pasáž

Výstup je seřazen sestupně podle relevance. Každý výsledek obsahuje původní index dokumentu a skóre ve formátu s plovoucí řádovou čárkou; volitelné nastavení return-documents vrací také odpovídající vstupní text. Volba top-k určuje počet vrácených předních výsledků; při jejím vynechání se vrací pořadí všech odeslaných kandidátů.

Pomocí těchto indexů dohledáte zdrojovou pasáž a její identifikátor. Kandidát s upraveným pořadím se může stát výsledkem vyhledávání nebo podkladem pro další krok RAG, ale výstupem je pořadí dodaného textu, nikoli přepsaná odpověď. Posuďte, zda přední pasáže splňují otázku i pokyn k relevanci, a to i pro jazyky a typy dokumentů skutečně přítomné ve sbírce.

Limity a praktický rozpočet kandidátů

Edice 2.5 Lite má dokumentované maximum dotazu 8 000 tokenů a limit 32 000 tokenů pro dotaz a každý jednotlivý dokument. Je odlišná od dřívějšího modelu rerank-2-lite a jeho menšího kontextu. Odeslat lze nejvýše 1 000 dokumentů a celkový vstup je omezen na 600 000 tokenů podle vzorce: tokeny dotazu násobené počtem kandidátů plus součet tokenů kandidátních dokumentů.

Pro použití citlivé na latenci doporučují časté otázky výrobce rerank-2.5-lite s nejvýše 200 000 tokeny celkem na požadavek. Jde o praktické doporučení pod uvedeným maximem, nikoli jiné okno pro jednotlivý dokument. Delší dotaz nebo pokyn se započítává jednou za každou dvojici dotaz–dokument, takže celkový součet ovlivňuje počet kandidátů i délka dotazu.

Zkracování je ve výchozím stavu zapnuté a příliš dlouhý vstup dotazu či dokumentu zkrátí, aby se vešel; jeho vypnutí vrací u příliš dlouhého dotazu nebo dvojice chybu. Kompaktní kandidáty obsahující odpověď připravujte záměrně, aby užitečné podklady nezůstaly za hranicí zkrácení. Výběr menšího počtu výstupních výsledků pomocí top-k neodstraňuje ostatní dodané kandidáty z výpočtu tokenů. Prozkoumejte vrácené zdrojové pasáže a upřesňujte přípravu vstupu podle skutečných otázek, na které má vyhledávací rozhraní odpovídat.