VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite je edice řady Rerank 3 společnosti Voyage zaměřená na nízkou latenci. Přijímá textový dotaz a kandidátní dokumenty, vyhodnocuje každou dvojici dotaz–dokument společně a vrací skóre relevance v seřazeném pořadí. Slouží jako druhá fáze vyhledávání: vyhledávač založený na embeddingu nebo klíčových slovech najde kandidáty a Lite poté zpřesní jejich pořadí. Výsledkem je pořadí použitelné při vyhledávání nebo v postupu generování rozšířeného o vyhledávání.

Co se mění v Rerank 3 Lite Výrobce zdůrazňuje lepší vyhledávání v dlouhých dokumentech a kódu oproti rerank-2.5-lite. Obě edice Rerank 3 zachovávají dodržování pokynů a stejnou třídu kontextu 32K, zatímco Lite je navržen pro aplikace citlivé na latenci. Je tak praktickým kandidátem pro interaktivní vyhledávání ve znalostní bázi, hledání dokumentace podpory a kódu, když uživatelé potřebují relevantní výsledky rychle. Vybírejte jej podle požadavků na kvalitu a odezvu skutečné sbírky místo předpokladu, že menší edice znamená menší kontextové okno.

Usměrněte relevanci dotazem Dotaz mohou doprovázet pokyny v přirozeném jazyce vysvětlující, co se považuje za relevantní. Otázku i preferenci relevance formulujte stručně a vzájemně konzistentně. Pro vyhledávání v softwarové podpoře použijte „Najděte postup resetování zařízení; upřednostněte pokyny pro uvedenou revizi hardwaru.“ U nejednoznačného názvu produktu přidejte kategorii produktu, aby nepřevládly nesouvisející významy. Preference v dotazu usměrňuje sémantické hodnocení; před sestavením seznamu kandidátů vyberte správný produkt, verzi dokumentu nebo rozsah přístupu pomocí výslovných metadat sbírky.

Připravte užší seznam textových kandidátů Vstupní dokumenty jsou řetězce. Ze zdrojových podkladů vytěžte čitelný text a zachovejte užitečné názvy, nadpisy, identifikátory a okolní kontext. Udržujte stabilní mapování každé vstupní pozice na původní záznam. U článku pro řešení problémů přiložte příznak a příslušný postup, nejen vytrženou větu. Při vyhledávání ve zdrojovém kódu přiložte funkci a okolní informace potřebné k odlišení od podobně pojmenovaných funkcí. Opakující se navigaci nebo šablonovitý text odstraňte, pokud vytlačují užitečnou pasáž.

Model pro řazení podle relevance může změnit pořadí pouze dokumentů, které obdrží. Pokud první vyhledávání relevantní článek vůbec nenajde, tato fáze chybějícího kandidáta nezíská zpět. Zdá-li se výsledek chybný, prozkoumejte užší seznam i konečné pořadí. Pokud dlouhý dokument pokrývá mnoho témat, oddělte soudržné části a zachovejte odkazy na jejich nadřazený dokument, aby šlo vybrat relevantní část bez ztráty zdroje.

Limity kontextu a požadavku Aktuální průvodce výrobce uvádí maximum dotazu 8 000 tokenů a společné maximum 32 000 tokenů pro dotaz a každý jednotlivý dokument. Umožňuje až 1 000 kandidátních dokumentů a celkový rozpočet požadavku 600 000 tokenů, počítaný jako tokeny dotazu násobené počtem dokumentů plus všechny tokeny dokumentů. Dlouhý dotaz tedy spotřebovává prostor v každé dvojici a opakovaně přispívá k souhrnnému rozpočtu. Odesílaný text počítejte příslušným tokenizérem modelu místo považování znaků, slov a tokenů za zaměnitelné.

Například dotaz o 500 tokenech se 100 dokumenty po 4 000 tokenech představuje podle tohoto vzorce 450 000 vstupních tokenů. To ilustruje plánování rozpočtu, nikoli doporučenou velikost užšího seznamu nebo změřenou rychlost. Dokumentovaná volba zkracování je ve výchozím stavu zapnutá; příliš rozsáhlý text se může před hodnocením zkrátit. Důležité části připravte záměrně, aby zkrácení neodstranilo právě pasáž, kterou potřebujete přiřadit.

Čtení a použití výsledku Výsledky jsou seřazeny sestupně od nejvyššího skóre relevance. Každý výsledek označuje původní vstupní pozici dokumentu, což aplikaci umožňuje připojit vlastní název, identifikátor záznamu a zdroj. Nastavení top_k řídí počet vrácených seřazených kandidátů; bez něj se vracejí všichni kandidáti. Rozhraní REST výrobce může vracet také text dokumentu. Při zobrazení stránky vyhledávání nebo předávání podkladů do generování odpovědi zachovejte u vybraných výsledků původní identifikátory.

Skóre relevance vyjadřuje, jak dobře kandidát odpovídá dotazu; nedokládá správnost jeho tvrzení. Nejvýše umístěné položky porovnejte se skutečnou otázkou uživatele, včetně vyloučení a rozdílů mezi verzemi dokumentů. Pokud jsou všichni kandidáti nerelevantní, nejvýše umístěná položka stále existuje. Pomocí reprezentativních dotazů ze sbírky rozhodněte, jak vaše aplikace tento případ zpracuje.

Přechod a volba edice Výrobce popisuje rerank-3-lite jako vylepšení rerank-2.5-lite s nezměněnou sémantikou API a skóre kalibrovanými na rozdělení odpovídajícího předchůdce. Zachovejte stávající mapování záznamů a fázi vyhledávání a poté porovnejte výsledné pořadí na smysluplných dotazech, než se spolehnete na zavedenou prahovou hodnotu skóre. Lite použijte pro vyhledávání, kde záleží na odezvě; pokud má větší prioritu relevance u obtížných kandidátů, použijte k porovnání edici rerank-3 zaměřenou na kvalitu.