VoyageAI by MongoDB: rerank-2.5

A rerank-2.5 a Voyage AI utasításkövető újrarangsorolója, amely keresési jelöltkészlet pontosítására készült. Cross-encoderként együtt vizsgálja a lekérdezést és minden dokumentumot, majd relevanciasorrendet ad vissza. A készítő kiadása annak természetes nyelvű szabályozását hangsúlyozza, mi számít relevánsnak, továbbá a többnyelvű visszakeresést és az előző rerank-2 kiadásénál hosszabb lekérdezés–dokumentum kontextust.

Add meg a modellnek az összehasonlítandó jelölteket

A bemenet egy lekérdezés és jelölt szöveges dokumentumok listája. Ezek embeddingalapú keresés vagy lexikális első szakaszbeli keresés által kiválasztott szövegrészletek lehetnek. Az újrarangsoroló a megadott szöveget értékeli, nem korpuszembeddingeket készít, ezért gyakorlati feladata az első keresés által már megtalált jelöltek pontosítása.

A lista előkészítésekor tartsd meg az eredeti jelöltsorrendet és a forrásazonosítókat. A visszaadott indexek ezekre a bemeneti pozíciókra utalnak. RAG-feladatnál azokat a szövegrészleteket add meg, amelyeket a válaszadási szakasz ténylegesen használhat, beleértve az értelmezésükhöz szükséges címet vagy feltételeket. A beküldött jelöltkészletből hiányzó releváns dokumentum nem jelenhet meg az újrarangsorolás újonnan megtalált eredményeként.

Határozd meg a kívánt relevanciafogalmat

Az utasítások a lekérdezés mögé vagy elé illeszthetők. A kiadás három hasznos szerepet ír le: dokumentum egy konkrét részének hangsúlyozását, forrástípus előnyben részesítését és a lekérdezés egyértelműsítését az alkalmazás kontextusával. Ezek módosítják a modell elé állított relevanciafeladatot.

Műszaki keresésnél szemléltető utasítás lehet: „Részesítsd előnyben a hibát és a helyreállítási viselkedést magyarázó szövegrészleteket; a bevezető áttekintések másodlagosak.” Kutatási gyűjteménynél határozd meg, hogy a cím, a módszer vagy az eredmény a legfontosabb. Kétértelmű kifejezésnél nevezd meg a keresés tárgyterületét. A kérdés és az utasítás legyen összeegyeztethető, hogy az egyik ne tág témát kérjen, miközben a másik észrevétlenül megváltoztatja a feladatot.

Ezek a preferenciák a relevanciapontozást irányítják. Ha az alkalmazásnak szigorú jogosultsági követelményei vannak – például forrásverzió, dátum vagy hozzáférési hatókör –, a megfelelő jelöltkészletet külön készítsd elő. A modell relevanciautasítása és a gyűjtemény determinisztikus korlátozása eltérő célokat szolgál.

Rangsorolt kimenet és az eredmény későbbi felhasználása

Az eredmények csökkenő relevanciasorrendben érkeznek, és lebegőpontos relevanciapontszámot, valamint a jelölt eredeti bemeneti indexét tartalmazzák. A top-k lehetőség kiválasztja, hány vezető eredmény térjen vissza; nélküle a gyártó specifikációja minden beküldött jelölthöz visszaad eredményt. Az opcionális return-documents beállítás mellékeli a megfelelő forrásszöveget; egyébként a válasz indexeket és pontszámokat tartalmaz.

A sorrendet használd megjelenítendő vagy egy későbbi válaszadási szakasznak átadandó szövegrészletek kiválasztására, forrásazonosságuk megőrzésével. A rangsor értékelésekor vizsgáld meg a tényleges szöveget: a pontszám a beküldött lekérdezéshez való relevancia mértéke, nem generált válasz vagy annak igazolása, hogy a dokumentum állításai helyesek. Így a modell műszaki, jogi, pénzügyi, orvosi, társalgási és többnyelvű keresési anyagok pontosítására használható anélkül, hogy a rangsort szakterületi következtetéssé alakítaná.

Kontextus, teljes tokenkeret és csonkolás

A dokumentált lekérdezési korlát 8 000 token, a lekérdezésbe helyezett utasításokat is beleértve. A lekérdezésnek és bármely egyetlen jelölt dokumentumnak 32 000 tokenen belül kell elférnie, a dokumentumlista pedig legfeljebb 1 000 tételt tartalmazhat. A teljes keret 600 000 token, amely a lekérdezés tokenjeinek dokumentumszámmal vett szorzatából és az összes dokumentum tokenjeiből áll. A hosszú utasítás ezért ismételten beleszámít a jelöltpároknál.

A kimeneti top-k darabszám nem változtatja meg a bemeneti tokenszámításban szereplő jelöltek számát. Az alapértelmezett csonkolás a kontextuskorlát betartására rövidíti a túl hosszú lekérdezéseket vagy dokumentumokat; kikapcsolásakor a túl hosszú lekérdezés vagy pár hibát ad. Tudatosan készíts elő választ hordozó szövegrészleteket, és tartsd meg a releváns feltételt a modell által látott szövegen belül. Értékeld a pontosított sorrendet reprezentatív kérdéseken és utasításokon, majd add tovább a kiválasztott eredeti szövegrészleteket a következő szakasznak.