VoyageAI by MongoDB: rerank-2.5-lite

A rerank-2.5-lite a Voyage AI 2.5 újrarangsoroló kiadásának könnyű tagja. A gyártó általános célú modellként írja le, amely egyensúlyt teremt a késleltetés és a relevanciaminőség között, természetes nyelvű utasításkövetéssel és többnyelvű támogatással. Bemenete lekérdezés és jelölt szövegek, kimenete pedig e jelöltek pontosított sorrendje relevanciapontszámokkal.

Könnyű, második szakaszbeli relevanciadöntés

A Lite modell cross-encoderként együtt dolgozza fel minden lekérdezés–dokumentum párt. Első szakaszbeli embeddingalapú vagy lexikális keresést követhet, pontosítva az ott kiválasztott szövegrészleteket. Ez különbözik az újrafelhasználható embeddingindex előkészítésétől: az újrarangsoroló az aktuális relevanciadöntéshez együtt vizsgálja a beküldött lekérdezést és dokumentumszöveget.

Interaktív súgókeresésnél add meg azokat a jelölt magyarázatokat, amelyek megválaszolhatják a felhasználó kérdését. Minden szövegrészletből tarts meg eleget ahhoz, hogy a viselkedést és annak feltételeit közvetítse, és őrizd meg a bemeneti index és a forrástétel kapcsolatát. A célzott jelöltkészlet segít egyértelművé tenni az újrarangsorolási feladatot, miközben a visszakeresett bizonyíték megjelenítésre vagy későbbi válaszhoz is használható marad.

Az utasítások fejezik ki, mit akar a felhasználó előnyben részesíteni

A rerank-2.5 modellhez hasonlóan a Lite a lekérdezés előtt vagy után természetes nyelvű utasításokat fogad. A készítő példái dokumentumösszetevők hangsúlyozására, előnyben részesített forrástípus kiválasztására vagy kétértelmű szó kontextussal való kiegészítésére használják őket. Az alkalmazás állandó relevanciapreferenciát adhat meg, vagy az aktuális kérdés tartalmazhat egy konkrétabbat.

Egy szemléltető támogatási lekérdezés megkérdezheti, melyik szövegrészlet magyaráz egy hibát, olyan utasítással, amely az általános termékleírásokkal szemben a hibaelhárítási lépéseket részesíti előnyben. Dokumentumkeresésnél az eredeti szabályzatszöveget kérheted a szabályzat megvitatása helyett. Írd le a kívánt bizonyítékot, és tartsd tömören az utasítást. Az utasítások befolyásolják a relevanciapontszámokat; a szigorú verzió-, dátum- vagy jogosultsági korlátozásokat a jelöltválasztásban készítsd elő, ne garantált szűrőként kezeld a relevanciapreferenciát.

Olvasd a rangsort, és add vissza a forrásrészletet

A kimenet csökkenő relevanciasorrendű. Minden eredmény tartalmazza az eredeti dokumentumindexet és egy lebegőpontos pontszámot; az opcionális return-documents beállítás a megfelelő bemeneti szöveget is visszaadja. A top-k lehetőség határozza meg a visszaadott vezető eredmények számát, elhagyása pedig minden beküldött jelölt rangsorát adja vissza.

Ezekkel az indexekkel keresd vissza a forrásrészletet és azonosítóját. Az újrarangsorolt jelölt keresési találattá vagy a következő RAG-lépés bizonyítékává válhat, de a kimenet a megadott szöveg sorrendje, nem átírt válasz. Értékeld, hogy a vezető szövegrészletek a kérdést és a relevanciautasítást egyaránt teljesítik-e, a gyűjteményben ténylegesen jelen lévő nyelveken és dokumentumtípusokon is.

Korlátok és gyakorlati jelöltkeret

A 2.5 Lite kiadás dokumentált lekérdezési maximuma 8 000 token, a lekérdezés és minden egyes dokumentum együttes korlátja pedig 32 000 token. Különbözik a korábbi rerank-2-lite modelltől és annak kisebb kontextusától. Legfeljebb 1 000 dokumentum küldhető be, a teljes bemenet pedig 600 000 tokenre korlátozott a következő képlet szerint: a lekérdezés tokenjei szorozva a jelöltek számával, plusz a jelölt dokumentumok tokenjeinek összege.

Késleltetésérzékeny használathoz a készítő GYIK-je a rerank-2.5-lite modellt kérésenként legfeljebb 200 000 összes tokennel ajánlja. Ez a megadott maximumnál alacsonyabb gyakorlati útmutatás, nem eltérő dokumentumonkénti ablak. A hosszabb lekérdezés vagy utasítás minden jelöltpárnál egyszer számít bele, ezért a jelöltszám és a lekérdezéshossz is befolyásolja az összesítést.

A csonkolás alapértelmezés szerint engedélyezett, és lerövidíti a túl hosszú lekérdezés-/dokumentumbemenetet, hogy elférjen; kikapcsolása túl hosszú lekérdezésnél vagy párnál hibát ad. Tudatosan készíts elő tömör, választ hordozó jelölteket, hogy a hasznos bizonyíték ne maradjon a csonkolási határon túl. Kevesebb kimeneti eredmény top-k-val történő kiválasztása nem távolítja el a többi beküldött jelöltet a tokenszámításból. Vizsgáld meg a visszaadott forrásrészleteket, és a bemenet előkészítését a keresőfelület ténylegesen megválaszolandó kérdéseihez igazítsd.