VoyageAI by MongoDB: rerank-3-lite

A Voyage rerank-3-lite a Voyage Rerank 3 sorozatának késleltetésre összpontosító kiadása. Szöveges lekérdezést és jelölt dokumentumokat fogad, együtt értékel minden lekérdezés–dokumentum párt, és rangsorolt sorrendben ad vissza relevanciapontszámokat. A keresés második szakaszát szolgálja: egy embeddingalapú vagy kulcsszavas visszakereső megtalálja a jelölteket, majd a Lite pontosítja a sorrendjüket. Az eredmény keresésben vagy visszakereséssel kiegészített generálási munkafolyamatban használható rangsor.

Mi változik a Rerank 3 Lite kiadásban A készítő a rerank-2.5-lite modellhez képest jobb visszakeresést hangsúlyoz hosszú dokumentumokon és kódon. Mindkét Rerank 3 kiadás megtartja az utasításkövetést és ugyanazt a 32K kontextusosztályt, míg a Lite késleltetésérzékeny alkalmazásokhoz készült. Így gyakorlati jelölt interaktív tudásbázis-kereséshez, támogatási dokumentumok visszakereséséhez és kódkereséshez, amikor a felhasználóknak gyorsan kellenek releváns találatok. A tényleges gyűjtemény minőségi és válaszidő-követelményei alapján válaszd, ne abból indulj ki, hogy a kisebb kiadás kisebb kontextusablakot jelent.

Irányítsd a relevanciát a lekérdezéssel A lekérdezést természetes nyelvű utasítások kísérhetik, amelyek elmagyarázzák, mi számít relevánsnak. A kérdés és a relevanciapreferencia legyen tömör és egymással összhangban. Szoftvertámogatási keresésnél használhatod ezt: „Keresd meg az eszköz visszaállításának eljárását; részesítsd előnyben a megadott hardverrevízióhoz tartozó utasításokat.” Kétértelmű terméknévnél add meg a termékkategóriát, hogy az oda nem tartozó jelentések ne kerüljenek túlsúlyba. A lekérdezés preferenciája a szemantikai pontozást irányítja; a jelöltlista összeállítása előtt kifejezett gyűjteménymetaadatokkal válaszd ki a helyes terméket, dokumentumverziót vagy hozzáférési hatókört.

Készíts rövid listát a szöveges jelöltekből A bemeneti dokumentumok karakterláncok. Nyerj ki olvasható szöveget a forrásanyagból, és őrizd meg a hasznos címeket, címsorokat, azonosítókat és környező kontextust. Tarts stabil megfeleltetést minden bemeneti pozíció és az eredeti rekord között. Hibaelhárítási cikknél a tünetet és a releváns eljárást is add meg, ne csak egy kiragadott mondatot. Forráskódkeresésnél mellékeld a függvényt és a közeli információt, amely megkülönbözteti a hasonló nevű függvényektől. Távolítsd el az ismétlődő navigációt vagy sablonszöveget, ha kiszorítja a hasznos szövegrészletet.

Az újrarangsoroló csak a megkapott dokumentumokat tudja átrendezni. Ha az első keresés nem találja meg a releváns cikket, ez a szakasz nem tudja visszahozni a hiányzó jelöltet. Ha egy eredmény hibásnak tűnik, a rövid listát és a végső sorrendet is vizsgáld meg. Ha egy hosszú dokumentum sok témát fed le, bontsd összefüggő szakaszokra, és őrizd meg az eredeti dokumentumra mutató hivatkozásaikat, hogy a releváns szakasz a forrás elvesztése nélkül kiválasztható legyen.

Kontextus és kérési korlátok A készítő jelenlegi útmutatója legfeljebb 8 000 tokent ad meg a lekérdezéshez, és összesen legfeljebb 32 000 tokent a lekérdezés és minden egyes dokumentum együtteséhez. Legfeljebb 1 000 jelölt dokumentumot és 600 000 token teljes kérési keretet enged, amelyet a lekérdezés tokenjeinek dokumentumszámmal vett szorzata és az összes dokumentum tokenjeinek összege ad. A hosszú lekérdezés ezért minden párban helyet fogyaszt, és ismételten beleszámít az összesített keretbe. A beküldött szöveget a megfelelő modelltokenizálóval számold, ne kezeld felcserélhetőként a karaktereket, szavakat és tokeneket.

Például egy 500 tokenes lekérdezés 100, egyenként 4 000 tokenes dokumentummal e képlet szerint 450 000 bemeneti tokent jelent. Ez a kerettervezést szemlélteti, nem ajánlott listaméret vagy mért sebességi eredmény. A dokumentált csonkolási lehetőség alapértelmezés szerint engedélyezett; a túlméretes szöveg pontozás előtt rövidülhet. A fontos szakaszokat tudatosan készítsd elő, hogy a csonkolás ne éppen az egyeztetni kívánt szövegrészletet távolítsa el.

Olvasd és használd az eredményt Az eredmények a legmagasabb relevanciapontszámtól lefelé rendezve érkeznek. Minden eredmény megadja a dokumentum eredeti bemeneti pozícióját, így az alkalmazás hozzárendelheti a saját címét, rekordazonosítóját és forrását. A top_k beállítás szabályozza, hány rangsorolt jelöltet kap vissza; nélküle minden jelölt visszatér. A készítő REST-felülete a dokumentumszöveget is visszaadhatja. Az eredeti azonosítókat őrizd meg a kiválasztott eredmények mellett keresőoldal megjelenítésekor vagy bizonyíték válaszgenerálási lépésnek történő átadásakor.

A relevanciapontszám azt fejezi ki, mennyire illik egy jelölt a lekérdezéshez; nem igazolja, hogy a jelölt állításai helyesek. A legelőrébb sorolt tételeket vesd össze a felhasználó tényleges kérdésével, a kizárásokat és dokumentumverzió-eltéréseket is beleértve. Ha minden jelölt irreleváns, akkor is lesz legelőrébb sorolt tétel. A gyűjtemény reprezentatív lekérdezéseivel döntsd el, hogyan kezelje ezt az alkalmazás.

Frissítés és kiadásválasztás A készítő a rerank-3-lite modellt a rerank-2.5-lite frissítéseként írja le, változatlan API-szemantikával és az adott előd eloszlásához kalibrált pontszámokkal. Őrizd meg a meglévő rekordmegfeleltetést és visszakeresési szakaszt, majd érdemi lekérdezéseken hasonlítsd össze a kapott sorrendet, mielőtt egy korábban beállított pontszámküszöbre hagyatkozol. A Lite kiadást olyan keresési élményhez használd, ahol a válaszidő fontos; a minőségre összpontosító rerank-3 kiadást pedig összehasonlításként, ha a nehéz jelöltek relevanciája az erősebb prioritás.