Voyage AI: Voyage Context 3

A Voyage Context 3 kontextussal kiegészített részletbeágyazásokat készít dokumentumok visszakereséséhez. Minden részlet saját vektort kap, miközben a modell az ugyanabból a dokumentumból megadott többi részletet is figyelembe veszi. Így a keresőrendszer a helyi szövegrészlet reprezentációját tágabb dokumentumkontextussal együtt kapja meg, például a forrás más pontján bemutatott entitással vagy témával.

Minden dokumentumot olvasható szövegrészletek rendezett sorozataként készíts elő. Egy dokumentum részleteit tartsd együtt, és őrizd meg az eredeti sorrendjüket. A gyártó kontextualizált munkafolyamatában minden belső csoport egyetlen forrás részleteit tartalmazza, a külön csoportok pedig külön forrásokat jelentenek. Ez a csoportosítás a bemenet jelentésének része: jelzi a modellnek, hogy mely környező szöveg tartozik az ábrázolt dokumentumhoz.

Hasznos példa egy jelentés, amelynek eleje azonosítja a vállalatot, egy későbbi bekezdése pedig a növekedését magyarázza. A vállalat növekedésére irányuló kereséshez a konkrét bekezdés és a dokumentum azonossága egyaránt szükséges. Az eredeti részletszöveget és a hozzá tartozó dokumentum metaadatait tartsd együtt az eredményül kapott vektorral, hogy a találat megjeleníthesse a szövegrészletet, és a teljes forrásra hivatkozhasson.

A gyártó referenciadokumentációja kérésenként összesen legfeljebb 120 000 tokent, legfeljebb 1 000 bemeneti csoportot és összesen 16 000 részletet dokumentál. A modell útmutatója ettől külön részletenként 32 000 tokenes ablakot ad meg. Az anyag előkészítésekor tartsd külön ezeket a hatóköröket: egyetlen részlet és a teljes kérés korlátja eltérő bemeneti méretet ír le. A forrás felosztása után ellenőrizd az összesített mennyiséget, ahelyett, hogy feltételeznéd, ugyanabban a kérésben minden részlet kitöltheti a saját maximumát.

Dokumentumkereséshez a csoportosított szövegrészleteket dokumentumbemenetként jelöld. Minden keresési kérdést önálló lekérdezéscsoportként készíts elő. A gyártó egymást át nem fedő dokumentumrészleteket javasol, így a kontextualizált reprezentáció a környező információt anélkül hordozhatja, hogy minden részletben megismételné a szöveget. Az index írásakor őrizd meg a dokumentumcsoport, a részlet pozíciója és a visszaadott vektor közötti megfeleltetést.

A Voyage Context 3 2 048, 1 024, 512 és 256 dimenziót támogat, lebegőpontos, nyolcbites egész és bináris kimeneti lehetőségekkel. Válassz reprezentációt az indexhez, és ugyanazokkal a forrásdokumentumokkal és kérdésekkel értékeld. A kiválasztott dimenziót és adattípust tartsd az index mellett, hogy a lekérdezés reprezentációja és a tárolt vektorok következetesek maradjanak.

Az eredményül kapott vektorokat szövegrészletek kereséséhez, dokumentumok felkutatásához vagy jelentésekkel, kutatási tanulmányokkal, szerződésekkel és műszaki kézikönyvekkel dolgozó asszisztens visszakeresési szakaszához használhatod. A találat egy célzott szövegrészletet azonosíthat, miközben a forráshivatkozás hozzáférést ad a dokumentum más részeiben szereplő meghatározásokhoz és feltételekhez. A dokumentumverziókat és jogosultságokat alkalmazási metaadatként őrizd meg a vektorok mellett.

Olyan kérdéseket tesztelj, amelyek helyi részletet és dokumentumszintű kontextust egyaránt igényelnek. Szerepeljenek különböző források hasonló részletei, csak a dokumentum elején bemutatott névvel azonosított entitások, valamint olyan kérdések, amelyek bizonyítékai több szakaszra terjednek ki. Vizsgáld meg, hogy az elvárt részletet keresi-e vissza a rendszer, és az alkalmazás elég környező szöveget mutat-e az értelmezéséhez. Forrásmódosuláskor tudatosan generáld újra az érintett dokumentumcsoportot, hogy a kontextualizált részletei egyetlen, összefüggő verziónak feleljenek meg.