Voyage AI: Voyage Context 3

Voyage Context 3 produserer kontekstualiserte innbygginger av dokumentdeler for dokumentgjenfinning. Hver del får sin egen vektor, samtidig som modellen også tar hensyn til de andre delene som er oppgitt fra samme dokument. Dette gir et gjenfinningssystem en representasjon av det lokale avsnittet sammen med en bredere dokumentkontekst, som en enhet eller et tema introdusert et annet sted i kilden.

Klargjør hvert dokument som en ordnet sekvens av lesbare tekstdeler. Hold delene fra ett dokument samlet og behold originalrekkefølgen. I produsentens kontekstualiserte prosess inneholder hver indre gruppe delene fra én kilde, mens separate grupper representerer separate kilder. Grupperingen er en del av inndataenes mening: den forteller modellen hvilken omkringliggende tekst som tilhører dokumentet som representeres.

Et nyttig tilfelle er en rapport der innledningen identifiserer selskapet, mens et senere avsnitt forklarer veksten. Et søk etter dette selskapets vekst trenger både det konkrete avsnittet og dokumentidentiteten. Behold den opprinnelige delteksten og metadataene for dokumentet den tilhører, sammen med den resulterende vektoren, slik at resultatet kan vise avsnittet og lenke til hele kilden.

Produsentens referanse dokumenterer opptil 120000 tokener i én forespørsel, med maksimalt 1000 inndatagrupper og totalt 16000 dokumentdeler. Modellveiledningen oppgir separat et vindu på 32000 tokener per del. Hold disse avgrensningene adskilt når materialet klargjøres: en grense for én del og en grense for hele forespørselen beskriver forskjellige inndatastørrelser. Kontroller totalsummen etter at kilden er delt, fremfor å anta at hver enkelt del kan fylle sin maksimale størrelse i samme forespørsel.

For dokumentgjenfinning identifiseres de grupperte avsnittene som dokumentinndata. Klargjør hvert søkespørsmål som sin egen spørringsgruppe. Produsenten anbefaler at de oppgitte dokumentdelene ikke overlapper, slik at den kontekstualiserte representasjonen kan ta med omkringliggende informasjon uten å gjenta tekst i hvert avsnitt. Behold sammenhengen mellom dokumentgruppe, delens plassering og returnert vektor når indeksen lagres.

Voyage Context 3 støtter 2048, 1024, 512 og 256 dimensjoner, med flyttall, åttebits heltall og binære utdata som valgmuligheter. Velg en indeksrepresentasjon og vurder den mot de samme kildedokumentene og spørsmålene. Behold valgt dimensjon og datatype sammen med indeksen, slik at spørringsrepresentasjonen og de lagrede vektorene forblir konsistente.

Bruk de resulterende vektorene i avsnittssøk, dokumentfunn eller gjenfinningstrinnet til en assistent som arbeider med rapporter, forskningsartikler, kontrakter eller tekniske håndbøker. Et resultat kan identifisere et avgrenset avsnitt, mens kildelenken gir tilgang til definisjoner og forbehold andre steder i dokumentet. Behold dokumentversjoner og tilgangsrettigheter som applikasjonsmetadata sammen med vektorene.

Test spørsmål som krever både en lokal detalj og kontekst på dokumentnivå. Ta med lignende avsnitt fra forskjellige kilder, navngitte enheter som bare introduseres i begynnelsen, og spørsmål med kildegrunnlag som strekker seg over flere seksjoner. Undersøk om den forventede delen hentes frem, og om applikasjonen viser nok omkringliggende tekst til å tolke den. Når en kilde endres, generer den berørte dokumentgruppen på nytt bevisst, slik at de kontekstualiserte delene svarer til én sammenhengende versjon.