Voyage AI: Voyage Context 3

Voyage Context 3 producerer kontekstualiserede segmentembeddings til dokumentgenfinding. Hvert segment får sin egen vektor, mens modellen også tager højde for de øvrige leverede segmenter fra samme dokument. Det giver et genfindingssystem en repræsentation af den lokale passage sammen med bredere dokumentkontekst, f.eks. en entitet eller et emne introduceret et andet sted i kilden.

Forbered hvert dokument som en ordnet sekvens af læsbare tekstsegmenter. Hold segmenterne fra ét dokument samlet, og bevar deres oprindelige rækkefølge. I producentens kontekstualiserede arbejdsgang indeholder hver indre gruppe segmenterne fra én kilde, og særskilte grupper repræsenterer særskilte kilder. Denne gruppering er en del af inputtets betydning: Den fortæller modellen, hvilken omgivende tekst der hører til det dokument, som repræsenteres.

Et nyttigt tilfælde er en rapport, hvis indledning identificerer virksomheden, mens et senere afsnit forklarer dens vækst. En søgning efter den virksomheds vækst kræver både det konkrete afsnit og dokumentidentiteten. Gem den oprindelige segmenttekst og metadata om det overordnede dokument sammen med den resulterende vektor, så resultatet kan vise passagen og linke til den komplette kilde.

Producentens reference dokumenterer op til 120.000 tokens på tværs af en anmodning med højst 1.000 inputgrupper og 16.000 segmenter i alt. Modelvejledningen angiver særskilt et vindue på 32.000 tokens pr. segment. Hold disse afgrænsninger adskilt under materialeforberedelsen: En grænse for ét segment og en grænse for hele anmodningen beskriver forskellige inputstørrelser. Kontrollér totalen efter opdeling af kilden frem for at antage, at hvert enkelt segment kan fylde sit maksimum i samme anmodning.

Identificér de grupperede passager som dokumentinput til dokumentgenfinding. Forbered hvert søgespørgsmål som sin egen forespørgselsgruppe. Producenten anbefaler ikke-overlappende leverede dokumentsegmenter, så den kontekstualiserede repræsentation kan medtage omgivende oplysninger uden at gentage tekst i hver passage. Bevar forbindelsen mellem dokumentgruppe, segmentposition og returneret vektor, når indekset skrives.

Voyage Context 3 understøtter 2.048, 1.024, 512 og 256 dimensioner med outputvalg i flydende tal, ottebitheltal og binære værdier. Vælg en indeksrepræsentation, og evaluér den mod de samme kildedokumenter og spørgsmål. Gem den valgte dimension og datatype sammen med indekset, så forespørgselsrepræsentationen og de lagrede vektorer forbliver ensartede.

Brug de resulterende vektorer i passagesøgning, dokumentsøgning eller genfindingstrinnet i en assistent, der arbejder med rapporter, forskningsartikler, kontrakter eller tekniske manualer. Et resultat kan identificere en afgrænset passage, mens kildelinket giver adgang til definitioner og forbehold andre steder i dokumentet. Bevar dokumentversioner og tilladelser som applikationsmetadata sammen med vektorerne.

Test spørgsmål, der kræver både en lokal detalje og kontekst på dokumentniveau. Medtag lignende passager fra forskellige kilder, navngivne entiteter, der kun introduceres i begyndelsen, og spørgsmål, hvis dokumentation spænder over flere afsnit. Undersøg, om det forventede segment genfindes, og om applikationen viser tilstrækkelig omgivende tekst til at fortolke det. Regenerér den berørte dokumentgruppe bevidst, når en kilde ændres, så dens kontekstualiserede segmenter svarer til én sammenhængende version.