Voyage AI: Voyage 3 Large

Voyage 3 Large er en tekstinnbyggingsmodell for å finne relevant informasjon i en dokumentsamling. Den representerer hver oppgitt tekst som en numerisk vektor, slik at en applikasjon kan sammenligne et søk med avsnitt som kan ha en annen ordlyd, men beslektet mening. Voyage AI retter denne utgaven mot generell og flerspråklig gjenfinning i blant annet teknisk dokumentasjon, samtaler og lange dokumenter.

Bygg den søkbare samlingen ut fra informasjonen brukerne faktisk trenger å finne igjen. I en produktkunnskapsbase bør forklaringen av en funksjon beholdes sammen med forutsetningene og relevante unntak. Behold taleridentifikasjon og nok av diskusjonen rundt i møtereferater til at temaet blir forståelig. Del store kilder ved hensiktsmessige grenser, og lagre kildetittel, dokumentidentifikator og avsnittets plassering sammen med hver vektor.

Klargjør et søkespørsmål som en spørring og indeksert materiale som dokumenter. I produsentens tekstinnbyggingsprosess angir inndatatypen hvilken rolle teksten har i gjenfinningen. En spørring som «Hvordan kan et medlem gjenopprette tilgangen etter å ha mistet en sikkerhetsnøkkel?» kan da sammenlignes med støtteavsnitt som beskriver gjenopprettingen, selv om de bruker andre formuleringer. Behold det opprinnelige avsnittet tilgjengelig, slik at søkeresultatet kan vise grunnlaget for treffet.

Modellen har et kontekstvindu på 32000 tokener. En lang inndatatekst kan bevare en hel seksjon, men et helt dokument er ikke alltid den mest nyttige søkeenheten. En bred vektor kan peke på riktig fil og samtidig overlate til leseren å finne det presise svaret. Velg avsnittsgrenser ut fra resultatet som skal vises, og behold overskrifter, forbehold og definisjoner sammen med innholdet de forklarer.

Voyage 3 Large støtter vektorer med 2048, 1024, 512 eller 256 dimensjoner. Produsenten dokumenterer også flyttallsrepresentasjoner, åttebitsrepresentasjoner med eller uten fortegn og binære representasjoner. Disse valgene lar et gjenfinningssystem sammenligne vektordetaljer med indeksstørrelse og søkeatferd. Velg formatet som den planlagte vektorlagringen støtter, og vurder det deretter på det faktiske korpuset og representative spørsmål før innstillingene for produksjonsindeksen velges.

For flerspråklig søk bør testspørsmålene omfatte språkene brukerne benytter, og de gjenfunne kildeavsnittene bør vurderes på originalspråket. Ett felles søkegrensesnitt kan betjene samlinger på flere språk, mens dokumentmetadata fortsatt identifiserer kildens språkvariant og versjon. Behold meningsbærende navn, forkortelser og faguttrykk under tekstuttrekk, fremfor å erstatte dem med en generell oppsummering før innbygging.

Bruk vektorene til å hente kandidatavsnitt for en søkeside, en kunnskapsassistent eller et dokumentutvalg. Bruk samme modell og vektorinnstillinger for den indekserte samlingen og spørringene mot den. Ved bytte av innbyggingsmodell eller endring av vektordimensjoner må den berørte indeksen bygges opp på nytt og sammenlignes bevisst; vektorens lengde alene forteller ikke hvordan den ble produsert.

Vurder resultatet ut fra nyttig gjenfinning: om riktig avsnitt kommer frem, om nærliggende, men misvisende avsnitt rangeres høyere, og om utdraget som vises, inneholder svaret. Behold et lite sett med virkelige spørsmål og forventede kilder, også med tvetydige formuleringer og nesten like dokumenter. Innbyggingen gir en søkbar representasjon; applikasjonen beholder kildetekst, tilgangsrettigheter og lenker som gjør treffet til et brukbart resultat.