VoyageAI by MongoDB: voyage-4-lite

voyage-4-lite er den latensfokuserte tekstembeddingmodellen i Voyage AIs Voyage 4-familie. Den representerer forespørsler og dokumenter som numeriske vektorer for generell gjenfinning. Familiens særtrekk er et felles embeddingrom med voyage-4, voyage-4-large og voyage-4-nano, slik at forespørsels- og dokumentmodeller kan velges separat.

Begynn med gjenfinningsrollene

Forbered brukerens informasjonsbehov som en forespørsel og det søkbare materialet som dokumenter. Voyage anbefaler inndatatypene query/document for gjenfinning; den publiserte oppskriften legger til den tilsvarende gjenfinningsinstruksjonen når teksten vektoriseres.

I en samling personalhåndbøker bør en forespørsel om å overføre ubrukt ferie til neste periode sammenlignes med de konkrete regelseksjonene. Behold regelen, betingelsene og eventuelle relevante unntak i den indekserte passasjen. Hold originaldokumentet og seksjonsidentifikatoren ved siden av vektoren, slik at applikasjonen kan returnere den faktiske regelteksten.

En uspesifisert inndatatype representerer teksten direkte, mens query/document-rollene tilpasser den for gjenfinning. Produsenten oppgir at embeddinger produsert med og uten disse rolleinnstillingene er kompatible, men en konsekvent forberedelsespolicy gjør samlingen lettere å vurdere.

Felles rom på tvers av Voyage 4-tekstfamilien

Voyage dokumenterer uttrykkelig en asymmetrisk gjenfinningsarbeidsflyt: Dokumenter kan kodes med voyage-4-large og søkes med forespørselsvektorer fra voyage-4-lite. Dette er en kompatibilitetserklæring på familienivå, ikke en konklusjon trukket fra at to modeller returnerer samme vektorlengde.

Hold den valgte vektordimensjonen og representasjonen samordnet mellom samlingen og forespørselssiden. Det felles rommet gjør det også mulig å endre forespørselsmodellen innenfor denne navngitte Voyage 4-tekstfamilien uten å vektorisere eksisterende dokumenter på nytt. Vurder den resulterende rangeringen med representative spørsmål når forespørselsutgaven velges.

Lite-utgavens rolle er det mindre, latensfokuserte alternativet for forespørsler og tekstembeddinger. Produsenten knytter mixture-of-experts-arkitekturen spesifikt til voyage-4-large; familienavnet fastslår ikke denne arkitekturen for Lite.

Kontekst, dimensjoner og resultatformat

Den publiserte kontekstlengden er 32 000 tokener per tekst. Standardvektoren har 1024 dimensjoner, med 256, 512 og 2048 også tilgjengelig gjennom Matryoshka-læring. Produsentens tekstembeddingflyt dokumenterer flyttalls-, 8-biters heltallsrepresentasjoner med og uten fortegn og bitpakkede binærrepresentasjoner for voyage-4-lite.

For standard flyttallsvektorer beskriver Voyages likhetsveiledning embeddingvektorer med enhetslengde, slik at cosinuslikhet og prikkproduktlikhet er ekvivalente. Kvantiserte former trenger tilsvarende representasjonshåndtering. En bitpakket binærliste lagrer for eksempel åtte embeddingbiter i hver byte; listelengden er forskjellig fra den semantiske vektordimensjonen.

I Voyages dokumenterte batchoppskrift inneholder en liste høyst 1000 tekster og én million tokener totalt for denne nøyaktige Lite-utgaven. Standardadferden ved for lange inndata avkorter den enkelte teksten til kontekstgrensen; den alternative innstillingen avviser for lange inndata. Disse batchgrensene og grensene per tekst er forskjellige.

Forbered og undersøk gjenfinningsresultater

Del langt kildemateriale i sammenhengende seksjoner som kan returneres som evidens. En kontekst på 32 000 tokener tillater lange inndata, men en nyttig gjenfinningsenhet bør fortsatt føre til den relevante kildeseksjonen. Inkluder overskriften eller identifiserende detalj som trengs for å tolke en regel.

For RAG gjenfinner du kandidatseksjoner og sender originalteksten deres til svarskrivingstrinnet med kildekoblinger. Embeddingmodellen produserer vektorer og genererer ikke et regelsvar. Likhet rangerer kandidater under den valgte modellen og sammenligningsoppsettet; undersøk den faktiske passasjen for den nøyaktige betingelsen det ble spurt om.

Den nyttige utgavespesifikke kombinasjonen i voyage-4-lite er en latensfokusert tekstmodell, fleksible representasjoner, en kontekst på 32 000 tokener og dokumentert kompatibilitet innenfor Voyage 4-tekstfamilien. Hold disse egenskapene med den indekserte samlingen og bruk kildebaserte gjenfinningsresultater til å støtte applikasjonen rundt modellen.