VoyageAI by MongoDB: voyage-4-large

voyage-4-large er Voyage AIs flaggskipmodell for tekstembedding i Voyage 4-familien. Den representerer kildepassasjer og spørringer som numeriske vektorer for generell og flerspråklig gjenfinning. De to særtrekkene er et modelldesign basert på mixture-of-experts og det felles embeddingrommet som brukes av voyage-4-large, voyage-4, voyage-4-lite og voyage-4-nano.

Felles rom: separate valg for korpus og spørringer

Produsenten beskriver asymmetrisk gjenfinning: dokumenter kan bygges inn med voyage-4-large mens en annen modell i Voyage 4-familien forbereder spørringsvektorene. Et korpus representert av Large kan for eksempel søkes gjennom med voyage-4-spørringer. Dette lar de to sidene av søket bruke forskjellige modeller samtidig som de blir i det dokumenterte kompatible rommet.

En praktisk samling kan derfor bruke Large til å forberede stabile dokumentpassasjer og velge modellen på spørringssiden uavhengig. Dokumenter får embeddingvektorer når korpuset opprettes eller oppdateres, mens spørringer vektoriseres når brukere søker. Familiekunngjøringen beskriver bytte av spørringsmodell innenfor den kompatible familien uten å vektorisere dokumentkorpuset på nytt bare på grunn av denne endringen. Hold sammenlignede vektorer i samme dimensjoner og i representasjoner søkesystemet kan tolke sammen.

Embeddingdesign med mixture-of-experts

Et tett fremoverkoblet lag behandler hver token gjennom hele parametersettet. MoE-tilnærmingen som beskrives for voyage-4-large bruker en ruter og fremoverkoblede ekspertnettverk, og velger ekspertene som behandler hver token. Dette skiller total modellkapasitet fra parameterne som er aktive for en bestemt token. Voyage oppgir et aktiveringsforhold på 1/10 for modellens MoE-design, med top-k-ruting.

Produsentens tekniske forklaring beskriver også to utviklingsvalg. Ekspertkapasitet påvirker om overskytende tokener passerer utenom et ekspertlag via en residualbane; teamet valgte den største gjennomførbare kapasitetsfaktoren for å unngå tap av gjenfinningskvalitet. I siste treningstrinn fryses ruterparameterne før modellsammenslåing, slik at interpolasjon av kildemodellene ikke endrer den lærte rutingen for ekspertvalg. Dette er egenskaper ved modellforberedelsen, adskilt fra innstillinger for tekstlengde eller avkorting når input forberedes.

Dimensjoner og outputrepresentasjon

Den offisielle modelltabellen angir et kontekstvindu på 32,000 tokener og valgbare embeddingvektorer med 256, 512, 1024 og 2048 dimensjoner, med 1024 som standard. Familien bruker Matryoshka-læring for nestede representasjonsstørrelser og støtter kvantiseringsvalg: 32-bits flyttall, 8-bits heltall med eller uten fortegn og pakket binær output.

Ved binær output er lengden på den returnerte bytelisten en åttedel av den valgte dimensjonen, fordi hver byte inneholder åtte embeddingbiter. Behold valgene for dimensjon og datatype med indeksen og bruk en sammenligningsmetode som støtter representasjonen. En mindre eller komprimert vektor endrer representasjonen som brukes i søk; vurder de relevante passasjene som returneres for faktiske spørsmål, før du velger den for en samling.

Forbered dokument- og spørringsinput

Voyage anbefaler document-rollen for korpuspassasjer og query-rollen for søkeformuleringer. Rollevalget legger til den tilsvarende gjenfinningsinstruksjonen før embedding. Bevar passasjens nyttige overskrift, betingelser og plassering i kilden, og lagre så den returnerte vektoren med originalteksten og en stabil identifikator.

For en teknisk kunnskapssamling bør et spørsmål om en feilmodus føre til passasjen som beskriver modusen og relevante betingelser. For en dokumentsamling som spenner over flere språk, beholder du kildespråket og vurderer spørsmålene og terminologien brukerne vil søke med. Utgivelsen dekker gjenfinningsmateriale som tekniske dokumenter, samtaler, lange dokumenter, kode, jus, finans og netttekst. Embeddingvektoren finner kandidatmateriale; en senere omrangerer eller svarfase bruker originalteksten.

Grenser for kontekst, grupper og avkorting

Produsentens nåværende veiledning tillater opptil 1,000 strenger og 120,000 inputtokener totalt i en voyage-4-large-forespørsel. Dette skiller seg fra gruppegrensen oppført for voyage-4, mens begge har et vindu på 32,000 tokener per tekst. Standardavkorting forkorter input som er for langt, slik at det passer; deaktivering av avkorting returnerer en feil for for lang tekst.

Velg bevisst grensene for passasjer som inneholder svar, slik at en lang kilde ikke mister et relevant forbehold i en avkortet avslutning. Behold kildetilknytningen når søkeresultater returneres og inspiser selve kandidatteksten, fremfor å behandle vektornærhet som bekreftelse av innholdet. Kompatibiliteten i felles rom gjelder den dokumenterte Voyage 4-tekstfamilien; kontekstualisert behandling av tekstbiter, bilde-/videoembedding og senere modellutgaver har sine egne modellspesifikke arbeidsflyter.