VoyageAI by MongoDB: voyage-4-large

voyage-4-large er Voyage AI’s førende tekstembeddingmodel i Voyage 4-familien. Den repræsenterer kildepassager og forespørgsler som numeriske vektorer til generel og flersproget søgning. De to særlige egenskaber er et mixture-of-experts-modeldesign og det fælles embeddingrum, som bruges af voyage-4-large, voyage-4, voyage-4-lite og voyage-4-nano.

Fælles rum: separate modelvalg til korpus og forespørgsler

Udvikleren beskriver asymmetrisk søgning: dokumenter kan indlejres med voyage-4-large, mens en anden model i Voyage 4-familien forbereder forespørgselsvektorerne. Et korpus repræsenteret af Large kan for eksempel gennemsøges med voyage-4-forespørgsler. Det lader søgningens to sider bruge forskellige modelvalg, mens de forbliver i det dokumenterede kompatible rum.

En praktisk samling kan derfor bruge Large til at forberede stabile dokumentpassager og vælge modellen på forespørgselssiden uafhængigt. Dokumenter får embeddings, når korpusset oprettes eller opdateres, mens forespørgsler vektoriseres, når brugere søger. Familieannonceringen beskriver skift af forespørgselsmodel inden for den kompatible familie uden at vektorisere dokumentkorpusset igen alene af den grund. Hold sammenlignede vektorer på samme dimensioner og i repræsentationer, som søgesystemet kan fortolke samlet.

Embeddingdesign med mixture of experts

Et tæt feedforwardlag behandler hvert token gennem hele sit parametersæt. Den MoE-tilgang, som beskrives for voyage-4-large, bruger en router og ekspert-feedforwardnetværk og vælger de eksperter, som behandler hvert token. Det adskiller den samlede modelkapacitet fra de parametre, som er aktive for et bestemt token. Voyage angiver et aktiveringsforhold på 1/10 for modellens MoE-design med top-k-routing.

Udviklerens tekniske forklaring beskriver også to udviklingsvalg. Ekspertkapacitet påvirker, om overskydende tokens springer et ekspertlag over gennem en residualsti; teamet valgte den størst mulige kapacitetsfaktor for at undgå tab af søgekvalitet. I sidste træningstrin fryses routerparametrene før sammenlægning af modeller, så interpolation af kildemodellerne ikke ændrer den indlærte routing til ekspertvalg. Det er egenskaber ved modelklargøringen, adskilt fra indstillinger for tekstlængde eller afkortning ved forberedelse af input.

Dimensioner og outputrepræsentation

Den officielle modeltabel angiver et kontekstvindue på 32.000 tokens og valgbare embeddings med 256, 512, 1024 og 2048 dimensioner med 1024 som standard. Familien bruger Matryoshka learning til indlejrede repræsentationsstørrelser og understøtter kvantiseringsvalg: 32-bit-flydende tal, 8-bit-heltal med eller uden fortegn og pakket binært output.

Ved binært output er længden af den returnerede byteliste en ottendedel af den valgte dimension, fordi hver byte indeholder otte embeddingbits. Gem dimensions- og datatypevalgene sammen med indekset, og brug en sammenligningsmetode, som understøtter repræsentationen. En mindre eller komprimeret vektor ændrer repræsentationen til søgning; vurder de relevante passager, som returneres på faktiske spørgsmål, før den vælges til en samling.

Forbered dokument- og forespørgselsinput

Voyage anbefaler rollen document til korpuspassager og rollen query til søgeformuleringer. Rolleindstillingen tilføjer den tilsvarende søgeinstruktion før embedding. Bevar passagens nyttige overskrift, betingelser og kildeplacering, og gem derefter den returnerede vektor sammen med originalteksten og en stabil identifikator.

I en teknisk videnssamling bør et spørgsmål om en fejltilstand føre til den passage, der beskriver tilstanden og dens relevante betingelser. Ved en dokumentsamling på tværs af sprog bevares kildesproget, og de spørgsmål og den terminologi, brugerne vil søge med, vurderes. Udgaven dækker søgemateriale som tekniske dokumenter, samtaler, lange dokumenter, kode, jura, økonomi og webtekst. Embeddingen lokaliserer kandidatmateriale; et senere reranker- eller svartrin bruger originalteksten.

Grænser for kontekst, batching og afkortning

Udviklerens aktuelle vejledning tillader op til 1.000 strenge og i alt 120.000 inputtokens i en voyage-4-large-anmodning. Dette adskiller sig fra den angivne batchgrænse for voyage-4, mens begge har et vindue på 32.000 tokens pr. tekst. Standardafkortning forkorter et for langt input, så det passer; deaktivering af afkortning returnerer en fejl ved en for lang tekst.

Vælg bevidst grænser for passager, som indeholder svaret, så en lang kilde ikke mister en relevant præcisering i en afkortet slutning. Bevar kildeforbindelsen ved returnering af søgeresultater, og undersøg den faktiske kandidattekst frem for at behandle vektornærhed som verificering af indholdet. Kompatibilitet i det fælles rum gælder den dokumenterede Voyage 4-tekstfamilie; behandling af kontekstualiserede tekststykker, billed- og videoembeddings samt senere modeludgaver forbliver egne modelspecifikke forløb.