VoyageAI by MongoDB: voyage-4-large

voyage-4-large is Voyage AI’s belangrijkste tekstembeddingmodel in de Voyage 4-familie. Het representeert bronpassages en zoekvragen als numerieke vectoren voor algemeen en meertalig zoeken. De twee onderscheidende kenmerken zijn een mixture-of-experts-modelontwerp en de gedeelde embeddingruimte van voyage-4-large, voyage-4, voyage-4-lite en voyage-4-nano.

Gedeelde ruimte: afzonderlijke keuzes voor corpus en zoekvragen

De ontwikkelaar beschrijft asymmetrisch zoeken: documenten kunnen met voyage-4-large in embeddings worden omgezet, terwijl een ander model uit de Voyage 4-familie de zoekvraagvectoren voorbereidt. Een corpus dat door Large is gerepresenteerd, kan bijvoorbeeld met voyage-4-zoekvragen worden doorzocht. Zo kunnen beide kanten van het zoeken verschillende modellen kiezen en toch binnen de gedocumenteerde compatibele ruimte blijven.

Een praktische verzameling kan daarom Large gebruiken om stabiele documentpassages voor te bereiden en het model voor zoekvragen onafhankelijk kiezen. Documenten krijgen embeddings wanneer het corpus wordt gemaakt of bijgewerkt, terwijl zoekvragen worden gevectoriseerd wanneer gebruikers zoeken. De familieaankondiging beschrijft dat het zoekvraagmodel binnen de compatibele familie kan veranderen zonder alleen voor die wijziging het documentcorpus opnieuw te vectoriseren. Houd vergeleken vectoren op dezelfde dimensies en in representaties die het zoeksysteem samen kan interpreteren.

Embeddingontwerp met mixture of experts

Een dichte feedforwardlaag verwerkt elk token met haar volledige verzameling parameters. De voor voyage-4-large beschreven MoE-benadering gebruikt een router en feedforwardnetwerken van experts en kiest welke experts elk token verwerken. Dat onderscheidt de totale modelcapaciteit van de parameters die voor een specifiek token actief zijn. Voyage vermeldt een activeringsverhouding van 1/10 voor het MoE-ontwerp van het model, met top-k-routering.

De technische uitleg van de ontwikkelaar beschrijft ook twee ontwikkelkeuzes. Expertcapaciteit beïnvloedt of overtollige tokens een expertlaag via een residueel pad omzeilen; het team koos de grootste haalbare capaciteitsfactor om verlies aan zoekkwaliteit te vermijden. In de laatste trainingsfase worden routerparameters bevroren voordat modellen worden samengevoegd, zodat interpolatie van de bronmodellen de aangeleerde expertselectieroutering niet verandert. Dit zijn kenmerken van de modelvoorbereiding, los van tekstlengte- of afkapinstellingen bij het voorbereiden van invoer.

Dimensies en uitvoerrepresentatie

De officiële modeltabel vermeldt een contextvenster van 32.000 tokens en kiesbare embeddings met 256, 512, 1024 en 2048 dimensies, met 1024 als standaard. De familie gebruikt Matryoshka learning voor geneste representatiegroottes en ondersteunt kwantisatiekeuzes: 32-bits drijvende-kommagetallen, 8-bits gehele getallen met of zonder teken en samengepakte binaire uitvoer.

Bij binaire uitvoer is de lengte van de teruggegeven bytelijst een achtste van de gekozen dimensie, omdat elke byte acht embeddingbits bevat. Bewaar de dimensie- en datatypekeuzes bij de index en gebruik een vergelijkingsmethode die die representatie ondersteunt. Een kleinere of gecomprimeerde vector verandert de representatie voor zoeken; beoordeel de relevante passages die bij werkelijke vragen worden teruggegeven voordat je die voor een verzameling kiest.

Bereid document- en zoekvraaginvoer voor

Voyage beveelt de rol document aan voor corpuspassages en de rol query voor zoektekst. De roloptie voegt vóór het maken van de embedding de bijbehorende zoekinstructie toe. Bewaar de nuttige kop, de voorwaarden en de bronlocatie van de passage en sla de teruggegeven vector daarna op met de oorspronkelijke tekst en een stabiele identificatie.

Voor een technische kennisverzameling moet een vraag over een foutmodus leiden naar de passage die die modus en de relevante voorwaarden beschrijft. Bewaar bij een documentverzameling in meerdere talen de brontaal en beoordeel de vragen en terminologie waarmee gebruikers zullen zoeken. De release omvat zoekmateriaal zoals technische documenten, gesprekken, lange documenten, code, recht, financiën en webtekst. De embedding vindt kandidaatmateriaal; een latere reranker of antwoordstap gebruikt de oorspronkelijke tekst.

Context-, batch- en afkaplimieten

De huidige handleiding van de ontwikkelaar staat maximaal 1.000 strings en 120.000 invoertokens in totaal toe in een voyage-4-large-aanvraag. Dat verschilt van de vermelde batchlimiet voor voyage-4, terwijl beide een venster van 32.000 tokens per tekst hebben. Standaard afkappen verkort te lange invoer zodat die past; met afkappen uitgeschakeld geeft een te lange tekst een fout.

Kies bewust passagegrenzen die het antwoord bevatten, zodat een lange bron geen relevante nuance in een afgekapt slot verliest. Bewaar de bronkoppeling bij het teruggeven van zoekresultaten en bekijk de werkelijke kandidaattekst in plaats van nabijheid van vectoren als verificatie van de inhoud te behandelen. Compatibiliteit van de gedeelde ruimte geldt voor de gedocumenteerde Voyage 4-tekstfamilie; verwerking van gecontextualiseerde tekststukken, beeld- en video-embeddings en latere modeledities behouden hun eigen modelspecifieke workflows.