VoyageAI by MongoDB: voyage-4-large

voyage-4-large è il modello di punta di embedding testuale di Voyage AI nella famiglia Voyage 4. Rappresenta passaggi di origine e query come vettori numerici per il recupero generalista e multilingue. Le due caratteristiche distintive sono una progettazione mixture-of-experts e lo spazio di embedding condiviso usato da voyage-4-large, voyage-4, voyage-4-lite e voyage-4-nano.

Spazio condiviso: scelte separate per corpus e query

Il produttore descrive il recupero asimmetrico: i documenti possono essere codificati con voyage-4-large mentre un altro modello della famiglia Voyage 4 prepara i vettori di query. Per esempio, un corpus rappresentato da Large può essere cercato con query voyage-4. Questo permette ai due lati della ricerca di scegliere modelli diversi restando nello spazio compatibile documentato.

Una raccolta concreta può quindi usare Large per preparare passaggi documentali stabili e scegliere indipendentemente il modello del lato query. I documenti vengono codificati quando il corpus viene creato o aggiornato, mentre le query vengono vettorizzate quando gli utenti cercano. L’annuncio della famiglia descrive il cambio del modello di query all’interno della famiglia compatibile senza rivettorizzare il corpus documentale soltanto per quel cambiamento. Mantieni i vettori confrontati a dimensioni corrispondenti e in rappresentazioni che il sistema di ricerca possa interpretare insieme.

Progettazione dell’embedding mixture-of-experts

Uno strato feed-forward denso elabora ogni token attraverso l’intero insieme dei propri parametri. L’approccio MoE descritto per voyage-4-large usa un router e reti feed-forward di esperti, selezionando gli esperti che elaborano ogni token. Ciò separa la capacità totale del modello dai parametri attivi per un token particolare. Voyage riporta un rapporto di attivazione di 1/10 per la progettazione MoE del modello, usando instradamento top-k.

La spiegazione tecnica del produttore descrive inoltre due scelte di sviluppo. La capacità degli esperti influisce sul fatto che token in eccesso saltino uno strato di esperti attraverso un percorso residuo; il team ha scelto il fattore di capacità massimo praticabile per evitare perdite nella qualità del recupero. Nella fase finale di addestramento, i parametri del router vengono congelati prima della fusione dei modelli, affinché l’interpolazione dei modelli di origine non modifichi l’instradamento appreso di selezione degli esperti. Sono caratteristiche della preparazione del modello, distinte dalle impostazioni di lunghezza del testo o troncamento usate quando si prepara un input.

Dimensioni e rappresentazione dell’output

La tabella ufficiale del modello specifica una finestra di contesto di 32.000 token ed embedding selezionabili a 256, 512, 1024 e 2048 dimensioni, con 1024 come valore predefinito. La famiglia usa apprendimento Matryoshka per dimensioni di rappresentazione annidate e supporta scelte di quantizzazione: virgola mobile a 32 bit, interi a 8 bit con o senza segno e output binario compattato.

Con output binario, la lunghezza dell’elenco di byte restituito è un ottavo della dimensione selezionata, perché ogni byte contiene otto bit di embedding. Preserva le scelte di dimensione e tipo di dati insieme all’indice e usa un metodo di confronto che supporti quella rappresentazione. Un vettore più piccolo o compresso cambia la rappresentazione usata per la ricerca; valuta i passaggi pertinenti restituiti su domande reali prima di sceglierlo per una raccolta.

Preparare input di documenti e query

Voyage raccomanda il ruolo document per i passaggi del corpus e il ruolo query per le formulazioni di ricerca. L’opzione di ruolo aggiunge l’istruzione di recupero corrispondente prima della codifica. Conserva il titolo utile del passaggio, le condizioni e la posizione nella fonte, poi memorizza il vettore restituito con il testo originale e un identificatore stabile.

Per una raccolta di conoscenze tecniche, una domanda su una modalità di guasto dovrebbe portare al passaggio che descrive quella modalità e le sue condizioni pertinenti. Per una raccolta documentale in più lingue, conserva la lingua di origine e valuta le domande e la terminologia con cui gli utenti cercheranno. La release copre materiale di recupero che include documenti tecnici, conversazioni, documenti lunghi, codice, diritto, finanza e testo web. L’embedding individua materiale candidato; un reranker o una fase di risposta successivi usano il testo originale.

Limiti di contesto, batch e troncamento

La guida attuale del produttore permette fino a 1000 stringhe e 120.000 token totali di input in una richiesta voyage-4-large. Questo differisce dal budget batch indicato per voyage-4, mentre entrambi hanno una finestra di 32.000 token per testo. Il troncamento predefinito accorcia un input troppo lungo per farlo rientrare; disabilitare il troncamento restituisce un errore per un testo troppo lungo.

Scegli intenzionalmente i confini dei passaggi contenenti risposte, affinché una fonte lunga non perda una precisazione pertinente nella parte finale troncata. Mantieni il collegamento alla fonte quando restituisci risultati di ricerca ed esamina il testo candidato effettivo anziché trattare la vicinanza vettoriale come verifica dei suoi contenuti. La compatibilità dello spazio condiviso si applica alla famiglia testuale Voyage 4 documentata; elaborazione di segmenti contestualizzata, embedding di immagini o video ed edizioni successive dei modelli rimangono flussi specifici di ciascun modello.