VoyageAI by MongoDB: voyage-4-large

voyage-4-large é o principal modelo de embeddings de texto da Voyage AI na família Voyage 4. Representa passagens de origem e consultas como vetores numéricos para recuperação de uso geral e multilingue. As suas duas características distintivas são um desenho de modelo de mistura de especialistas e o espaço de embeddings partilhado utilizado por voyage-4-large, voyage-4, voyage-4-lite e voyage-4-nano.

Espaço partilhado: escolhas separadas para corpus e consulta

O fabricante descreve recuperação assimétrica: os documentos podem ter embeddings gerados com voyage-4-large, enquanto outro modelo da família Voyage 4 prepara os vetores de consulta. Por exemplo, um corpus representado por Large pode ser pesquisado com consultas voyage-4. Isto permite que os dois lados da pesquisa utilizem modelos diferentes, permanecendo no espaço compatível documentado.

Uma coleção prática pode, por isso, utilizar Large para preparar passagens documentais estáveis e escolher independentemente o modelo do lado da consulta. Os embeddings dos documentos são gerados quando o corpus é criado ou atualizado, enquanto as consultas são vetorizadas à medida que os utilizadores pesquisam. O anúncio da família descreve a alteração do modelo de consulta dentro da família compatível sem voltar a vetorizar o corpus documental apenas por causa dessa alteração. Mantenha os vetores comparados com dimensões coincidentes e em representações que o sistema de pesquisa consiga interpretar em conjunto.

Desenho de embeddings com mistura de especialistas

Uma camada densa feed-forward processa cada token através de todo o seu conjunto de parâmetros. A abordagem MoE descrita para voyage-4-large utiliza um encaminhador e redes feed-forward de especialistas, selecionando os especialistas que processam cada token. Isto separa a capacidade total do modelo dos parâmetros ativos para um token específico. A Voyage indica uma proporção de ativação de 1/10 para o desenho MoE do modelo, utilizando encaminhamento top-k.

A explicação técnica do fabricante também descreve duas escolhas de desenvolvimento. A capacidade dos especialistas afeta se os tokens em excesso contornam uma camada de especialistas por uma via residual; a equipa escolheu o maior fator de capacidade viável para evitar perda de qualidade de recuperação. Na etapa final de treino, os parâmetros do encaminhador são congelados antes da fusão de modelos, para que a interpolação dos modelos de origem não altere o encaminhamento aprendido de seleção de especialistas. Estas são características da preparação do modelo, distintas das definições de comprimento de texto ou truncamento utilizadas ao preparar uma entrada.

Dimensões e representação de saída

A tabela oficial do modelo especifica uma janela de contexto de 32 000 tokens e embeddings selecionáveis de 256, 512, 1024 e 2048 dimensões, com 1024 como predefinição. A família utiliza aprendizagem Matryoshka para tamanhos de representação aninhados e suporta escolhas de quantização: vírgula flutuante de 32 bits, inteiros de 8 bits com ou sem sinal e saída binária compactada.

Com saída binária, o comprimento da lista de bytes devolvida é um oitavo da dimensão selecionada, porque cada byte contém oito bits do embedding. Preserve as escolhas de dimensão e tipo de dados com o índice e utilize um método de comparação que suporte essa representação. Um vetor menor ou comprimido altera a representação utilizada na pesquisa; avalie as passagens relevantes devolvidas para perguntas reais antes de o escolher para uma coleção.

Prepare entradas de documento e consulta

A Voyage recomenda utilizar o papel document para passagens do corpus e o papel query para a formulação da pesquisa. A sua opção de papel acrescenta a instrução de recuperação correspondente antes da geração de embeddings. Preserve o título útil, as condições e a localização de origem da passagem e, depois, guarde o vetor devolvido com o texto original e um identificador estável.

Numa coleção de conhecimento técnico, uma pergunta sobre um modo de falha deve conduzir à passagem que descreve esse modo e as suas condições relevantes. Numa coleção documental que abranja várias línguas, conserve a língua de origem e avalie as perguntas e a terminologia com que os utilizadores pesquisarão. A publicação abrange material de recuperação que inclui documentos técnicos, conversas, documentos longos, código, direito, finanças e texto da Web. O embedding localiza material candidato; uma etapa posterior de reordenação ou resposta utiliza o texto original.

Limites de contexto, lotes e truncamento

O guia atual do fabricante permite até 1000 cadeias e 120 000 tokens totais de entrada num pedido voyage-4-large. Isto difere do limite de lote indicado para voyage-4, embora ambos tenham uma janela de 32 000 tokens por texto. O truncamento predefinido encurta uma entrada demasiado longa para caber; desativar o truncamento devolve um erro para texto demasiado longo.

Escolha deliberadamente os limites de passagens que contêm respostas, para que uma fonte longa não perca uma ressalva relevante numa parte final truncada. Mantenha a associação à fonte ao devolver resultados de pesquisa e examine o texto candidato real, em vez de tratar a proximidade vetorial como verificação do seu conteúdo. A compatibilidade de espaço partilhado aplica-se à família textual Voyage 4 documentada; o processamento contextualizado de fragmentos, os embeddings de imagem/vídeo e as edições posteriores de modelos mantêm os seus próprios fluxos específicos.