VoyageAI by MongoDB: voyage-4-large

voyage-4-large es el modelo insignia de embeddings de texto de Voyage AI en la familia Voyage 4. Representa pasajes de origen y consultas como vectores numéricos para recuperación de uso general y multilingüe. Sus dos características distintivas son un diseño de modelo de mezcla de expertos y el espacio compartido de embeddings que utilizan voyage-4-large, voyage-4, voyage-4-lite y voyage-4-nano.

Espacio compartido: elecciones separadas para corpus y consulta

El fabricante describe recuperación asimétrica: los documentos pueden tener embeddings generados con voyage-4-large mientras otro modelo de la familia Voyage 4 prepara los vectores de consulta. Por ejemplo, un corpus representado por Large puede buscarse con consultas voyage-4. Esto permite que los dos lados de la búsqueda tengan elecciones de modelo diferentes sin salir del espacio compatible documentado.

Por tanto, una colección práctica puede utilizar Large para preparar pasajes documentales estables y elegir de forma independiente el modelo del lado de consulta. Los embeddings de documentos se generan al crear o actualizar el corpus, mientras que las consultas se vectorizan cuando los usuarios buscan. El anuncio de la familia describe el cambio del modelo de consulta dentro de la familia compatible sin volver a vectorizar el corpus documental únicamente por ese cambio. Mantén los vectores comparados en dimensiones coincidentes y representaciones que el sistema de búsqueda pueda interpretar conjuntamente.

Diseño de embeddings de mezcla de expertos

Una capa densa feed-forward procesa cada token con su conjunto completo de parámetros. El enfoque MoE descrito para voyage-4-large utiliza un enrutador y redes feed-forward de expertos, seleccionando los expertos que procesan cada token. Esto separa la capacidad total del modelo de los parámetros activos para un token particular. Voyage comunica una proporción de activación de 1/10 para el diseño MoE del modelo, utilizando enrutamiento top-k.

La explicación técnica del fabricante también describe dos decisiones de desarrollo. La capacidad de expertos afecta a si los tokens sobrantes evitan una capa de expertos mediante una vía residual; el equipo eligió el mayor factor de capacidad viable para evitar pérdidas de calidad de recuperación. En la etapa final de entrenamiento, los parámetros del enrutador se congelan antes de fusionar los modelos para que la interpolación de los modelos de origen no cambie el enrutamiento aprendido de selección de expertos. Son características de preparación del modelo, distintas de los ajustes de longitud textual o truncamiento utilizados al preparar una entrada.

Dimensiones y representación de salida

La tabla oficial del modelo especifica una ventana de contexto de 32.000 tokens y embeddings seleccionables de 256, 512, 1024 y 2048 dimensiones, con 1024 como valor predeterminado. La familia utiliza aprendizaje Matryoshka para tamaños anidados de representación y admite opciones de cuantización: coma flotante de 32 bits, enteros de 8 bits con o sin signo y salida binaria empaquetada.

Con salida binaria, la longitud de la lista de bytes devuelta es un octavo de la dimensión seleccionada porque cada byte contiene ocho bits de embedding. Conserva las elecciones de dimensión y tipo de datos junto con el índice y utiliza un método de comparación compatible con esa representación. Un vector más pequeño o comprimido cambia la representación utilizada para búsqueda; evalúa los pasajes pertinentes devueltos ante preguntas reales antes de elegirlo para una colección.

Prepara entradas de documento y consulta

Voyage recomienda utilizar el rol document para pasajes del corpus y el rol query para la formulación de búsqueda. Su opción de rol añade la instrucción de recuperación correspondiente antes de generar embeddings. Conserva el encabezado útil, las condiciones y la ubicación de origen del pasaje y después guarda el vector devuelto junto con el texto original y un identificador estable.

Para una colección de conocimiento técnico, una pregunta sobre un modo de fallo debe conducir al pasaje que describa ese modo y sus condiciones pertinentes. Para una colección documental de varios idiomas, conserva el idioma de origen y evalúa las preguntas y terminología que utilizarán los usuarios al buscar. La publicación cubre material de recuperación que incluye documentos técnicos, conversaciones, documentos largos, código, derecho, finanzas y texto web. El embedding localiza material candidato; un reranker o etapa de respuesta posteriores utilizan el texto original.

Límites de contexto, lotes y truncamiento

La guía actual del fabricante permite hasta 1000 cadenas y 120.000 tokens totales de entrada en una solicitud voyage-4-large. Esto difiere del límite de lote indicado para voyage-4, mientras que ambos tienen una ventana de 32.000 tokens por texto. El truncamiento predeterminado acorta una entrada demasiado larga para que quepa; desactivar el truncamiento devuelve un error ante un texto demasiado largo.

Elige deliberadamente los límites de pasajes que contengan respuestas para que una fuente larga no pierda un matiz pertinente en una parte final truncada. Mantén la asociación con la fuente al devolver resultados de búsqueda y examina el texto candidato real, en lugar de tratar la proximidad vectorial como verificación de su contenido. La compatibilidad de espacio compartido se aplica a la familia textual Voyage 4 documentada; el procesamiento contextualizado de grupos de fragmentos, los embeddings de imagen/vídeo y las ediciones posteriores de modelos siguen siendo flujos específicos de cada modelo.