VoyageAI by MongoDB: voyage-4

voyage-4 es el modelo de embeddings de texto de tamaño intermedio de Voyage AI en la familia Voyage 4. Convierte el texto de consultas y documentos en vectores numéricos para recuperación de uso general y multilingüe. La capacidad que define la familia es un espacio compartido de embeddings: voyage-4, voyage-4-large, voyage-4-lite y voyage-4-nano producen representaciones compatibles, lo que permite que los lados de consulta y documento de una tarea de búsqueda utilicen modelos distintos de esa familia.

Espacio compartido y recuperación asimétrica

El fabricante denomina recuperación asimétrica al uso de modelos diferentes de consulta y corpus. Un patrón documentado consiste en preparar el corpus con voyage-4-large y buscar en él utilizando embeddings de consulta voyage-4. Los embeddings del corpus se generan una vez o cuando cambia su material de origen, mientras que los vectores de consulta se crean conforme llegan búsquedas. El espacio compartido permite cambiar la elección de modelo del lado de consulta dentro de la familia sin exigir generar otra vez los embeddings del corpus solo por ese cambio.

Mantén compatibles la dimensión de salida y la representación de los vectores comparados. La declaración de espacio compartido se refiere a los modelos textuales Voyage 4 con esos nombres; no queda establecida simplemente porque dos modelos sin relación devuelvan arrays de igual longitud. Por tanto, una tarea práctica puede utilizar voyage-4 en ambos lados de la búsqueda o utilizar sus vectores de consulta con un índice documental voyage-4-large existente cuando coincidan sus ajustes de representación.

Roles de consulta y documento

Para recuperación, Voyage recomienda identificar el texto de entrada como consulta o documento. La opción de rol de entrada aporta la instrucción de recuperación correspondiente antes de vectorizar. Prepara los pasajes del corpus como documentos y la formulación de búsqueda del usuario como consulta, conservando el texto real de origen y los identificadores junto a cada vector almacenado.

Por ejemplo, una colección de búsqueda de conocimiento puede indexar instrucciones técnicas y explicaciones de productos. Una consulta sobre lo que ocurre después de una importación fallida debe devolver el pasaje de origen que describe ese comportamiento. Conserva los encabezados, las condiciones pertinentes y la ubicación de origen junto al pasaje para que el resultado de búsqueda pueda examinarse o utilizarse en una etapa posterior de respuesta RAG. El embedding es la representación numérica de recuperación; el pasaje subyacente es la evidencia utilizada en esa etapa posterior.

Dimensiones y tipos de datos de salida

La ventana de contexto documentada por texto es de 32,000 tokens. Las dimensiones seleccionables son 256, 512, 1024 y 2048, con 1024 como valor predeterminado. El aprendizaje Matryoshka aporta estos tamaños anidados de representación. La salida puede utilizar punto flotante de 32 bits, enteros de 8 bits con o sin signo o valores binarios empaquetados, gracias a la preparación de la familia que tiene en cuenta la cuantización.

Con salida binaria empaquetada, cada byte devuelto guarda ocho bits de embedding, por lo que la longitud de la lista de bytes es un octavo de la dimensión elegida. La cantidad de bytes y la dimensión del embedding tienen significados diferentes. Elige la representación que pueda interpretar tu índice de búsqueda y examina la relevancia de los candidatos para las preguntas e idiomas realmente utilizados por la colección antes de seleccionar una configuración comprimida.

Longitud de entrada, lotes y truncamiento

La guía actual de embeddings de texto del fabricante permite hasta 1000 cadenas y 320,000 tokens totales en una solicitud voyage-4. El límite de lote es independiente de la ventana de 32,000 tokens para cada entrada. El truncamiento está activado por defecto: el texto demasiado largo se acorta para que quepa. Si el truncamiento se desactiva, un elemento demasiado largo produce un error.

Para un informe o transcripción largos, prepara deliberadamente pasajes que contengan respuestas, en lugar de depender de un corte en el límite de entrada. Mantén cada pasaje vinculado a su documento principal y versión de origen. Las entradas ordinarias de embeddings voyage-4 son textos individuales; el procesamiento contextualizado de grupos de fragmentos pertenece a los modelos documentados por separado de embeddings contextuales.

Utiliza el resultado de recuperación

Guarda los vectores junto con el texto de pasaje e identificadores estables de origen, compara cada vector de consulta con los vectores documentales compatibles y devuelve pasajes candidatos. La publicación de la familia evalúa recuperación entre material que incluye documentos técnicos, conversaciones, documentos largos, código, derecho, finanzas y texto web. Un reranker separado puede refinar candidatos y una etapa posterior de respuesta puede utilizar sus textos. Evalúa esos pasajes devueltos frente a la tarea; la compatibilidad de espacio compartido permite combinar los modelos, mientras que la utilidad de un resultado sigue dependiendo del material de origen y la pregunta.