Voyage AI: Voyage Context 3

Voyage Context 3 produce representaciones vectoriales contextualizadas de segmentos para recuperar documentos. Cada segmento recibe su propio vector, mientras que el modelo también considera los demás segmentos proporcionados del mismo documento. Esto aporta a un sistema de recuperación una representación del fragmento local junto con un contexto documental más amplio, como una entidad o un tema introducidos en otro lugar de la fuente.

Prepara cada documento como una secuencia ordenada de segmentos de texto legible. Mantén juntos los segmentos de un documento y conserva su orden original. En el proceso contextualizado del fabricante, cada grupo interno contiene los segmentos de una fuente y los grupos separados representan fuentes distintas. Esta agrupación forma parte del significado de la entrada: indica al modelo qué texto circundante pertenece al documento que se está representando.

Un caso útil es un informe cuyo inicio identifica la empresa y un párrafo posterior explica su crecimiento. Una búsqueda sobre el crecimiento de esa empresa necesita tanto el párrafo concreto como la identidad del documento. Conserva el texto original del segmento y los metadatos de su documento de origen junto con el vector resultante, para que el resultado pueda mostrar el fragmento y enlazar a la fuente completa.

La documentación de referencia del fabricante indica hasta 120.000 tokens en el conjunto de una solicitud, con un máximo de 1.000 grupos de entrada y 16.000 segmentos en total. La guía del modelo indica por separado una ventana de 32.000 tokens por segmento. Mantén diferenciados estos alcances al preparar el material: un límite sobre un segmento y un límite sobre la solicitud completa describen tamaños de entrada distintos. Comprueba el total después de dividir la fuente, en lugar de suponer que cada segmento puede alcanzar su máximo en la misma solicitud.

Para recuperar documentos, identifica los fragmentos agrupados como entrada de documento. Prepara cada pregunta de búsqueda como su propio grupo de consulta. El fabricante recomienda que los segmentos de documento proporcionados no se solapen, de modo que la representación contextualizada transmita la información circundante sin repetir texto en cada fragmento. Conserva la correspondencia entre el grupo de segmentos del documento, la posición del segmento y el vector devuelto al escribir el índice.

Voyage Context 3 admite 2.048, 1.024, 512 y 256 dimensiones, con opciones de salida de coma flotante, enteros de ocho bits y binaria. Elige una representación para el índice y evalúala con los mismos documentos de origen y preguntas. Conserva la dimensión y el tipo de datos seleccionados junto con el índice para que la representación de la consulta y los vectores almacenados sigan siendo coherentes.

Utiliza los vectores resultantes para buscar fragmentos, descubrir documentos o realizar la etapa de recuperación de un asistente que trabaje con informes, artículos de investigación, contratos o manuales técnicos. Un resultado puede identificar un fragmento concreto, mientras que su enlace de origen da acceso a definiciones y condiciones en otras partes del documento. Conserva las versiones de los documentos y los permisos como metadatos de la aplicación junto a los vectores.

Prueba preguntas que necesiten tanto un detalle local como contexto del documento completo. Incluye fragmentos similares de distintas fuentes, entidades identificadas solo al principio y preguntas cuyas pruebas abarquen varias secciones. Examina si se recupera el segmento esperado y si la aplicación presenta suficiente texto alrededor para interpretarlo. Cuando cambie una fuente, regenera deliberadamente el grupo de segmentos del documento afectado para que sus segmentos contextualizados correspondan a una única versión coherente.