VoyageAI by MongoDB: rerank-2.5

rerank-2.5 es el reclasificador de Voyage AI con seguimiento de instrucciones, diseñado para afinar un conjunto de candidatos de búsqueda. Examina conjuntamente la consulta y cada documento como codificador cruzado y devuelve después una ordenación por relevancia. La versión del fabricante destaca el control en lenguaje natural sobre lo que se considera pertinente, la recuperación multilingüe y un contexto consulta-documento más largo que el de la edición anterior rerank-2.

Proporciona al modelo los candidatos que debe comparar

La entrada es una consulta y una lista de documentos de texto candidatos. Pueden ser pasajes seleccionados mediante búsqueda por embeddings o una búsqueda léxica inicial. El reclasificador evalúa el texto proporcionado en lugar de crear embeddings del corpus, por lo que su trabajo práctico es afinar los candidatos que ya encontró la búsqueda inicial.

Conserva el orden original de los candidatos y los identificadores de fuente al preparar esa lista. Los índices devueltos remiten a esas posiciones de entrada. Para una tarea de RAG, proporciona los pasajes que la etapa de respuesta podría utilizar realmente, incluido el título o las condiciones necesarios para interpretarlos. Un documento pertinente ausente del conjunto de candidatos enviado no puede aparecer como un resultado recién encontrado por la reclasificación.

Especifica la noción de relevancia deseada

Las instrucciones pueden añadirse después o antes de la consulta. La versión describe tres funciones útiles: destacar una parte concreta de un documento, preferir un tipo de fuente y desambiguar la consulta mediante contexto de la aplicación. Modifican la tarea de relevancia presentada al modelo.

Para una búsqueda técnica, una instrucción ilustrativa es «Prioriza los pasajes que expliquen el fallo y el comportamiento de recuperación; las introducciones generales son secundarias». Para una colección de investigación, especifica si importan más el título, el método o el resultado. Para un término ambiguo, indica el ámbito temático de la búsqueda. Mantén compatibles la pregunta y la instrucción para que una no pida un tema amplio mientras la otra cambie silenciosamente la tarea.

Estas preferencias orientan la puntuación de relevancia. Si la aplicación tiene requisitos estrictos de admisión —como versión de fuente, fecha o ámbito de acceso—, prepara por separado el conjunto de candidatos admisibles. La instrucción de relevancia del modelo y una restricción determinista de la colección cumplen propósitos diferentes.

Salida clasificada y uso posterior del resultado

Los resultados se ordenan por relevancia descendente e incluyen una puntuación de relevancia de coma flotante y el índice original del candidato en la entrada. La opción top-k selecciona cuántos primeros resultados deben devolverse; sin ella, la especificación del fabricante devuelve resultados para todos los candidatos enviados. Un ajuste opcional return-documents incluye el texto de origen correspondiente; en caso contrario, la respuesta contiene índices y puntuaciones.

Utiliza la ordenación para seleccionar pasajes que mostrar o pasar a una etapa posterior de respuesta, manteniendo intacta su identidad de origen. Examina el texto real al evaluar la clasificación: la puntuación mide la relevancia para la consulta enviada, no es una respuesta generada ni una verificación de que las afirmaciones del documento sean correctas. Esto hace útil al modelo para afinar material de búsqueda técnico, jurídico, financiero, médico, conversacional y multilingüe sin convertir la clasificación en una conclusión especializada.

Contexto, presupuesto total de tokens y truncamiento

El límite documentado de consulta es de 8,000 tokens, incluidas las instrucciones situadas en la consulta. La consulta más cualquier documento candidato deben caber en 32,000 tokens, y la lista de documentos puede contener como máximo 1,000 elementos. La asignación total es de 600,000 tokens, contados como tokens de consulta multiplicados por el número de documentos, más todos los tokens de los documentos. Por tanto, una instrucción larga se cuenta de nuevo en cada par de consulta y documento candidato.

La cantidad de resultados top-k no cambia el número de candidatos en ese cálculo de tokens de entrada. El truncamiento predeterminado acorta las consultas o los documentos demasiado largos para cumplir el límite de contexto; desactivarlo hace que una consulta o un par demasiado largos devuelvan un error. Prepara deliberadamente pasajes que contengan la respuesta y mantén las condiciones pertinentes dentro del texto que verá el modelo. Evalúa el orden refinado con preguntas e instrucciones representativas y pasa después los pasajes originales seleccionados a la siguiente etapa.