VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite es el miembro ligero de la versión 2.5 de reclasificadores de Voyage AI. El fabricante lo describe como un modelo generalista que equilibra latencia y calidad de relevancia, con seguimiento de instrucciones en lenguaje natural y soporte multilingüe. Su entrada es una consulta y textos candidatos, y su salida es un orden refinado de esos candidatos con puntuaciones de relevancia.

Una decisión ligera de relevancia en segunda etapa

El modelo Lite procesa conjuntamente cada par consulta-documento como codificador cruzado. Puede seguir a una primera etapa de búsqueda por embeddings o léxica y afinar los pasajes seleccionados por esa etapa. Esto difiere de preparar un índice de embeddings reutilizable: el reclasificador examina juntos la consulta y el texto del documento enviados para la decisión actual de relevancia.

Para una búsqueda interactiva de ayuda, envía las explicaciones candidatas que podrían responder a la pregunta del usuario. Conserva suficiente contenido de cada pasaje para transmitir el comportamiento y sus condiciones, y preserva la asociación entre el índice de entrada y el elemento de origen. Un conjunto de candidatos concreto ayuda a dejar clara la tarea de reclasificación y mantiene las pruebas recuperadas utilizables para mostrarlas o para una respuesta posterior.

Las instrucciones expresan lo que el usuario quiere priorizar

Al igual que rerank-2.5, Lite acepta instrucciones en lenguaje natural antes o después de la consulta. Los ejemplos del fabricante las utilizan para destacar componentes de documentos, seleccionar un tipo de fuente preferido o añadir contexto a una palabra ambigua. Una aplicación puede aportar una preferencia permanente de relevancia, o la pregunta actual puede incluir otra más específica.

Una consulta ilustrativa de soporte puede preguntar qué pasaje explica un error, con una instrucción para priorizar los pasos de resolución de problemas frente a descripciones generales del producto. Una búsqueda documental puede pedir la redacción original de una política en lugar de un comentario sobre ella. Describe las pruebas deseadas y mantén concisa la instrucción. Las instrucciones influyen en las puntuaciones de relevancia; prepara las restricciones estrictas de versión, fecha o permisos al seleccionar los candidatos, en lugar de tratar una preferencia de relevancia como un filtro garantizado.

Lee la clasificación y devuelve el pasaje de origen

La salida se ordena por relevancia decreciente. Cada resultado incluye el índice original del documento y una puntuación de coma flotante; el ajuste opcional return-documents también devuelve el texto de entrada correspondiente. La opción top-k determina cuántos primeros resultados se devuelven, mientras que omitirla devuelve la clasificación de todos los candidatos enviados.

Utiliza esos índices para recuperar el pasaje de origen y su identificador. Un candidato reclasificado puede convertirse en un resultado de búsqueda o en pruebas para el siguiente paso de RAG, pero la salida es una ordenación del texto proporcionado, no una respuesta reescrita. Evalúa si los primeros pasajes satisfacen tanto la pregunta como la instrucción de relevancia, incluidos los idiomas y los tipos de documentos realmente presentes en la colección.

Límites y un presupuesto práctico de candidatos

La edición 2.5 Lite tiene un máximo documentado de 8,000 tokens por consulta y un límite de 32,000 tokens para la consulta más cada documento individual. Se diferencia del modelo anterior rerank-2-lite y de su contexto más pequeño. Pueden enviarse como máximo 1,000 documentos, y la entrada total se limita a 600,000 tokens según la fórmula: tokens de consulta multiplicados por el número de candidatos, más la suma de los tokens de los documentos candidatos.

Para usos sensibles a la latencia, las preguntas frecuentes del fabricante recomiendan rerank-2.5-lite con no más de 200,000 tokens totales por petición. Es una indicación práctica por debajo del máximo indicado, no una ventana por documento diferente. Una consulta o instrucción más larga se cuenta una vez por cada par de consulta y documento candidato, por lo que tanto el número de candidatos como la extensión de la consulta afectan al total.

El truncamiento está activado por defecto y acorta la entrada de consulta/documento demasiado larga para que quepa; al desactivarlo, una consulta o un par demasiado largos devuelven un error. Prepara deliberadamente candidatos compactos que contengan la respuesta para que las pruebas útiles no queden más allá del límite truncado. Seleccionar menos resultados de salida mediante top-k no elimina los otros candidatos proporcionados del cálculo de tokens. Examina los pasajes de origen devueltos y afina la preparación de la entrada en torno a las preguntas reales que debe responder la interfaz de búsqueda.