VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite es el miembro ligero de la versión 2.5 de reclasificadores de Voyage AI. El fabricante lo describe como un modelo generalista que equilibra la latencia y la calidad de relevancia, con seguimiento de instrucciones en lenguaje natural y soporte multilingüe. Su entrada es una consulta y textos candidatos, y su salida es un orden refinado de esos candidatos con puntuaciones de relevancia.

Una decisión ligera de relevancia en la segunda etapa

El modelo Lite procesa conjuntamente cada par de consulta y documento como codificador cruzado. Puede seguir a una búsqueda de primera etapa basada en embeddings o léxica, afinando los pasajes seleccionados por esa etapa. Esto difiere de preparar un índice reutilizable de embeddings: el reclasificador examina juntos la consulta y el texto del documento enviados para la decisión de relevancia actual.

Para una búsqueda interactiva de ayuda, envía las explicaciones candidatas que podrían responder la pregunta del usuario. Conserva suficiente contenido de cada pasaje para comunicar el comportamiento y sus condiciones, y preserva la asociación entre el índice de entrada y el elemento de origen. Un conjunto de candidatos enfocado ayuda a aclarar la tarea de reclasificación y mantiene la evidencia recuperada utilizable para mostrarla o para una respuesta posterior.

Las instrucciones expresan lo que el usuario quiere priorizar

Al igual que rerank-2.5, Lite acepta instrucciones en lenguaje natural antes o después de la consulta. Los ejemplos del fabricante las usan para destacar componentes de documentos, seleccionar un tipo de fuente preferido o agregar contexto a una palabra ambigua. Una aplicación puede proporcionar una preferencia de relevancia permanente, o la pregunta actual puede incluir una más específica.

Una consulta ilustrativa de soporte puede preguntar qué pasaje explica un error, con una instrucción para priorizar pasos de solución de problemas sobre descripciones generales del producto. Una búsqueda documental puede pedir la redacción original de una política en lugar de un análisis de ella. Describe la evidencia deseada y mantén breve la instrucción. Las instrucciones influyen en las puntuaciones de relevancia; prepara cualquier restricción estricta de versión, fecha o permisos en la selección de candidatos, en lugar de tratar una preferencia de relevancia como un filtro garantizado.

Lee la clasificación y devuelve el pasaje de origen

La salida se ordena por relevancia decreciente. Cada resultado incluye el índice original del documento y una puntuación de punto flotante; el ajuste opcional return-documents también devuelve el texto de entrada correspondiente. La opción top-k determina cuántos resultados iniciales se devuelven, mientras que omitirla devuelve la clasificación de todos los candidatos enviados.

Usa esos índices para recuperar el pasaje de origen y su identificador. Un candidato reclasificado puede convertirse en resultado de búsqueda o evidencia para el siguiente paso RAG, pero la salida es un ordenamiento del texto proporcionado, no una respuesta reescrita. Evalúa si los primeros pasajes satisfacen tanto la pregunta como la instrucción de relevancia, incluidos los idiomas y tipos de documentos realmente presentes en la colección.

Límites y un presupuesto práctico de candidatos

La edición 2.5 Lite tiene un máximo documentado de consulta de 8,000 tokens y un límite de 32,000 tokens para la consulta más cada documento individual. Es distinta del modelo anterior rerank-2-lite y su contexto menor. Se pueden enviar como máximo 1,000 documentos y la entrada total se limita a 600,000 tokens según la fórmula: tokens de consulta multiplicados por la cantidad de candidatos, más la suma de tokens de los documentos candidatos.

Para usos sensibles a la latencia, las preguntas frecuentes del fabricante recomiendan rerank-2.5-lite con no más de 200,000 tokens totales por solicitud. Es una recomendación práctica por debajo del máximo indicado, no una ventana diferente por documento. Una consulta o instrucción más larga se cuenta una vez por cada par candidato, así que tanto la cantidad de candidatos como la longitud de la consulta afectan el total.

El truncamiento está habilitado por defecto y acorta la entrada de consulta o documento demasiado larga para que quepa; deshabilitarlo devuelve un error para una consulta o par que exceda la longitud. Prepara deliberadamente candidatos compactos que contengan la respuesta para que la evidencia útil no quede más allá de un límite truncado. Seleccionar menos resultados de salida mediante top-k no elimina los demás candidatos proporcionados del cálculo de tokens. Inspecciona los pasajes de origen devueltos y afina la preparación de entrada en torno a las preguntas reales que debe responder la interfaz de búsqueda.