Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast es la edición más ligera de Rerank 4, orientada a tareas de recuperación con menor latencia y mayor capacidad de procesamiento. Recibe una consulta y documentos candidatos, y devuelve su orden y sus puntuaciones de relevancia. Es útil para búsquedas interactivas, selección repetida de evidencia y aplicaciones que necesitan reordenar una lista de resultados existente. Fast sigue siendo una edición distinta de Rerank 4 Pro, que está orientada a casos más complejos donde la calidad de recuperación tiene prioridad.

El código del productor es rerank-v4.0-fast. Al igual que Pro, tiene un contexto de 32,768 tokens y cobertura multilingüe de más de 100 idiomas. La consulta y un documento comparten el contexto; no es una dimensión vectorial ni un presupuesto para un corpus indexado completo. Proporciona los textos candidatos que deben compararse, en vez de esperar que el modelo recupere documentos de una fuente que no ha recibido.

El resultado documentado incluye el índice del documento original y una relevance_score. top_n selecciona cuántos resultados devolver, mientras que omitirlo devuelve la lista ordenada completa. Conserva los identificadores de fuente junto a las entradas para vincular el nuevo orden con los pasajes reales. Para una búsqueda de productos, describe los atributos requeridos en la consulta y reordena las descripciones candidatas; una posición más alta debe seguir vinculada al registro de producto que la originó.

El modelo puede trabajar con documentos en inglés y otros idiomas, y con registros semiestructurados. En el flujo V2, las entradas de documentos son cadenas, y Cohere recomienda representar los datos estructurados como YAML. Coloca primero los campos importantes y conserva su orden para que un truncamiento no descarte el contenido necesario para evaluar la relevancia. Un registro de soporte puede incluir título, producto y texto del procedimiento; un mensaje puede incluir su asunto y cuerpo. Estas relaciones explícitas proporcionan al clasificador información que va más allá de una lista de palabras clave coincidentes.

El límite de consulta específico del modelo en la guía de preparación de Cohere es de 16,384 tokens, y la consulta y el documento consumen el contexto compartido. La guía describe el procesamiento por fragmentos de documentos más largos, mientras que la referencia V2 establece por separado un truncamiento predeterminado de documentos a 4096 tokens mediante max_tokens_per_doc. Revisa esa configuración efectiva de documentos en vez de suponer que siempre se usa toda la ventana de 32K del modelo. Prepara pasajes relevantes o un presupuesto de documentos adecuado para la tarea real de recuperación.

Para el rendimiento recomendado, Cohere aconseja no incluir más de 1,000 documentos en una solicitud. Divide los conjuntos de candidatos más grandes en grupos manejables y conserva sus identificadores. Las puntuaciones de salida se normalizan de 0 a 1 y dependen de la consulta y de los pasajes. Su orden es el resultado clave; una puntuación no es un múltiplo lineal de la relevancia ni una prueba de que un pasaje sea correcto. Establece cualquier umbral de filtrado con consultas representativas y pasajes de relevancia limítrofe del dominio.

Un resultado útil de Fast es una lista ordenada que pueda alimentar de inmediato una vista de búsqueda o seleccionar evidencia para una etapa de redacción de respuestas. Conserva el texto fuente con la puntuación y revisa si los primeros resultados realmente responden a las condiciones solicitadas. La función de Fast es ordenar la recuperación, en lugar de generar una explicación nueva o un vector de embedding. Mantén constantes la edición identificada y la preparación de entradas al afinar el comportamiento de relevancia.