BAAI: bge-base-en-v1.5

bge-base-en-v1.5 es el modelo de embeddings densos en inglés de tamaño base de BAAI. Convierte cada texto en una representación numérica de 768 dimensiones para recuperación y comparación semántica. El modelo pertenece a la línea BGE v1.5, que aborda la distribución de puntuaciones de similaridad de la familia anterior y mejora la recuperación cuando no se proporciona una instrucción. Su salida es un vector utilizado para comparar textos o encontrar pasajes pertinentes.

Prepara consultas y pasajes

Para una consulta corta que busca pasajes más largos, BAAI recomienda anteponer a la consulta «Represent this sentence for searching relevant passages:». Los pasajes del corpus no reciben esa instrucción. Para otras tareas, se puede generar directamente el embedding del texto original. El fabricante señala que v1.5 también funciona sin instrucción, por lo que la preparación debe elegirse en función de la tarea, en lugar de tratar el prefijo como la única entrada válida.

Una colección práctica de búsqueda puede contener artículos de ayuda, explicaciones de productos o instrucciones técnicas. Una consulta como «How do I change the export format?» debe recuperar el pasaje que describe esa acción. Conserva juntos el encabezado de la sección, las condiciones pertinentes y el texto real de origen. Guarda el identificador y la ubicación del pasaje junto a su vector, para que un resultado de búsqueda pueda devolver algo que el usuario pueda leer o que una etapa posterior de respuesta pueda citar.

Formato del vector y comparación

La representación documentada utiliza el estado oculto final del primer token, o CLS, como embedding de la frase. Los ejemplos del fabricante normalizan el vector y comparan embeddings normalizados con un producto escalar, equivalente a la similaridad del coseno. Las 768 dimensiones son el tamaño de la representación de salida de este modelo; no son una longitud de contexto seleccionable ni un margen de generación de texto.

Utiliza el mismo modelo y la misma convención de preparación para los vectores de consulta y corpus que se comparan. Una comprobación práctica consiste en recuperar pasajes conocidos que contengan la respuesta para un pequeño conjunto de preguntas reales de usuarios y después examinar el texto devuelto. Una forma de vector compatible permite que un índice almacene la representación, mientras que el pasaje de origen establece lo que el resultado realmente dice.

Longitud de entrada y preparación documental

La longitud de secuencia documentada del modelo es de 512 tokens. Por tanto, una fuente larga debe dividirse en pasajes coherentes que contengan respuestas antes de generar sus embeddings. Mantén las definiciones y excepciones junto a la afirmación que matizan y conserva la conexión de un pasaje con su documento principal. El texto del que se genera el embedding incluye cualquier instrucción o encabezado que añadas, por lo que una preparación compacta deja más espacio para el contenido útil de origen.

Para un informe o manual, elige límites en torno a una sección o un pequeño grupo de párrafos relacionados. Un pasaje que solo contiene un título o un fragmento sin su sujeto puede ser difícil de interpretar al recuperarse. Conserva el texto original y una versión de origen, para que una actualización del índice pueda sustituir el material correspondiente cuando cambie el documento.

Puntuaciones y salida útil

BAAI advierte de que los valores absolutos de similaridad no son umbrales universales para decidir que dos textos significan lo mismo. La ordenación relativa importa y un umbral de filtrado debe seleccionarse utilizando la distribución de los datos de la propia tarea. Una similaridad vectorial alta es una señal de recuperación, en lugar de una verificación del contenido factual del pasaje.

El entregable útil es un índice de pasajes en inglés, un conjunto de vectores de consulta o características numéricas para comparación semántica. Un reranker separado puede refinar los candidatos recuperados y una etapa separada de generación puede redactar una respuesta a partir de sus textos. Este modelo base exacto v1.5 en inglés sigue siendo distinto de BGE Large, las ediciones en chino y los perfiles multilingües y de recuperación híbrida de BGE-M3.