LiquidAI: LFM2.5-Embedding-350M (free)

LFM2.5-Embedding-350M es el bi-encoder denso de LiquidAI para recuperación multilingüe y entre idiomas. Produce un vector de 1024 dimensiones para cada texto y se dirige a búsqueda de contexto corto en once idiomas. La familia de modelos con nombre 350M utiliza una adaptación bidireccional de LFM2.5-350M-Base; la tabla detallada del modelo da aproximadamente 354 millones de parámetros para esta edición de embeddings.

Una representación bidireccional de recuperación

El fabricante adapta la arquitectura base para que la atención y las convoluciones locales puedan utilizar contexto en ambos lados de un token. El pooling de tipo CLS convierte el texto procesado en un vector denso. Su tabla del modelo describe diecisiete capas: diez bloques de convolución, seis bloques de atención y una etapa de pooling. Este es un codificador de recuperación, con su propia preparación y salida, en lugar de la tarea de generación de texto del modelo base.

El modelo con nombre separado LFM2.5-ColBERT-350M conserva vectores por token para interacción tardía. Esa representación exige un índice y método de comparación diferentes. El modelo Embedding de esta entrada aporta un vector por documento o consulta, con similaridad del coseno como comparación documentada.

Utiliza los prompts asimétricos correctos

Prepara las consultas de búsqueda con «query:» y los pasajes de origen con «document:». El fabricante guarda estos prompts en su configuración y su flujo de referencia aplica el nombre de prompt correspondiente. Recomienda expresamente utilizar el rol correspondiente en cada lado porque el modelo se entrenó con esos prefijos. Este prefijo documental es distinto de la convención «passage:» de los modelos E5.

Una colección práctica de búsqueda de productos puede contener descripciones en los idiomas compatibles. Prepara la formulación de búsqueda del usuario como consulta y cada descripción de producto como documento. Guarda el texto original, el identificador de producto y el idioma junto con el vector, para que un resultado de búsqueda pueda devolver el registro correspondiente. Para una colección de soporte, conserva la política o instrucción pertinente para la pregunta, en lugar de sustituirla por una etiqueta corta sin relación.

Idiomas y tamaño de los pasajes

El conjunto de idiomas documentado es inglés, español, alemán, francés, italiano, portugués, árabe, sueco, noruego, japonés y coreano. El fabricante se dirige expresamente tanto a recuperación dentro de un idioma como a recuperación entre idiomas. Prepara preguntas reales del público previsto y examina el texto de los documentos devueltos en esos idiomas.

La especificación de longitud documental es de 512 tokens. Divide una fuente larga en pasajes coherentes que conserven el encabezado, las definiciones y las condiciones necesarias para un resultado recuperado. El prefijo de rol y el contexto añadido forman parte de la entrada preparada. Una respuesta de preguntas frecuentes, una explicación de producto o una sección específica de un documento técnico es una unidad más adecuada que un manual entero demasiado grande.

Entrenamiento y correspondencia

El fabricante describe tres etapas de entrenamiento: preentrenamiento contrastivo en inglés, destilación multilingüe y entre idiomas y después ajuste con negativos difíciles obtenidos mediante minería. El modelo resultante está destinado a catálogos de productos, colecciones de preguntas frecuentes y soporte, búsqueda de archivos o notas y recuperación de conocimiento empresarial. Esas son tareas de las representaciones textuales, no afirmaciones sobre el despliegue de una aplicación particular.

El ejemplo del productor normaliza los vectores de consulta y documento y los ordena con un producto escalar, equivalente a la similaridad del coseno. Precalcula las representaciones del corpus cuando esté preparado el material de origen y después genera el embedding de una consulta de búsqueda y devuelve documentos candidatos con sus textos e identificadores. Mantén el modelo seleccionado y la convención de roles junto al índice, para que la comparación numérica utilice representaciones compatibles.

El resultado útil es un índice denso compacto de búsqueda o un vector de consulta que recupera material de origen entre los idiomas documentados. Esta edición exacta LFM2.5 Embedding sigue siendo distinta de su acompañante ColBERT, los recuperadores LFM2 anteriores y las implementaciones cuantizadas externamente. El texto del pasaje seleccionado es la evidencia que utiliza un lector o una etapa posterior de respuesta RAG.