Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 es un modelo de embeddings de Sentence Transformers para frases y párrafos cortos. Asigna a cada texto una representación en un espacio vectorial denso de 384 dimensiones, con la búsqueda semántica y la agrupación entre las tareas indicadas por el fabricante. La arquitectura publicada combina un transformer con mean pooling; su longitud de secuencia configurada es de 128 tokens.

Representa el pasaje que quieres comparar

Prepara la frase o el párrafo corto real, manteniendo intactos el tema y las condiciones importantes. Una colección práctica puede contener preguntas formuladas de forma diferente o descripciones breves de temas relacionados. Genera el embedding de cada registro y conserva su formulación original y su identificador para que una comparación posterior pueda devolver el propio texto.

Por ejemplo, varias preguntas de ayuda pueden describir la misma dificultad con términos distintos. Una etapa de similaridad puede reunir esas candidatas y después se puede examinar su formulación para identificar el problema real. El embedding es la representación numérica utilizada en esa comparación; no escribe una paráfrasis ni asigna por sí mismo una etiqueta final de grupo.

Mean pooling y uso de vectores

El ejemplo de codificación directa del fabricante tiene en cuenta la máscara de atención al promediar las representaciones de tokens, excluyendo las posiciones de relleno. Su arquitectura selecciona expresamente mean pooling y no selecciona CLS ni max pooling. Mantén esa receta de pooling junto al modelo al preparar vectores comparables.

Cada representación devuelta tiene 384 componentes. Una etapa de indexación o agrupación trabaja con esos vectores utilizando una configuración de similaridad elegida, mientras que el registro de origen subyacente sigue disponible para revisión. Mantén el mismo modelo, preparación de entrada y ajustes de comparación entre los elementos que se comparan. Otro modelo que devuelva 384 valores no pertenece, solo por esa forma, al mismo espacio de embeddings.

Entradas cortas en la configuración publicada

La configuración de referencia de Sentence Transformer utiliza una longitud máxima de secuencia de 128 tokens. Prepara una fuente larga como unidades cortas y coherentes, en lugar de un párrafo demasiado grande. Una frase que contiene una regla puede necesitar la excepción de la frase siguiente; conserva junta esa pequeña unidad cuando quepa. Una cantidad de palabras o caracteres no establece directamente la longitud en tokens.

Para un conjunto de descripciones cortas, conserva los nombres y las propiedades distintivas que importen para la comparación. Un registro que solo contenga una categoría vaga puede ser difícil de separar de otros registros de ese tipo. Guarda la asociación con la fuente fuera del vector, para que una candidata devuelta pueda comprobarse frente al material original.

Resultados de búsqueda y agrupación

En búsqueda semántica, representa la consulta y el material del corpus con este mismo modelo y devuelve registros candidatos con su texto de origen. En agrupación, otra etapa forma grupos a partir de los vectores. Examina los registros cercanos al límite de un grupo antes de utilizar la agrupación como una decisión de producto o una etiqueta automática.

La salida útil es una representación compacta de texto corto vinculada a su registro original. Este checkpoint exacto paraphrase-MiniLM-L6-v2 tiene su propia configuración de pooling y secuencia. Las variantes all-MiniLM y paraphrase multilingües son perfiles de modelo separados; su entrenamiento, alcance lingüístico o ajustes de entrada no vienen implícitos en el nombre MiniLM compartido.