Sentence Transformers: all-mpnet-base-v2

all-mpnet-base-v2 é um modelo de Sentence Transformers para representar frases e parágrafos curtos como vetores densos de 768 dimensões. Foi ajustado a partir do modelo base MPNet com aprendizagem contrastiva numa coleção de mil milhões de pares de frases. O fabricante identifica a recuperação de informação, o agrupamento e a similaridade entre frases como utilizações previstas.

Codifique uma frase ou um parágrafo curto

Prepare o texto a comparar, mantendo a ideia principal e os detalhes que o distinguem. Numa coleção de documentos internos, uma secção curta pode descrever como pedir a substituição de um equipamento ou que informações deve conter um relatório de manutenção. Mantenha o título do documento e a localização da fonte disponíveis juntamente com o vetor.

Uma consulta com embedding gerado pelo mesmo modelo pode recuperar secções relacionadas mesmo quando a formulação difere. Examine essas secções para encontrar a instrução de que o leitor realmente precisa. Num fluxo de similaridade, compare as próprias frases candidatas após a recuperação, sobretudo quando uma inclui uma exceção ou condição ausente da outra.

Mean pooling e normalização

O exemplo de codificação de referência calcula a média das representações contextuais dos tokens com a máscara de atenção, excluindo o preenchimento da média. Depois aplica normalização L2 aos embeddings de frase resultantes. Preserve ambos os passos ao produzir vetores para uma coleção e para consultas posteriores.

Cada vetor tem 768 componentes. A similaridade do cosseno pode comparar essas representações normalizadas, enquanto o texto de origem fornece a evidência por trás de um resultado. A contagem de componentes em comum não torna este modelo compatível com multi-qa-mpnet-base-dot-v1: essa edição separada especifica CLS pooling e vetores não normalizados para pontuação por produto escalar.

Truncamento predefinido e preparação de passagens

O fabricante indica que a entrada para além de 384 segmentos de palavra, ou word pieces, é truncada por predefinição. Mantenha a secção relevante dentro desse limite do tokenizador. Para um procedimento longo, divida em limites de secção significativos e inclua contexto local suficiente para explicar a que se aplica um passo. Um fragmento como «Submeter no prazo de cinco dias» precisa do evento ou processo que inicia esse prazo.

O procedimento de treino limitou as sequências a 128 tokens, o que é distinto do valor predefinido publicado de 384 segmentos de palavra para codificação. Utilize material representativo ao avaliar parágrafos mais longos ou vocabulário específico da sua coleção. Caber mais texto na entrada não demonstra que todos os detalhes influenciarão igualmente um resultado de recuperação.

Recuperação, agrupamento e comparação

Para pesquisa, mantenha a associação entre vetor e documento, para que os candidatos ordenados possam devolver as secções originais. Num fluxo RAG, as secções selecionadas tornam-se contexto para a etapa de redação da resposta. O modelo fornece representações numéricas; não gera uma resposta fundamentada em fontes nem decide que documento é a autoridade relevante.

Para agrupamento, compare os registos de cada grupo proposto antes de atribuir etiquetas. Um conjunto de notas de manutenção pode conter linguagem semelhante mas referir-se a dispositivos ou condições de falha diferentes. Inclua esses detalhes distintivos no texto codificado e examine-os no material devolvido, em vez de depender apenas de uma pontuação.

Este checkpoint exato all-mpnet-base-v2 é um perfil de embeddings de frases em inglês com as suas próprias definições de mean pooling, normalização e truncamento predefinido. Mantenha essas definições associadas à coleção indexada e utilize os vetores como apoio para encontrar e comparar as passagens de origem que importam para a tarefa.