Intfloat: Multilingual-E5-Large

O Multilingual-E5-Large é o modelo multilingue de embeddings densos de texto da intfloat, com vinte e quatro camadas e uma saída de 1024 dimensões. É inicializado a partir do XLM-RoBERTa Large e treinado adicionalmente com dados multilingues. A ficha do modelo descreve o suporte para o âmbito de cem línguas do XLM-R, assinalando um desempenho inferior em línguas com poucos recursos. Os seus vetores representam texto para tarefas de recuperação, comparação semântica e características numéricas.

Preservar o papel da entrada em todas as línguas

Os prefixos treinados são “query:” e “passage:”, incluindo para texto que não está em inglês. Uma consulta de recuperação e as passagens do respetivo corpus utilizam os papéis correspondentes. Os prefixos mantêm-se como essas cadeias em inglês, enquanto o texto de origem conserva a sua própria língua. Para similaridade semântica simétrica, recuperação de paráfrases, mineração de bitextos ou utilização como características, o fabricante recomenda “query:”.

Uma coleção prática pode conter documentação em várias línguas suportadas. Guarde, juntamente com o vetor, a língua de cada passagem, o texto original e a localização na fonte. Prepare perguntas de pesquisa reais do público, em vez de presumir que um único teste em inglês representa toda a coleção. O resultado deve devolver a passagem efetiva e o seu contexto, para que o leitor possa avaliar o que ela diz.

Numa tarefa de correspondência multilingue, mantenha claro o objetivo da comparação. Um par candidato de traduções e uma consulta que procura uma passagem de apoio são preparações diferentes. As orientações do modelo sobre prefixos de papel fornecem uma convenção concreta para essas tarefas; omitir o prefixo não é o equivalente documentado, porque altera o padrão de entrada utilizado no treino.

Agregação e comparação de vetores

O exemplo do fabricante calcula a média das representações dos tokens usando uma máscara de atenção para excluir o preenchimento e, em seguida, normaliza o vetor. Os produtos escalares normalizados dão a similaridade de cosseno. A matriz de 1024 dimensões representa um texto preparado. Mantenha o modelo exato e a preparação associados aos vetores armazenados, para que as consultas posteriores utilizem a representação correspondente.

Estes vetores podem fornecer ordenações de candidatos ou características para uma fase posterior de agrupamento ou classificação. Não traduzem a fonte nem redigem uma resposta. Devolva o texto da passagem subjacente quando um resultado de recuperação se destina a apoiar um leitor ou uma fase posterior de geração RAG.

Treino e cobertura linguística

A ficha do modelo documenta um pré-treino contrastivo com supervisão fraca, seguido de um ajuste fino supervisionado. A preparação multilingue inclui material como pares título–passagem, pares conversacionais e pares de tradução, enquanto dados rotulados de recuperação e de compreensão da linguagem constituem a fase posterior. Isto explica as tarefas de representação de texto a que o modelo se destina, sem estabelecer um desempenho igual em todas as línguas.

O fabricante identifica explicitamente a degradação em línguas com poucos recursos como uma limitação. Verifique as línguas e a redação efetivas da coleção, incluindo abreviaturas, nomes e vocabulário especializado. Um rótulo multilingue é uma descrição útil do âmbito; a relevância do texto devolvido continua a ter de ser examinada para o público e a tarefa em causa.

Comprimento e resultados úteis

As entradas longas são truncadas em, no máximo, 512 tokens. Prepare um documento extenso como passagens coerentes, incluindo o prefixo de papel e os títulos relevantes. Mantenha as definições e ressalvas junto da afirmação que afetam, e guarde fora do vetor um identificador do documento principal e a versão da fonte.

O fabricante recomenda que se dê atenção à ordem relativa das pontuações de cosseno, em vez de tratar um valor absoluto como medida universal de confiança. Um resultado útil é um conjunto de passagens candidatas, representações de texto comparáveis ou características ligadas aos seus registos originais. Este modelo exato permanece distinto das versões E5 v2 exclusivamente em inglês e das variantes E5 ajustadas por instruções, mesmo quando outro modelo também devolve 1024 valores.