LiquidAI: LFM2.5-Embedding-350M (free)

LFM2.5-Embedding-350M é o bi-encoder denso da LiquidAI para recuperação multilingue e entre línguas. Produz um vetor de 1024 dimensões para cada texto e destina-se a pesquisa de contexto curto em onze línguas. A família de modelos com o nome 350M utiliza uma adaptação bidirecional de LFM2.5-350M-Base; a tabela detalhada do modelo indica aproximadamente 354 milhões de parâmetros para esta edição de embeddings.

Uma representação bidirecional para recuperação

O fabricante adapta a arquitetura de base para que a atenção e as convoluções locais possam utilizar contexto de ambos os lados de um token. O pooling do tipo CLS transforma o texto processado num vetor denso. A tabela do modelo descreve dezassete camadas: dez blocos de convolução, seis blocos de atenção e uma etapa de pooling. Este é um codificador para recuperação, com a sua própria preparação e saída, em vez da tarefa de geração de texto do modelo base.

O modelo com nome separado LFM2.5-ColBERT-350M conserva vetores por token para interação tardia. Essa representação exige um índice e um método de comparação diferentes. O modelo Embedding aqui descrito fornece um vetor por documento ou consulta, sendo a similaridade do cosseno a comparação documentada.

Utilize os prompts assimétricos corretos

Prepare as consultas de pesquisa com «query:» e as passagens de origem com «document:». O fabricante armazena estes prompts na configuração e o seu fluxo de referência aplica o nome de prompt correspondente. Recomenda especificamente utilizar o papel correspondente de cada lado, porque o modelo foi treinado com estes prefixos. Este prefixo de documento é diferente da convenção «passage:» dos modelos E5.

Uma coleção prática de pesquisa de produtos pode conter descrições nas línguas suportadas. Prepare a formulação da pesquisa do utilizador como consulta e cada descrição de produto como documento. Guarde o texto original, o identificador do produto e a língua com o vetor, para que um resultado de pesquisa possa devolver o registo correspondente. Numa coleção de suporte, conserve a política ou instrução relevante para a pergunta, em vez de a substituir por uma etiqueta curta sem relação.

Línguas e tamanho das passagens

O conjunto de línguas documentado é inglês, espanhol, alemão, francês, italiano, português, árabe, sueco, norueguês, japonês e coreano. O fabricante visa explicitamente tanto a recuperação dentro de uma língua como a recuperação entre línguas. Prepare perguntas reais do público previsto e examine o texto dos documentos devolvidos nessas línguas.

A especificação de comprimento de documento é de 512 tokens. Divida uma fonte longa em passagens coerentes que preservem o título, as definições e as condições necessárias para um resultado recuperado. O prefixo de papel e o contexto acrescentado fazem parte da entrada preparada. Uma resposta de perguntas frequentes, uma explicação de produto ou uma secção focada de um documento técnico é uma unidade mais adequada do que um manual inteiro demasiado grande.

Treino e correspondência

O fabricante descreve três etapas de treino: pré-treino contrastivo em inglês, destilação multilingue e entre línguas e, depois, ajuste com exemplos negativos difíceis selecionados por mineração. O modelo resultante destina-se a catálogos de produtos, coleções de perguntas frequentes e suporte, pesquisa de ficheiros ou notas e recuperação de conhecimento empresarial. Estas são tarefas para as representações de texto, não alegações sobre a implementação de uma aplicação específica.

O exemplo do produtor normaliza os vetores de consulta e documento e ordena-os com um produto escalar, equivalente à similaridade do cosseno. Pré-calcule as representações do corpus quando o material de origem estiver preparado e, depois, gere o embedding de uma consulta de pesquisa e devolva documentos candidatos com o seu texto e identificadores. Mantenha o modelo selecionado e a convenção de papéis associados ao índice, para que a comparação numérica utilize representações compatíveis.

O resultado útil é um índice de pesquisa denso e compacto ou um vetor de consulta que recupera material de origem no conjunto de línguas documentado. Esta edição exata LFM2.5 Embedding permanece separada do seu companheiro ColBERT, dos recuperadores LFM2 anteriores e de implementações quantizadas externamente. O texto da passagem selecionada é a evidência utilizada por um leitor ou por uma etapa posterior de resposta RAG.