BAAI: bge-large-en-v1.5

bge-large-en-v1.5 é a edição Large da BAAI para embeddings densos em inglês. Converte um texto num vetor de 1024 dimensões para recuperação de passagens e comparação semântica. A versão 1.5 é a atualização do fabricante destinada a uma distribuição de similaridade mais útil e a melhor recuperação sem instrução. Large mantém-se um checkpoint distinto de Base, Small, das edições chinesas e do modelo multilingue BGE-M3.

Prepare a recuperação de passagens

Para uma consulta curta de pesquisa em documentos mais longos, o fabricante recomenda a instrução de consulta «Represent this sentence for searching relevant passages:». Adicione-a à consulta; as passagens do corpus mantêm o seu texto de origem sem essa instrução. Noutros usos, o texto direto é suficiente. A BAAI também documenta recuperação sem o prefixo na v1.5 e recomenda escolher a preparação que funciona melhor na tarefa real.

Uma coleção prática de conhecimento pode indexar as secções de um manual técnico em inglês. Uma pergunta sobre a configuração que altera o formato de saída deve devolver a secção que explica essa configuração e as suas condições. Conserve o título, a explicação relevante e a localização na fonte com cada passagem. O modelo fornece a representação numérica; o texto de origem devolvido é o que utiliza um leitor ou uma fase posterior de RAG.

Representação e comparação

O exemplo de codificação direta do fabricante usa o estado oculto final do primeiro token CLS como embedding agregado e depois normaliza o vetor. Comparar vetores normalizados através do produto escalar dá a similaridade do cosseno. Cada passagem pode, portanto, ser preparada uma vez e guardada para comparação com vetores de consultas recebidas, enquanto o material de origem alterado recebe uma representação atualizada.

As 1024 dimensões especificam o comprimento do vetor de saída. Diferem da representação Base de 768 dimensões e não estabelecem um espaço partilhado compatível com outro checkpoint. Mantenha o modelo e a convenção de preparação associados ao índice guardado. Uma mudança de edição dos embeddings exige verificar em conjunto as representações do corpus e das consultas.

Ajuste a fonte à janela

O comprimento de sequência documentado é de 512 tokens. Prepare um manual longo em secções coerentes, em vez de uma única entrada demasiado grande. Mantenha uma condição ou exceção junto da regra que qualifica e inclua contexto suficiente para que uma secção recuperada faça sentido por si só. Uma instrução de consulta acrescentada também ocupa tokens de entrada, pelo que a janela do modelo diz respeito à entrada preparada completa.

Um limite útil para uma passagem pode incluir um título e os parágrafos que respondem a uma pergunta do utilizador. Preserve o identificador e a versão do documento principal fora do vetor, para que um resultado continue rastreável à fonte correta. Numa tarefa de comparação, use os textos reais a comparar, em vez de os substituir por resumos sem relação que removam a distinção que procura.

Interprete a pontuação

O fabricante avisa que a similaridade absoluta não deve ser tratada como regra universal de equivalência semântica. A ordem relativa das pontuações é central na recuperação e um limiar deve ser calibrado na distribuição dos textos da própria tarefa. Reveja passagens candidatas para perguntas com respostas conhecidas e para perguntas sem resposta na coleção. Isso revela se uma secção devolvida fornece a informação necessária, em vez de apenas se assemelhar ao tema.

bge-large-en-v1.5 fornece vetores densos em inglês. Um reordenador separado pode refinar a ordem dos candidatos e um modelo de linguagem separado pode compor uma resposta a partir das passagens selecionadas. A saída útil desta edição é uma representação pesquisável ligada ao seu texto de origem, conservando a escolha exata do modelo Large v1.5 e a preparação da entrada.