BAAI: bge-base-en-v1.5

O bge-base-en-v1.5 é o modelo de embeddings densos em inglês de tamanho base da BAAI. Converte cada texto numa representação numérica de 768 dimensões para recuperação e comparação semântica. O modelo pertence à linha BGE v1.5, que corrige a distribuição das pontuações de similaridade da família anterior e melhora a recuperação quando não é fornecida nenhuma instrução. A sua saída é um vetor utilizado para comparar textos ou encontrar passagens relevantes.

Preparar consultas e passagens

Para uma consulta curta que pesquisa passagens mais longas, a BAAI recomenda prefixar a consulta com “Represent this sentence for searching relevant passages:”. As passagens do corpus não recebem essa instrução. Para outras tarefas, o texto original pode ser incorporado diretamente. O fabricante observa que a v1.5 também funciona sem instrução, pelo que a preparação deve ser escolhida em função da tarefa, em vez de tratar o prefixo como a única entrada válida.

Uma coleção de pesquisa prática pode conter artigos de ajuda, explicações de produtos ou instruções técnicas. Uma consulta como “How do I change the export format?” deve recuperar a passagem que descreve essa ação. Mantenha juntos o título da secção, as condições relevantes e o texto de origem efetivo. Guarde o identificador e a localização da passagem junto do seu vetor, para que um resultado de pesquisa possa devolver algo que o utilizador possa ler ou que uma fase posterior de resposta possa citar.

Formato do vetor e comparação

A representação documentada utiliza o último estado oculto do primeiro token, ou token CLS, como embedding da frase. Os exemplos do fabricante normalizam o vetor e comparam embeddings normalizados com um produto escalar, equivalente à similaridade de cosseno. As 768 dimensões são o tamanho da representação de saída deste modelo; não são um comprimento de contexto selecionável nem uma quota de geração de texto.

Utilize o mesmo modelo e a mesma convenção de preparação para os vetores de consulta e de corpus que são comparados. Uma verificação prática consiste em recuperar passagens conhecidas que contêm a resposta para um pequeno conjunto de perguntas reais de utilizadores e, depois, inspecionar o texto devolvido. Uma forma de vetor compatível permite que um índice armazene a representação, enquanto a passagem de origem estabelece o que o resultado diz efetivamente.

Comprimento da entrada e preparação dos documentos

O comprimento de sequência documentado do modelo é de 512 tokens. Uma fonte longa deve, por isso, ser dividida em passagens coerentes que contenham respostas antes de ser incorporada. Mantenha as definições e exceções junto da afirmação que qualificam e preserve a ligação entre uma passagem e o seu documento principal. O texto a incorporar inclui qualquer instrução ou título que acrescente, pelo que uma preparação compacta deixa mais espaço para o conteúdo útil da fonte.

Num relatório ou manual, escolha os limites em torno de uma secção ou de um pequeno grupo de parágrafos relacionados. Uma passagem que contenha apenas um título ou um fragmento sem o respetivo assunto pode ser difícil de interpretar quando recuperada. Guarde o texto original e uma versão da fonte, para que uma atualização do índice possa substituir o material correspondente quando o documento mudar.

Pontuações e resultado útil

A BAAI adverte que os valores absolutos de similaridade não são limiares universais para decidir se dois textos significam o mesmo. A ordenação relativa é o que importa, e um limiar de filtragem deve ser selecionado com base na distribuição dos dados da própria tarefa. Uma similaridade vetorial elevada é um sinal de recuperação, e não uma verificação do conteúdo factual da passagem.

O resultado útil é um índice de passagens em inglês, um conjunto de vetores de consulta ou características numéricas para comparação semântica. Um reordenador separado pode refinar os candidatos recuperados, e uma fase separada de geração pode redigir uma resposta a partir do respetivo texto. Este modelo exato base em inglês v1.5 permanece distinto do BGE Large, das edições em chinês e dos perfis multilingue e de recuperação híbrida do BGE-M3.