bge-reranker-v2-m3

BGE Reranker v2 M3 é um modelo de relevância multilingue baseado em BGE-M3. Recebe em conjunto uma consulta e uma passagem candidata e devolve uma pontuação para a relação entre elas. A BAAI posiciona esta edição como um reordenador multilingue eficiente, incluindo para recuperação em chinês e inglês, quando uma aplicação de pesquisa precisa de refinar uma lista de candidatos existente.

Relevância de um par consulta–passagem

Um codificador cruzado processa ambos os textos em conjunto, permitindo que os seus conteúdos interajam antes de produzir a pontuação de relevância. Isto difere de um modelo de embeddings, que codifica os textos de forma independente para comparação vetorial reutilizável. A saída do reordenador é uma pontuação escalar para um par específico, em vez de um vetor de documento ou de uma resposta escrita.

Utilize o modelo depois de uma pesquisa inicial selecionar passagens plausíveis. Associe a pergunta a cada candidato e ordene os candidatos pelas pontuações resultantes. Assim, a comparação mais detalhada concentra-se numa lista restrita gerível, em vez de pedir a um codificador cruzado que examine todas as passagens de uma coleção grande.

A edição v2 M3

O fabricante identifica BGE-M3 como modelo de base e indica o suporte multilingue como uma funcionalidade principal. Na família de reordenadores v2, M3 é a opção multilingue eficiente; as variantes baseadas em Gemma e com seleção de camadas são modelos distintos com opções de implementação diferentes. O nome M3 aqui não significa que o reordenador devolva os embeddings densos, esparsos e multivetoriais do modelo de embeddings original.

Esta distinção é relevante ao escolher o resultado de que a sua aplicação precisa. Selecione um modelo de embeddings para representar e pesquisar uma coleção de documentos. Selecione este reordenador quando já tem texto candidato e precisa de decidir qual a passagem mais relevante para a consulta atual.

Prepare candidatos que possam ser ordenados de forma útil

Forneça a pergunta real e o texto candidato completo necessário para a interpretar. Preserve cabeçalhos ou definições próximas quando determinarem o significado de uma passagem. No exemplo publicado de Transformers, a consulta e a passagem são tokenizadas em conjunto com truncamento e max_length=512. Trata-se de uma definição do exemplo, e não de um limite de todo o modelo. Mantenha a pergunta e os elementos necessários dentro do orçamento do par selecionado e verifique o que o truncamento remove. Um resultado que mencione o mesmo produto que uma consulta pode continuar a ser irrelevante se abordar a operação ou a condição errada; prepare exemplos que distingam esses casos ao avaliar a qualidade da recuperação.

Para um assistente documental, mantenha os identificadores dos candidatos junto do texto, pontue os pares pergunta–passagem e passe as passagens originais selecionadas para a etapa de resposta. O modelo de resposta recebe assim os elementos de prova, em vez de uma pontuação de relevância sem a respetiva fonte. Este é um fluxo de trabalho ilustrativo de recuperação; o próprio reordenador não pesquisa uma coleção externa nem escreve a resposta.

Leia e normalize as pontuações

O fabricante devolve pontuações de relevância em bruto, em que um valor mais elevado indica uma correspondência mais próxima. A normalização opcional documentada aplica uma função sigmoide para colocar a pontuação entre 0 e 1. Uma pontuação normalizada tem um intervalo conveniente, mas essa transformação, por si só, não estabelece uma probabilidade calibrada de o candidato estar correto.

Escolha limiares de ordenação ou filtragem com pares consulta–passagem representativos da sua carga de trabalho. Inclua passagens que partilhem palavras-chave mas respondam a uma pergunta diferente, bem como passagens relevantes com redação diferente. Isto torna o limiar selecionado significativo para a coleção pesquisada.

Num projeto com a API Ailoot, defina o conteúdo do contexto final e quantos candidatos podem ser examinados de forma eficiente. O resultado útil é um conjunto de provas melhor ordenado para a etapa seguinte da aplicação. Mantenha a saída de relevância desta edição separada dos embeddings de documentos, da prosa gerada e dos controlos de seleção de camadas documentados para outros reordenadores.