VoyageAI by MongoDB: rerank-2.5

O rerank-2.5 é o reordenador da Voyage AI com cumprimento de instruções, concebido para aperfeiçoar um conjunto de candidatos de pesquisa. Examina em conjunto a consulta e cada documento como codificador cruzado e devolve depois uma ordenação por relevância. O lançamento do fabricante salienta controlo em linguagem natural sobre o que conta como relevante, recuperação multilingue e um contexto consulta–documento maior do que o da edição rerank-2 anterior.

Dê ao modelo os candidatos a comparar

A entrada é uma consulta e uma lista de documentos de texto candidatos. Podem ser passagens selecionadas por pesquisa de embeddings ou por uma primeira pesquisa léxica. O reordenador avalia o texto fornecido em vez de criar embeddings do corpus, pelo que a sua função prática é aperfeiçoar os candidatos já encontrados pela pesquisa inicial.

Mantenha a ordem original dos candidatos e os identificadores das fontes ao preparar essa lista. Os índices devolvidos referem-se a essas posições de entrada. Para uma tarefa RAG, forneça as passagens que a etapa de resposta pode realmente utilizar, incluindo o título ou as condições necessárias à sua interpretação. Um documento relevante ausente do conjunto de candidatos submetido não pode aparecer como resultado recém-encontrado da reordenação.

Especifique a noção de relevância pretendida

As instruções podem ser acrescentadas antes ou depois da consulta. O lançamento descreve três funções úteis: destacar uma parte específica de um documento, preferir um tipo de fonte e desambiguar a consulta com contexto da aplicação. Estas alteram a tarefa de relevância apresentada ao modelo.

Para uma pesquisa técnica, uma instrução ilustrativa é «Dê prioridade a passagens que expliquem o comportamento de falha e recuperação; as apresentações introdutórias são secundárias.» Para uma coleção de investigação, especifique se o título, o método ou o resultado é mais importante. Para um termo ambíguo, indique a área temática da pesquisa. Mantenha a pergunta e a instrução compatíveis, para que uma não peça um tema amplo enquanto a outra altera silenciosamente a tarefa.

Estas preferências orientam a pontuação de relevância. Se a aplicação tiver requisitos rígidos de elegibilidade — como versão da fonte, data ou âmbito de acesso — prepare separadamente o conjunto de candidatos elegíveis. A instrução de relevância do modelo e uma restrição determinística da coleção servem finalidades diferentes.

Saída classificada e utilização posterior dos resultados

Os resultados são ordenados por relevância decrescente e incluem uma pontuação de relevância de vírgula flutuante e o índice original de entrada do candidato. A opção top-k seleciona quantos primeiros resultados devolver; sem ela, a especificação do fabricante devolve resultados para todos os candidatos submetidos. Uma definição opcional return-documents inclui o texto de origem correspondente; caso contrário, a resposta contém índices e pontuações.

Utilize a ordenação para selecionar passagens para apresentação ou para uma etapa posterior de resposta, mantendo intacta a sua identidade de origem. Inspecione o texto real ao avaliar a classificação: a pontuação mede a relevância para a consulta submetida, não é uma resposta gerada nem uma verificação de que as afirmações do documento são corretas. Isto torna o modelo útil para aperfeiçoar material de pesquisa técnico, jurídico, financeiro, médico, de conversação e multilingue, sem converter a classificação numa conclusão de domínio.

Contexto, orçamento total de tokens e truncagem

O limite documentado da consulta é 8 000 tokens, incluindo instruções colocadas na consulta. A consulta mais qualquer documento candidato individual têm de caber em 32 000 tokens, e a lista de documentos pode conter no máximo 1 000 itens. A atribuição total é de 600 000 tokens, contados como tokens da consulta multiplicados pelo número de documentos, mais todos os tokens dos documentos. Uma instrução longa é, por isso, contada repetidamente ao longo dos pares consulta–documento.

A contagem top-k de saída não altera o número de candidatos nesse cálculo de tokens de entrada. A truncagem predefinida encurta consultas ou documentos excessivos para cumprir o limite de contexto; desativá-la faz com que uma consulta ou par excessivo devolva um erro. Prepare deliberadamente passagens que contenham a resposta e mantenha a condição relevante dentro do texto que o modelo verá. Avalie a ordem aperfeiçoada em perguntas e instruções representativas e passe as passagens originais selecionadas à etapa seguinte.