VoyageAI by MongoDB: rerank-3-lite

O Voyage rerank-3-lite é a edição centrada na latência da série Rerank 3 da Voyage. Recebe uma consulta de texto e documentos candidatos, avalia em conjunto cada par consulta-documento e devolve pontuações de relevância por ordem de classificação. Serve a segunda etapa da pesquisa: um mecanismo de recuperação por embeddings ou palavras-chave encontra os candidatos, e Lite aperfeiçoa a sua ordem. O resultado é uma classificação para usar em pesquisa ou num fluxo de geração aumentada por recuperação.

O que muda no Rerank 3 Lite O produtor salienta uma recuperação mais forte em documentos longos e código face ao rerank-2.5-lite. Ambas as edições Rerank 3 conservam o cumprimento de instruções e a mesma classe de contexto de 32K, enquanto Lite foi concebido para aplicações sensíveis à latência. Isto torna-o um candidato prático para pesquisa interativa em bases de conhecimento, recuperação de documentos de apoio e consulta de código quando os utilizadores precisam de resultados relevantes rapidamente. Escolha-o de acordo com os requisitos de qualidade e tempo de resposta da coleção real, em vez de assumir que uma edição menor implica uma janela de contexto menor.

Oriente a relevância com a consulta Instruções em linguagem natural podem acompanhar a consulta para explicar o que conta como relevante. Mantenha a pergunta e a preferência de relevância concisas e coerentes. Para pesquisa de apoio de software, use «Encontre o procedimento para repor um dispositivo; dê prioridade às instruções para a revisão de hardware indicada.» Para um nome de produto ambíguo, inclua a categoria do produto para evitar o predomínio de significados sem relação. Uma preferência na consulta orienta a pontuação semântica; utilize metadados explícitos da coleção para selecionar o produto, a versão documental ou o âmbito de acesso corretos antes de construir a lista de candidatos.

Prepare uma lista restrita de candidatos de texto Os documentos de entrada são cadeias de texto. Extraia texto legível do material de origem e conserve títulos, cabeçalhos, identificadores e contexto envolvente úteis. Mantenha uma correspondência estável entre cada posição de entrada e o registo original. Para um artigo de resolução de problemas, inclua o sintoma e o procedimento relevante, não apenas uma frase isolada. Para pesquisa de código-fonte, inclua a função e a informação próxima necessária para a distinguir de funções com nomes semelhantes. Elimine navegação repetitiva ou texto padronizado quando ocupa o espaço da passagem útil.

O reordenador só pode reordenar os documentos que recebe. Se a primeira pesquisa nunca recuperar o artigo relevante, esta etapa não consegue recuperar esse candidato em falta. Inspecione tanto a lista restrita como a ordem final quando um resultado parecer errado. Quando um documento longo cobre muitos temas, separe secções coerentes e conserve as referências ao documento principal, para permitir selecionar uma secção relevante sem perder a sua fonte.

Contexto e limites de pedido O guia atual do fabricante especifica um máximo de consulta de 8 000 tokens e um máximo combinado de 32 000 tokens para a consulta mais cada documento individual. Permite até 1 000 documentos candidatos e um orçamento total de pedido de 600 000 tokens, calculado como tokens da consulta multiplicados pelo número de documentos, mais todos os tokens dos documentos. Uma consulta longa consome, por isso, espaço em cada par e contribui repetidamente para o orçamento agregado. Conte o texto submetido com o tokenizador adequado ao modelo, em vez de tratar caracteres, palavras e tokens como intercambiáveis.

Por exemplo, uma consulta de 500 tokens com 100 documentos de 4 000 tokens cada corresponde a 450 000 tokens de entrada segundo essa fórmula. Isto ilustra a gestão do orçamento, não uma dimensão recomendada da lista restrita nem um resultado medido de velocidade. A opção documentada de truncagem está ativada por predefinição; texto demasiado grande pode ser encurtado antes da pontuação. Prepare deliberadamente as secções importantes para que a truncagem não elimine precisamente a passagem de que precisa para a correspondência.

Leia e utilize o resultado Os resultados são ordenados da maior pontuação de relevância para a menor. Cada resultado identifica a posição original de entrada do documento, permitindo à aplicação associar o seu próprio título, identificador de registo e fonte. A definição top_k controla quantos candidatos classificados são devolvidos; sem ela, são devolvidos todos os candidatos. A interface REST do fabricante também pode devolver o texto do documento. Conserve os identificadores originais junto dos resultados selecionados ao apresentar uma página de pesquisa ou passar elementos de apoio a uma etapa de geração de resposta.

Uma pontuação de relevância exprime até que ponto um candidato corresponde à consulta; não estabelece que as suas afirmações são corretas. Compare os itens mais bem classificados com a pergunta real do utilizador, incluindo exclusões e diferenças de versão documental. Se todos os candidatos forem irrelevantes, continua a existir um item em primeiro lugar. Decida como a aplicação trata esse caso usando consultas representativas da coleção.

Atualização e escolha da edição O fabricante descreve o rerank-3-lite como uma atualização do rerank-2.5-lite com semântica da API inalterada e pontuações calibradas para a distribuição do antecessor correspondente. Preserve a correspondência de registos e a etapa de recuperação existentes e compare a ordem resultante em consultas significativas antes de confiar num limiar de pontuação estabelecido. Utilize Lite numa experiência de pesquisa em que o tempo de resposta importa; utilize a edição rerank-3 centrada na qualidade como comparação quando a relevância em candidatos difíceis é a prioridade maior.