Voyage AI: Voyage 3 Large

Voyage 3 Large é um modelo de embeddings textuais para encontrar informação relevante numa coleção de documentos. Representa cada texto fornecido como um vetor numérico, permitindo que uma aplicação compare um pedido de pesquisa com passagens cuja formulação pode ser diferente, mas cujo significado é relacionado. A Voyage AI posiciona esta edição para recuperação de informação de uso geral e multilingue, abrangendo materiais como documentação técnica, conversas e documentos longos.

Construa a coleção pesquisável a partir da informação que as pessoas precisam realmente de recuperar. Para uma base de conhecimento de produto, mantenha a explicação de uma funcionalidade com os seus pré-requisitos e exceções relevantes. Para registos de reuniões, preserve as etiquetas dos intervenientes e discussão envolvente suficiente para tornar o tema compreensível. Divida uma fonte extensa em pontos úteis e conserve o título da fonte, o identificador do documento e a posição da passagem junto de cada vetor.

Prepare uma pergunta de pesquisa como consulta e os materiais indexados como documentos. No processo de embeddings textuais do fabricante, o tipo de entrada indica ao modelo o papel do texto na recuperação. Uma consulta como «Como pode um membro recuperar o acesso depois de perder uma chave de segurança?» pode assim ser comparada com passagens de assistência que descrevem o procedimento de recuperação, mesmo que usem formulações diferentes. Mantenha a passagem original disponível, para que o resultado de pesquisa possa mostrar os elementos que sustentam a correspondência.

O modelo tem uma janela de contexto de 32 000 tokens. Uma entrada longa pode preservar uma secção completa, mas um documento inteiro nem sempre é a unidade de pesquisa mais útil. Um vetor abrangente pode apontar para o ficheiro certo, deixando ao leitor a tarefa de encontrar a resposta precisa. Escolha os limites das passagens em função do resultado que pretende mostrar e mantenha títulos, ressalvas e definições com o conteúdo que explicam.

Voyage 3 Large suporta vetores com 2 048, 1 024, 512 ou 256 dimensões. O fabricante também documenta representações em vírgula flutuante, de oito bits com ou sem sinal e binárias. Estas escolhas permitem que um sistema de recuperação compare o detalhe dos vetores com o tamanho do índice e o comportamento da pesquisa. Selecione o formato suportado pelo armazenamento vetorial pretendido e avalie-o no corpus real e em perguntas representativas antes de escolher as definições do índice de produção.

Para pesquisa multilingue, inclua perguntas de teste nas línguas usadas pelos utilizadores e examine as passagens recuperadas na sua língua original. Uma interface de pesquisa partilhada pode servir várias coleções linguísticas, enquanto os metadados dos documentos continuam a identificar a língua e região e a versão da fonte. Preserve nomes significativos, abreviaturas e termos de domínio durante a extração, em vez de os substituir por um resumo genérico antes de criar os embeddings.

Utilize os vetores para recuperar passagens candidatas para uma página de pesquisa, um assistente baseado numa base de conhecimento ou uma etapa de seleção de documentos. Mantenha o mesmo modelo e as mesmas definições vetoriais para a coleção indexada e as suas consultas. Ao substituir um modelo de embeddings ou alterar as dimensões vetoriais, reconstrua e compare o índice afetado de forma deliberada; o comprimento de um vetor, por si só, não identifica como foi produzido.

Avalie o resultado pela utilidade da recuperação: se aparece a passagem correta, se passagens próximas mas enganadoras ficam acima dela e se o excerto apresentado contém a resposta. Conserve um pequeno conjunto de perguntas reais com as fontes esperadas, incluindo formulações ambíguas e documentos quase duplicados. O embedding fornece uma representação pesquisável; a aplicação conserva o texto de origem, as permissões e as ligações necessárias para transformar uma correspondência num resultado utilizável.