Voyage AI: Voyage Context 3

Voyage Context 3 produz embeddings contextualizados de segmentos para recuperação de documentos. Cada segmento recebe o seu próprio vetor, enquanto o modelo também considera os outros segmentos fornecidos do mesmo documento. Isto dá a um sistema de recuperação uma representação da passagem local juntamente com o contexto mais amplo do documento, como uma entidade ou um tema introduzido noutro ponto da fonte.

Prepare cada documento como uma sequência ordenada de segmentos de texto legível. Mantenha juntos os segmentos de um documento e preserve a sua ordem original. No processo contextualizado do fabricante, cada grupo interno contém os segmentos de uma fonte e grupos separados representam fontes separadas. Este agrupamento faz parte do significado da entrada: indica ao modelo que texto envolvente pertence ao documento representado.

Um caso útil é um relatório cuja abertura identifica a empresa enquanto um parágrafo posterior explica o seu crescimento. Uma pesquisa sobre o crescimento dessa empresa precisa tanto do parágrafo específico como da identidade do documento. Conserve o texto original do segmento e os metadados do documento a que pertence com o vetor resultante, para que o resultado possa apresentar a passagem e ligar à fonte completa.

A documentação de referência do fabricante indica até 120 000 tokens no conjunto de um pedido, com não mais de 1 000 grupos de entrada e 16 000 segmentos no total. O guia do modelo indica separadamente uma janela de 32 000 tokens por segmento. Mantenha estes âmbitos distintos ao preparar os materiais: um limite sobre um único segmento e um limite sobre o pedido completo descrevem tamanhos de entrada diferentes. Verifique o total depois de dividir a fonte, em vez de presumir que cada segmento individual pode atingir o seu máximo no mesmo pedido.

Para recuperação de documentos, identifique as passagens agrupadas como entrada de documento. Prepare cada pergunta de pesquisa como o seu próprio grupo de consulta. O fabricante recomenda segmentos de documento fornecidos sem sobreposição, permitindo que a representação contextualizada transporte informação envolvente sem repetir texto em todas as passagens. Conserve a correspondência entre o grupo de segmentos do documento, a posição do segmento e o vetor devolvido ao escrever o índice.

Voyage Context 3 suporta 2 048, 1 024, 512 e 256 dimensões, com opções de saída em vírgula flutuante, inteiros de oito bits e binária. Escolha uma representação para o índice e avalie-a com os mesmos documentos de origem e perguntas. Conserve a dimensão e o tipo de dados selecionados com o índice, para que a representação da consulta e os vetores armazenados permaneçam consistentes.

Utilize os vetores resultantes na pesquisa de passagens, na descoberta de documentos ou na etapa de recuperação de um assistente que trabalha com relatórios, artigos de investigação, contratos ou manuais técnicos. Um resultado pode identificar uma passagem focada, enquanto a ligação à fonte dá acesso a definições e ressalvas noutras partes do documento. Preserve as versões dos documentos e as permissões como metadados da aplicação junto dos vetores.

Teste perguntas que exijam tanto um detalhe local como contexto ao nível do documento. Inclua passagens semelhantes de fontes diferentes, entidades nomeadas introduzidas apenas no início e perguntas cujos elementos de prova se distribuem por várias secções. Examine se o segmento esperado é recuperado e se a aplicação apresenta texto envolvente suficiente para o interpretar. Quando uma fonte muda, regenere de forma deliberada o grupo de segmentos do documento afetado, para que os seus segmentos contextualizados correspondam a uma versão coerente.