Voyage AI: Voyage Context 3

Voyage Context 3 produce embedding contestualizzati dei segmenti per il recupero di documenti. Ogni segmento riceve il proprio vettore, mentre il modello considera anche gli altri segmenti forniti dallo stesso documento. Questo offre a un sistema di recupero una rappresentazione del passaggio locale insieme al contesto più ampio del documento, come un’entità o un argomento introdotti altrove nella fonte.

Preparate ogni documento come una sequenza ordinata di segmenti di testo leggibile. Mantenete insieme i segmenti di un documento e preservatene l’ordine originale. Nel processo contestualizzato del produttore, ogni gruppo interno contiene i segmenti di una fonte e gruppi separati rappresentano fonti separate. Questo raggruppamento fa parte del significato dell’input: indica al modello quale testo circostante appartenga al documento rappresentato.

Un caso utile è una relazione la cui apertura identifica l’azienda mentre un paragrafo successivo ne spiega la crescita. Una ricerca sulla crescita di quell’azienda richiede sia il paragrafo specifico sia l’identità del documento. Conservate il testo originale del segmento e i metadati del documento a cui appartiene insieme al vettore risultante, affinché il risultato possa mostrare il passaggio e collegarsi alla fonte completa.

La documentazione di riferimento del produttore indica fino a 120 000 token nell’intera richiesta, con non più di 1 000 gruppi di input e 16 000 segmenti in totale. La guida del modello indica separatamente una finestra di 32 000 token per segmento. Mantenete distinti questi ambiti quando preparate i materiali: un limite sul singolo segmento e un limite sulla richiesta completa descrivono dimensioni di input diverse. Verificate il totale dopo aver suddiviso la fonte, anziché presumere che ogni singolo segmento possa raggiungere il proprio massimo nella stessa richiesta.

Per il recupero di documenti, identificate i passaggi raggruppati come input di documento. Preparate ogni domanda di ricerca come un proprio gruppo di query. Il produttore raccomanda segmenti di documento forniti senza sovrapposizione, permettendo alla rappresentazione contestualizzata di trasportare le informazioni circostanti senza ripetere il testo in ogni passaggio. Mantenete la corrispondenza tra gruppo di segmenti del documento, posizione del segmento e vettore restituito quando scrivete l’indice.

Voyage Context 3 supporta 2 048, 1 024, 512 e 256 dimensioni, con scelte di output in virgola mobile, a interi di otto bit e binario. Scegliete una rappresentazione per l’indice e valutatela sugli stessi documenti di fonte e sulle stesse domande. Conservate la dimensione e il tipo di dato selezionati insieme all’indice, in modo che la rappresentazione delle query e i vettori archiviati rimangano coerenti.

Usate i vettori risultanti nella ricerca di passaggi, nell’individuazione di documenti o nella fase di recupero di un assistente che lavora con relazioni, articoli di ricerca, contratti o manuali tecnici. Un risultato può identificare un passaggio mirato mentre il collegamento alla fonte dà accesso a definizioni e precisazioni presenti altrove nel documento. Conservate versioni dei documenti e autorizzazioni come metadati dell’applicazione insieme ai vettori.

Verificate domande che richiedono sia un dettaglio locale sia il contesto dell’intero documento. Includete passaggi simili da fonti diverse, entità nominate soltanto all’inizio e domande i cui elementi di prova si distribuiscono su più sezioni. Esaminate se il segmento atteso venga recuperato e se l’applicazione mostri testo circostante sufficiente per interpretarlo. Quando una fonte cambia, rigenerate intenzionalmente il gruppo di segmenti del documento interessato, affinché i suoi segmenti contestualizzati corrispondano a una versione coerente.