VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite è il membro leggero del rilascio 2.5 dei reranker di Voyage AI. Il produttore lo descrive come un modello generalista che bilancia latenza e qualità della pertinenza, con rispetto delle istruzioni in linguaggio naturale e supporto multilingue. Il suo input è una query e testi candidati, e il suo output è un ordine perfezionato di quei candidati con punteggi di pertinenza.

Una valutazione leggera della pertinenza nella seconda fase

Il modello Lite elabora congiuntamente ogni coppia query-documento come cross-encoder. Può seguire una ricerca iniziale basata su embedding o lessico, perfezionando i brani selezionati da quella fase. Questo differisce dalla preparazione di un indice di embedding riutilizzabile: il reranker esamina insieme la query inviata e il testo del documento per la valutazione corrente della pertinenza.

Per una ricerca interattiva di assistenza, invia le spiegazioni candidate che potrebbero rispondere alla domanda dell'utente. Mantieni abbastanza testo di ogni brano da comunicare il comportamento e le relative condizioni e conserva l'associazione tra l'indice di input e l'elemento originale. Un insieme di candidati mirato aiuta a rendere chiaro il compito di reranking, lasciando le prove recuperate utilizzabili per la visualizzazione o una risposta successiva.

Le istruzioni esprimono cosa l'utente vuole privilegiare

Come rerank-2.5, Lite accetta istruzioni in linguaggio naturale prima o dopo la query. Gli esempi del produttore le usano per evidenziare componenti del documento, selezionare un tipo preferito di fonte o aggiungere contesto a una parola ambigua. Un'applicazione può fornire una preferenza di pertinenza stabile, oppure la domanda corrente può includerne una più specifica.

Una query di supporto esemplificativa può chiedere quale brano spieghi un errore, con l'istruzione di dare priorità ai passaggi di risoluzione dei problemi rispetto alle descrizioni generali del prodotto. Una ricerca documentale può chiedere la formulazione originale di una policy invece di una discussione della policy. Descrivi le prove desiderate e mantieni l'istruzione concisa. Le istruzioni influenzano i punteggi di pertinenza; applica ogni vincolo rigido su versione, data o autorizzazione nella selezione dei candidati, invece di trattare una preferenza di pertinenza come filtro garantito.

Leggi la classifica e restituisci il brano originale

L'output è ordinato per pertinenza decrescente. Ogni risultato include l'indice originale del documento e un punteggio a virgola mobile; l'impostazione opzionale return-documents restituisce anche il testo di input corrispondente. L'opzione top-k determina il numero dei primi risultati restituiti, mentre ometterla restituisce la classifica di tutti i candidati inviati.

Usa quegli indici per recuperare il brano originale e il suo identificatore. Un candidato riclassificato può diventare un risultato di ricerca o una prova per il passaggio RAG successivo, ma l'output è un ordinamento del testo fornito, non una risposta riscritta. Valuta se i brani ai primi posti soddisfano sia la domanda sia l'istruzione di pertinenza, anche nelle lingue e nei tipi di documenti effettivamente presenti nella raccolta.

Limiti e un budget pratico dei candidati

L'edizione 2.5 Lite ha un massimo documentato di 8.000 token per la query e un limite di 32.000 token per la query più ogni singolo documento. È distinta dal precedente modello rerank-2-lite e dal suo contesto più piccolo. Si possono inviare al massimo 1.000 documenti e l'input totale è limitato a 600.000 token secondo la formula: token della query moltiplicati per il numero di candidati, più la somma dei token dei documenti candidati.

Per usi sensibili alla latenza, le FAQ del produttore raccomandano rerank-2.5-lite con non più di 200.000 token totali per richiesta. È un'indicazione pratica al di sotto del massimo dichiarato, non una diversa finestra per documento. Una query o istruzione più lunga viene contata una volta per ogni coppia candidata, quindi sia il numero di candidati sia la lunghezza della query influiscono sul totale.

Il troncamento è abilitato per impostazione predefinita e accorcia input query/documento troppo lunghi per farli rientrare; disabilitarlo restituisce un errore per una query o una coppia troppo lunga. Prepara deliberatamente candidati compatti che contengano la risposta, così le prove utili non restano oltre il limite di troncamento. Selezionare meno risultati di output tramite top-k non rimuove gli altri candidati forniti dal calcolo dei token. Esamina i brani originali restituiti e perfeziona la preparazione dell'input intorno alle domande effettive a cui l'interfaccia di ricerca deve rispondere.