bge-reranker-v2-m3

BGE Reranker v2 M3 è un modello multilingue di pertinenza costruito su BGE-M3. Riceve insieme una query e un passaggio candidato e restituisce un punteggio per la loro relazione. BAAI propone questa edizione come reranker multilingue efficiente, anche per il recupero in cinese e inglese, quando un'applicazione di ricerca deve perfezionare un elenco di candidati esistente.

Pertinenza da una coppia query–passaggio

Un cross-encoder elabora entrambi i testi congiuntamente, consentendo ai loro contenuti di interagire prima della produzione del punteggio di pertinenza. Questo differisce da un modello di embedding, che codifica i testi indipendentemente per confronti vettoriali riutilizzabili. L'output del reranker è un punteggio scalare per una coppia specifica, anziché un vettore del documento o una risposta scritta.

Usa il modello dopo che una ricerca iniziale ha selezionato passaggi plausibili. Abbina la domanda a ciascun candidato e ordina i candidati in base ai punteggi risultanti. Questo concentra il confronto più dettagliato su una rosa gestibile, anziché chiedere a un cross-encoder di esaminare ogni passaggio di una raccolta ampia.

L'edizione v2 M3

Il produttore identifica BGE-M3 come modello di base ed elenca il supporto multilingue come caratteristica principale. Nella famiglia di reranker v2, M3 è l'opzione multilingue efficiente; le varianti basate su Gemma e quelle con selezione dei livelli sono modelli distinti con scelte di implementazione diverse. Il nome M3 qui non significa che il reranker restituisca gli embedding densi, sparsi e multivettoriali del modello di embedding originale.

Questa distinzione conta quando scegli il risultato richiesto dall'applicazione. Seleziona un modello di embedding per rappresentare e cercare una raccolta di documenti. Seleziona questo reranker quando disponi già di testo candidato e devi decidere quale passaggio sia più pertinente alla query attuale.

Preparare candidati che possano essere ordinati utilmente

Fornisci la domanda effettiva e il testo candidato completo necessario per interpretarlo. Preserva le intestazioni o le definizioni vicine quando determinano il significato di un passaggio. Nell'esempio Transformers pubblicato, query e passaggio vengono tokenizzati insieme con troncamento e max_length=512. Questa è un'impostazione di esempio anziché un limite valido per tutto il modello. Mantieni la domanda e le prove necessarie entro il budget selezionato per la coppia e controlla ciò che viene rimosso dal troncamento. Un risultato che menziona lo stesso prodotto della query può comunque essere irrilevante se riguarda l'operazione o la condizione sbagliata; prepara esempi che distinguano questi casi quando valuti la qualità del recupero.

Per un assistente documentale, mantieni gli identificatori dei candidati accanto al loro testo, assegna punteggi alle coppie domanda–passaggio e passa i passaggi originali selezionati alla fase di risposta. Il modello che risponde riceve così le prove anziché un punteggio di pertinenza privo della fonte. Questo è un flusso di recupero esemplificativo; il reranker stesso non cerca in una raccolta esterna e non scrive la risposta.

Leggere e normalizzare i punteggi

Il produttore restituisce punteggi grezzi di pertinenza, con un valore più alto che indica una corrispondenza più stretta. La normalizzazione facoltativa documentata applica una funzione sigmoide per collocare il punteggio fra 0 e 1. Un punteggio normalizzato ha un intervallo comodo, ma la sola trasformazione non stabilisce una probabilità calibrata che il candidato sia corretto.

Scegli le soglie di ordinamento o filtraggio usando coppie query–passaggio rappresentative del tuo carico di lavoro. Includi passaggi che condividono parole chiave ma rispondono a una domanda diversa, oltre a passaggi pertinenti con formulazioni differenti. Questo rende la soglia selezionata significativa per la raccolta in cui si cerca.

Per un progetto con Ailoot API, definisci cosa deve contenere il contesto finale e quanti candidati possono essere esaminati in modo efficiente. Il risultato utile è un insieme di prove ordinato meglio per il passaggio applicativo successivo. Mantieni l'output di pertinenza di questa edizione separato dagli embedding dei documenti, dalla prosa generata e dai controlli di selezione dei livelli documentati per altri reranker.