BAAI: bge-large-en-v1.5

bge-large-en-v1.5 è l’edizione Large di BAAI per embedding densi in inglese. Trasforma un testo in un vettore di 1024 dimensioni per il recupero di passaggi e il confronto semantico. La versione 1.5 è l’aggiornamento del produttore volto a ottenere una distribuzione di similarità più utile e un recupero migliore senza istruzioni. Large rimane un checkpoint distinto da Base, Small, dalle edizioni cinesi e dal modello multilingue BGE-M3.

Prepara il recupero dei passaggi

Per una query di ricerca breve su documenti più lunghi, il produttore raccomanda l’istruzione per la query “Represent this sentence for searching relevant passages:”. Aggiungila soltanto alla query; i passaggi del corpus mantengono il proprio testo sorgente senza quell’istruzione. Negli altri usi è sufficiente il testo diretto. BAAI documenta anche il recupero senza prefisso nella v1.5 e raccomanda di scegliere la preparazione più efficace sul compito reale.

Una raccolta pratica di conoscenze può indicizzare le sezioni di un manuale tecnico in inglese. Una domanda su quale impostazione modifichi il formato di uscita deve restituire la sezione che spiega quell’impostazione e le relative condizioni. Conserva il titolo, la spiegazione pertinente e la posizione nella fonte insieme a ogni passaggio. Il modello fornisce la rappresentazione numerica; il testo sorgente restituito è ciò che utilizza il lettore o una successiva fase RAG.

Rappresentazione e confronto

L’esempio del produttore per la codifica diretta usa lo stato nascosto finale del primo token CLS come embedding aggregato e poi normalizza il vettore. Il prodotto scalare tra vettori normalizzati fornisce la similarità coseno. Ogni passaggio può quindi essere preparato una volta e memorizzato per il confronto con i vettori delle query in arrivo, mentre il materiale sorgente modificato riceve una rappresentazione aggiornata.

Le 1024 dimensioni specificano la lunghezza del vettore in uscita. Differiscono dalle 768 dimensioni della rappresentazione Base e non stabiliscono uno spazio condiviso compatibile con un altro checkpoint. Mantieni associati all’indice memorizzato il modello e la convenzione di preparazione. Un cambio di edizione degli embedding richiede di verificare insieme le rappresentazioni del corpus e delle query.

Adatta la fonte alla finestra

La lunghezza di sequenza documentata è di 512 token. Prepara un lungo manuale come sezioni coerenti anziché come un unico ingresso eccessivo. Mantieni una condizione o un’eccezione accanto alla regola che precisa e includi contesto sufficiente affinché la sezione recuperata abbia senso da sola. Anche l’istruzione aggiunta alla query occupa token in ingresso, quindi la finestra del modello riguarda l’intero ingresso preparato.

Un confine utile per un passaggio può comprendere un titolo e i paragrafi che rispondono a una domanda dell’utente. Conserva l’identificativo e la versione del documento principale fuori dal vettore, così che il risultato rimanga riconducibile alla fonte corretta. Per un compito di confronto, usa i testi reali da confrontare anziché sostituirli con riassunti non pertinenti che eliminano la distinzione da trovare.

Interpreta il punteggio

Il produttore avverte di non considerare la similarità assoluta come una regola universale di equivalenza semantica. L’ordine relativo dei punteggi è centrale nel recupero e una soglia deve essere calibrata sulla distribuzione testuale del compito. Esamina i passaggi candidati per domande con risposte note e per domande la cui risposta è assente. Questo mostra se la sezione restituita fornisce le informazioni richieste, anziché limitarsi ad assomigliare all’argomento.

bge-large-en-v1.5 fornisce vettori densi per l’inglese. Un reranker separato può affinare l’ordine dei candidati e un modello linguistico separato può comporre una risposta dai passaggi selezionati. L’uscita utile di questa edizione è una rappresentazione ricercabile collegata al testo sorgente, con la scelta esatta del modello Large v1.5 e la preparazione dell’ingresso conservate.