Intfloat: E5-Large-v2

E5-Large-v2 è il modello di embedding testuale inglese a ventiquattro strati di intfloat, con un output a 1024 dimensioni. È progettato per rappresentare numericamente query e passaggi per il recupero di informazioni e altre attività di embedding. La convenzione di preparazione E5 fa parte del suo addestramento: il testo di input porta un prefisso di ruolo e le rappresentazioni codificate dei token vengono aggregate in un vettore per quel testo.

Mantenere espliciti i ruoli di query e passaggio

Per il recupero asimmetrico, inizia la domanda con «query:» e il testo del corpus con «passage:». Questi ruoli distinguono ciò che l’utente cerca dal materiale che potrebbe rispondergli. Per un confronto simmetrico, la ricerca di parafrasi, il clustering o le caratteristiche di classificazione, il produttore raccomanda «query:» per i testi da codificare.

Una raccolta concreta può indicizzare spiegazioni di assistenza in inglese. Prepara una domanda come «query: What should I check before replacing the connector?» e abbinala a passaggi di origine che descrivono controlli ed eccezioni. Il testo del passaggio conserva il prefisso corrispondente. Memorizza l’identificatore della fonte e la formulazione originale accanto a ogni vettore, affinché il risultato possa restituire il materiale che un utente deve leggere.

I prefissi non sono etichette decorative da rimuovere da un lato dell’attività. Il produttore afferma che ometterli degrada le prestazioni di recupero, perché il modello è stato addestrato con quella preparazione. Applica il ruolo scelto in modo coerente quando costruisci il corpus e quando successivamente codifichi una query.

Pooling medio e vettori normalizzati

L’esempio ufficiale di codifica calcola la media delle rappresentazioni dei token escludendo le posizioni di padding con la maschera di attenzione. Normalizza poi il vettore risultante. Un prodotto scalare tra i vettori normalizzati della query e del passaggio fornisce la similarità del coseno per ordinare i candidati. Questa ricetta di pooling medio appartiene a E5-Large-v2; una ricetta basata sul primo token di una famiglia diversa è una scelta di preparazione separata.

I 1024 valori di output costituiscono l’embedding, non una risposta scritta né un’etichetta di categoria diretta. Una fase di ricerca confronta quei valori con rappresentazioni compatibili del corpus, e una fase successiva usa il testo del passaggio selezionato. Se i vettori servono come caratteristiche per clustering o classificazione, conserva l’associazione tra ogni vettore e il record di input di cui rappresenta le caratteristiche.

Testo inglese entro la finestra

La scheda del modello specifica testo solo in inglese e il troncamento degli input lunghi a un massimo di 512 token. Mantieni coerente ogni passaggio del documento entro quella finestra, includendo il prefisso di ruolo e il contesto utile della fonte. Un manuale lungo dovrebbe essere preparato in sezioni i cui titoli, condizioni e istruzioni possano essere compresi quando vengono recuperati separatamente.

Per esempio, una clausola che descrive un’impostazione può richiedere la definizione di quella stessa impostazione e un’eccezione nella frase successiva. Preserva insieme questa piccola unità anziché dividere il testo soltanto in base al numero di caratteri. Mantieni il documento principale e la versione della fonte insieme al passaggio, così che un aggiornamento sostituisca il materiale corretto.

Leggere l’ordinamento come evidenza di recupero

Il produttore spiega che l’ordine dei punteggi del coseno conta più dei loro valori assoluti. Un punteggio non dovrebbe essere interpretato come una probabilità calibrata che un passaggio risponda alla domanda. Verifica passaggi noti per contenere la risposta e materiale irrilevante vicino quando scegli quanti risultati conservare o dove filtrare un insieme di candidati.

L’output utile è una rappresentazione del corpus o della query, un segnale di confronto semantico o caratteristiche numeriche per un’altra attività. Questo checkpoint inglese Large v2 esatto rimane distinto da E5-Base-v2 e Multilingual-E5-Large. Dimensioni uguali, da sole, non rendono i loro vettori uno spazio di embedding comune documentato.