Sentence Transformers: all-MiniLM-L6-v2

all-MiniLM-L6-v2 è un encoder di frasi e brevi paragrafi di Sentence Transformers. Trasforma ogni testo in un vettore denso a 384 dimensioni per recupero, clustering e similarità tra frasi. Il modello è stato adattato dall’architettura MiniLM-L6-H384-uncased usando apprendimento contrastivo su una raccolta di un miliardo di coppie di frasi.

Preparare record concisi e significativi

Scegli la frase o il paragrafo che dovrebbe comparire in un risultato di ricerca. Per una raccolta di FAQ, conserva la domanda e la breve spiegazione che ne distingue l’argomento. Un passaggio sul ripristino di una password dimenticata dovrebbe mantenere la procedura di ripristino, anziché essere ridotto a una parola isolata come «Account».

Per un articolo lungo, indicizza sezioni brevi e coerenti e mantieni le posizioni nelle fonti. Recupera sezioni candidate confrontando il vettore della query con le rappresentazioni memorizzate, quindi mostra i passaggi originali affinché il lettore possa esaminare le istruzioni effettive.

Ottenere la rappresentazione della frase

La ricetta di codifica diretta del produttore calcola la media delle rappresentazioni dei token con la maschera di attenzione, escludendo le posizioni di padding dalla media. Applica poi la normalizzazione L2. Questi passaggi producono l’embedding di frase usato per il confronto; le rappresentazioni dei singoli token del transformer sottostante hanno un ruolo differente.

Ogni output ha 384 componenti. Usa lo stesso checkpoint, pooling e normalizzazione quando costruisci la raccolta e codifichi query successive. La similarità del coseno può confrontare i vettori risultanti. Un valore di similarità è utile per ordinare candidati in quella configurazione, mentre il testo originale determina se un candidato risponde alla domanda.

Lunghezza e confini dell’edizione

Il valore predefinito pubblicato tronca gli input più lunghi di 256 unità subword. Questa unità del tokenizer non corrisponde direttamente a una parola ordinaria o a un carattere. Mantieni le condizioni importanti all’interno dell’unità indicizzata e suddividi una procedura estesa in corrispondenza di confini significativi prima di codificarla.

Le sequenze di addestramento erano limitate a 128 token. Quell’impostazione di addestramento è distinta dal valore predefinito di 256 unità subword usato per la codifica. Per passaggi insolitamente lunghi o specialistici, usa esempi rappresentativi di query e passaggi per valutare il comportamento del recupero, anziché presumere che rientrare nel limite di input garantisca un trattamento equivalente di ogni dettaglio.

L’edizione esatta L6-v2 è un profilo inglese di embedding. Le edizioni L12-v2 e paraphrase-MiniLM hanno identità e configurazioni di modello separate. Il loro nome MiniLM comune o l’output a 384 dimensioni non stabiliscono vettori intercambiabili.

Ricerca, similarità e raggruppamento

Per verificare domande duplicate, recupera domande simili e confronta le formulazioni effettive prima di unire i record. «Can I reset my password?» e «Can an administrator reset another user’s password?» riguardano argomenti correlati ma autorizzazioni differenti. Preserva questa distinzione nel testo codificato e nella fase di verifica.

Per il clustering, usa gli embedding come input numerici di un processo di raggruppamento, quindi esamina record rappresentativi prima di dare un nome a un gruppo. Questo modello fornisce vettori anziché etichette scritte dei cluster o una risposta di FAQ generata. Il suo risultato utile è una rappresentazione compatta di un breve passaggio di origine che rimane collegata al record originale.