Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B è l’edizione 4B per gli embedding testuali nella famiglia di modelli di embedding e riordinamento di Qwen. Basato sul modello denso di base Qwen3, converte un segmento di testo in una rappresentazione numerica del suo significato. Qwen indica come ambiti di applicazione il recupero di testi e codice, la classificazione, il clustering e l’estrazione di coppie di testi paralleli. È utile quando un’applicazione deve trovare passaggi correlati, raggruppare record simili o confrontare testi in lingue diverse. L’output del modello è un vettore di embedding, non una risposta conversazionale o un documento riscritto.

Questa specifica edizione ha una lunghezza di sequenza di 32K token e una dimensione degli embedding fino a 2.560. Supporta dimensioni di output personalizzate da 32 a 2.560 tramite Matryoshka Representation Learning. La lunghezza del vettore scelta influisce sul modo in cui la rappresentazione viene memorizzata e confrontata, quindi mantienila coerente tra i vettori delle query e quelli dei documenti nella stessa raccolta. Qwen3-Embedding-8B ha una dimensione del modello diversa e un massimo di 4.096 dimensioni; né quella dimensione dell’output né l’identità del modello 8B si trasferiscono a questa edizione 4B. Un indice esistente dovrebbe mantenere le proprie scelte coerenti di rappresentazione.

Il produttore descrive il supporto per oltre 100 lingue, compresi i linguaggi di programmazione, con recupero multilingue, tra lingue diverse e di codice. Un esempio di ricerca in un centro assistenza può confrontare la domanda di un utente con passaggi scritti in più lingue, poi restituire i passaggi originali che corrispondono all’argomento. Una ricerca di codice può confrontare una descrizione in linguaggio naturale con funzioni pertinenti e la loro documentazione. Conserva titoli significativi, termini di dominio e identificatori quando prepari il testo, e mantieni ogni passaggio rappresentato collegato alla sua fonte, così l’applicazione può mostrare il materiale corrispondente.

Qwen3-Embedding-4B tiene conto delle istruzioni. Qwen consiglia di dare a ogni query una descrizione del compito in una frase, adattata alla relazione di recupero desiderata, e raccomanda istruzioni in inglese per gli scenari multilingue. L’esempio diretto inserisce Instruct: prima della descrizione del compito e Query: prima del testo della query. I documenti da recuperare vengono codificati senza quell’istruzione della query. Un’istruzione pratica originale può chiedere di trovare passaggi della documentazione che spiegano un errore segnalato o estratti di codice sorgente che implementano il comportamento descritto. Questo orienta la rappresentazione verso la domanda dell’applicazione, anziché chiedere al modello di scrivere una risposta.

Gli esempi ufficiali codificano i testi delle query e dei documenti, confrontano i loro embedding tramite similarità coseno e mostrano il pooling dello stato nascosto dell’ultimo token seguito dalla normalizzazione. In quell’esempio di livello inferiore, l’input viene troncato all’impostazione scelta di 8.192 token; la lunghezza di sequenza documentata del modello rimane 32K. Per materiale lungo, decidi quali passaggi rappresentare e assicurati che il troncamento non elimini silenziosamente la parte necessaria alla query. Memorizza i vettori con riferimenti stabili alle fonti, confronta la query preparata con la raccolta e restituisci i passaggi associati in ordine di similarità.

Il modello di embedding di Qwen usa un approccio dual-encoder, mentre i modelli separati di riordinamento usano un cross-encoder per valutare coppie query-documento. Il rilascio descrive l’uso combinato di questi moduli: gli embedding trovano i candidati iniziali e un reranker può poi affinarne l’ordine. Qwen3-Embedding-4B fornisce di per sé la rappresentazione di un singolo testo. Il suo vettore non è un punteggio di reranking, un’affermazione verificata o una risposta generata. Se il flusso finale risponde a domande usando materiale recuperato, i passaggi selezionati restano le evidenze trasmesse alla fase successiva.