Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B er 4B-utgaven for tekstembedding i Qwens familie for embedding og rerangering. Den bygger på den tette Qwen3-grunnmodellen og gjør et tekstsegment om til en numerisk representasjon av betydningen. Qwen oppgir tekstgjenfinning, kodegjenfinning, klassifisering, klynging og utvinning av parallelle tekster som bruksområder. Den er nyttig når en applikasjon trenger å finne beslektede passasjer, gruppere lignende oppføringer eller sammenligne tekst på tvers av språk. Modellens utdata er en embeddingvektor, ikke et samtalesvar eller et omskrevet dokument.

Denne spesifikke utgaven har en sekvenslengde på 32K tokener og en embeddingdimensjon på opptil 2 560. Den støtter egendefinerte utdatadimensjoner fra 32 til 2 560 gjennom Matryoshka Representation Learning. Den valgte vektorlengden påvirker hvordan representasjonen lagres og sammenlignes, så bruk den konsekvent for både spørrings- og dokumentvektorer i én samling. Qwen3-Embedding-8B har en annen modellstørrelse og maksimalt 4 096 dimensjoner; verken denne utdatastørrelsen eller 8B-modellens identitet overføres til denne 4B-utgaven. En eksisterende indeks bør beholde sine egne konsekvente representasjonsvalg.

Produsenten beskriver støtte for mer enn 100 språk, inkludert programmeringsspråk, med flerspråklig gjenfinning, gjenfinning på tvers av språk og kodegjenfinning. Et illustrerende søk i et hjelpesenter kan sammenligne brukerens spørsmål med passasjer skrevet på flere språk og deretter returnere de opprinnelige passasjene som passer til temaet. Et kodesøk kan sammenligne en beskrivelse på naturlig språk med relevante funksjoner og dokumentasjonen deres. Behold meningsbærende overskrifter, domenebegreper og identifikatorer når du klargjør tekst, og behold hver representerte passasje knyttet til kilden, slik at applikasjonen kan vise det samsvarende materialet.

Qwen3-Embedding-4B tar hensyn til instruksjoner. Qwen anbefaler å gi hver spørring en beskrivelse av oppgaven på én setning, tilpasset den tiltenkte gjenfinningsrelasjonen, og anbefaler engelske instruksjoner i flerspråklige scenarioer. Det direkte eksemplet plasserer Instruct: foran oppgavebeskrivelsen og Query: foran spørringsteksten. Dokumentene som skal gjenfinnes, kodes uten denne spørringsinstruksjonen. En praktisk, egenformulert instruksjon kan angi at det skal finnes dokumentasjonspassasjer som forklarer en rapportert feil, eller kildekodeutdrag som implementerer den beskrevne atferden. Dette retter representasjonen mot applikasjonens spørsmål fremfor å be modellen skrive et svar.

De offisielle eksemplene koder spørrings- og dokumenttekster, sammenligner embeddingene med cosinuslikhet og viser pooling av den skjulte tilstanden til det siste tokenet, etterfulgt av normalisering. I dette eksemplet på et lavere nivå avkortes inndataene ved en valgt innstilling på 8 192 tokener; modellens dokumenterte sekvenslengde er fortsatt 32K. For langt materiale bestemmer du hvilke passasjer som skal representeres, og sørger for at avkorting ikke ubemerket fjerner delen som spørringen trenger. Lagre vektorer med stabile kildereferanser, sammenlign den klargjorte spørringen med samlingen og returner de tilknyttede passasjene i rekkefølge etter likhet.

Qwens embeddingmodell bruker en tilnærming med to enkodere, mens de separate rerangeringsmodellene bruker en kryssenkoder til å vurdere spørring–dokument-par. Lanseringen beskriver hvordan disse modulene brukes sammen: embeddingene finner innledende kandidater, og en rerangeringsmodell kan deretter finjustere rekkefølgen. Qwen3-Embedding-4B leverer selv representasjonen av én enkelt tekst. Vektoren er ikke en rerangeringsskår, en bekreftet påstand eller et generert svar. Hvis den endelige arbeidsflyten besvarer spørsmål fra gjenfunnet materiale, er de valgte kildepassasjene fortsatt grunnlaget som sendes videre til det senere trinnet.