Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4Bは、Qwenの埋め込み・再ランキングシリーズに属する、テキスト埋め込み用の4B版です。デンス型のQwen3基盤モデルをもとに、テキストの一部分をその意味を表す数値表現に変換します。Qwenは、テキスト検索、コード検索、分類、クラスタリング、対訳テキストのマイニングを用途として挙げています。アプリケーションが関連箇所を探す、似たレコードをまとめる、異なる言語のテキストを比較するといった場合に役立ちます。出力は埋め込みベクトルであり、会話の返答や書き換えられた文書ではありません。

この版の系列長は32Kトークン、埋め込みの次元数は最大2,560です。Matryoshka Representation Learningにより、出力次元数を32～2,560に設定できます。選択するベクトル長は保存や比較の方法に影響するため、同じコレクションのクエリベクトルと文書ベクトルでは統一します。Qwen3-Embedding-8Bはモデルサイズが異なり、最大次元数は4,096です。その出力サイズがこの4B版に適用されるわけではなく、4B版を8Bモデルと同一視することもできません。既存のインデックスでは、表現方法の選択に一貫性を保つ必要があります。

メーカーは、プログラミング言語を含む100を超える言語への対応と、多言語検索、言語をまたぐ検索、コード検索を説明しています。ヘルプセンター検索の例では、利用者の質問を複数言語で書かれた文章と比較し、話題に合う元の文章を返せます。コード検索では、自然言語による説明と、関連する関数やそのドキュメントを比較できます。テキストを準備する際は、意味のある見出し、専門用語、識別子を保持し、表現対象の各文章を元資料に紐づけて、アプリケーションが一致した資料を表示できるようにします。

Qwen3-Embedding-4Bは指示を考慮するモデルです。Qwenは各クエリに、求める検索上の関係に合わせた1文のタスク説明を付け、多言語の用途では英語で指示を書くことを推奨しています。直接利用する例では、タスクの説明の前にInstruct:、クエリ本文の前にQuery:を置きます。検索対象の文書は、このクエリ用の指示を付けずにエンコードします。独自に作る実用的な指示として、報告されたエラーを説明するドキュメントの箇所や、説明された動作を実装するソースコードの抜粋を探すよう指定できます。これはモデルに回答を書かせるのではなく、アプリケーションの問いに合う方向へ表現を調整するものです。

公式例では、クエリと文書のテキストをエンコードし、コサイン類似度で埋め込みを比較するほか、最終トークンの隠れ状態をプーリングして正規化する処理を示しています。この低レベルの例では8,192トークンという設定で入力を切り詰めていますが、文書に記載されたモデルの系列長は32Kのままです。長い資料では、どの箇所をベクトル化するかを決め、クエリに必要な部分が切り詰めによって気づかないうちに失われないようにします。安定した元資料への参照とともにベクトルを保存し、準備したクエリをコレクションと比較して、対応する文章を類似度順に返します。

Qwenの埋め込みモデルはデュアルエンコーダ方式を使う一方、別の再ランキングモデルはクロスエンコーダでクエリと文書のペアを評価します。リリースでは、埋め込みで最初の候補を探し、再ランキングモデルで並び順を調整するという併用方法を説明しています。Qwen3-Embedding-4B自体が提供するのは、単一テキストの表現です。そのベクトルは、再ランキングのスコアでも、検証済みの記述でも、生成された回答でもありません。検索した資料をもとに後続の処理で質問に答える場合も、選ばれた原文の箇所がその段階に渡す根拠となります。