LiquidAI: LFM2.5-Embedding-350M (free)

LFM2.5-Embedding-350Mは、多言語・言語間検索向けのLiquidAIのデンス型バイエンコーダーです。各テキストに1024次元のベクトルを一つ生成し、11言語で短いコンテキストの検索を対象とします。名前付きの350MモデルシリーズはLFM2.5-350M-Baseを双方向に適応したもので、詳細なモデル表はこの埋め込み版のパラメーターを約3億5,400万としています。

双方向の検索表現

メーカーは、アテンションと局所畳み込みがトークンの両側の文脈を使えるよう、基盤構造を適応しています。CLS方式のプーリングが、処理済みテキストを一つの密なベクトルにします。モデル表では、畳み込みブロック10個、アテンションブロック6個、プーリング段階の、17層が説明されています。これは独自の準備方法と出力を持つ検索エンコーダーであり、基盤モデルの文章生成タスクとは別です。

別名のLFM2.5-ColBERT-350Mは、後段の相互作用のためにトークンごとのベクトルを保持します。この表現には別のインデックスと比較方法が必要です。ここでのEmbeddingモデルは、文書またはクエリごとに一つのベクトルを提供し、比較にはコサイン類似度が文書化されています。

正しい非対称プロンプトを使う

検索クエリには「query:」、元の文章には「document:」を付けて準備してください。メーカーは設定内にこれらのプロンプトを保存し、参照ワークフローは対応するプロンプト名を適用します。この接頭辞で学習しているため、それぞれに対応するロールの使用を明確に勧めています。documentの接頭辞は、E5モデルの「passage:」という慣例とは異なります。

実際の商品検索の文書群には、対応言語の商品説明を入れられます。ユーザーの検索文言はクエリ、各商品説明は文書として準備します。結果から対応するレコードを返せるよう、元テキスト、商品識別子、言語をベクトルとともに保存してください。サポート資料では、質問に関係する方針や指示を保持し、無関係な短いラベルに置き換えないでください。

言語と文章のサイズ

文書化された言語は、英語、スペイン語、ドイツ語、フランス語、イタリア語、ポルトガル語、アラビア語、スウェーデン語、ノルウェー語、日本語、韓国語です。メーカーは、同じ言語内の検索と言語をまたぐ検索の両方を明確に対象としています。対象読者の実際の質問を用意し、それらの言語で返される文書本文を確認してください。

文書長の仕様は512トークンです。長い元資料は、検索結果に必要な見出し、定義、条件を保った、まとまりのある文章に分けます。ロールの接頭辞と追加した文脈も準備済み入力の一部です。過大な説明書全体より、FAQの回答、商品説明、技術文書の対象を絞った一節が適した単位です。

学習と照合

メーカーは、英語の対照事前学習、多言語・言語間の蒸留、ハードマイニングした負例での微調整という、三つの学習段階を説明しています。完成モデルは、商品カタログ、FAQとサポート資料、ファイルやメモの検索、企業内知識の検索を対象とします。これはテキスト表現の用途であり、特定のアプリケーションで導入済みという主張ではありません。

メーカーの例はクエリと文書のベクトルを正規化し、コサイン類似度に相当する内積で順位付けします。元資料を準備するときに文書群の表現を事前計算し、その後に検索クエリを埋め込んで、本文と識別子を伴う候補文書を返します。数値比較で互換な表現を使えるよう、選んだモデルとロールの規則をインデックスに添えてください。

有用な結果は、文書化された言語群をまたいで元資料を検索する、小さな密な検索インデックスやクエリベクトルです。このLFM2.5 Embedding版は、対になるColBERT、以前のLFM2検索モデル、外部で量子化した実装とは別です。選択した文章の本文が、読者や後のRAG回答段階で使う証拠になります。