Mistral: Codestral Embed 2505

Codestral Embed 2505は、コード検索に特化したMistral AIの埋め込みモデルです。ソースコードや自然言語のコード検索クエリを含むテキストを受け取り、数値ベクトルを返します。メーカーは、リポジトリ検索、コーディングアシスタントの文脈検索、類似度と重複の分析、機能や構造によるコードのグループ分けに位置付けています。固定のリリース識別子はcodestral-embed-2505です。

入力と表現

コード入力には、関数、関連するソースの断片、その他のリポジトリ内の意味のある単位を使用できます。自然言語のクエリは、正確なシンボル名を指定するのではなく、見つけたい動作を説明できます。埋め込みは比較のためにその入力を表現します。モデルは新しい実装を生成したり、受け取ったコードを実行したりしません。

公式リリースには、完全な入力コンテキストとして8,192トークンが記載されています。検索向けには、より大きなチャンクが検索に悪影響を与える可能性があるとして、メーカーは約3,000文字のチャンクに1,000文字の重なりを付けることを推奨しています。これらは検索用の準備に関する推奨値であり、3,000文字というトークン上限ではありません。検索後にアプリケーションが関連コードを返せるよう、準備した各項目にファイル、シンボル、出典の位置を対応付けてください。

出力精度と次元

コード埋め込みガイドには、float、int8、uint8、binary、ubinaryの出力型が記載されています。floatは32ビットの単精度値を使用します。int8は-128〜127の符号付き8ビット整数、uint8は0〜255の符号なし8ビット値を使用します。binaryとubinaryは、量子化した1ビット値を8ビット要素にパックして保存し、それぞれ符号付き、符号なしのコンテナーを使用します。

ビットパック表現は、返されるリストの長さを変えます。ガイドでは、論理的な埋め込み次元8個につき、パックされた要素1個になると説明しています。そのため、形式を認識した比較は、パックされたバイトを通常の浮動小数点座標として扱うこととは異なります。選択した型をベクトルとともに保持し、インデックス化したコードとそのクエリに同じ表現を使用してください。

パラメーターの文書には、既定の次元1,536、最大次元3,072と記載されています。次元は関連性の順に並び、メーカーは先頭から選んだ個数を残すことで表現サイズを選択できると説明しています。保存済みコレクションと新しいクエリで、次元を一致させてください。短い表現や量子化表現は保存と比較の動作を変えますが、入力コンテキストを増やしたり、モデルをコード生成器に変えたりするものではありません。

検索拡張によるコーディング

リリースの最初のユースケースは、コード補完、編集、説明のための文脈検索です。意味のあるコード単位を準備し、リポジトリのリビジョンとソース識別子を残してください。特定のエラーをどう処理するかという質問から、関連する関数を検索し、アプリケーションが実際の変更依頼とともにコーディングモデルへ渡せます。

実用的な結果は、ファイルパス、シンボル、動作の理解に必要な内容を持つ、順位付きのソーススニペット集合です。検索したスニペットは、開発者が開いたり、アシスタントへ渡したりできます。Codestral Embedが行うのは表現の段階です。別のコンポーネントが結果を選び、生成モデルが説明や提案コードを書きます。

意味検索と類似度比較

メーカーは、自然言語やコードのクエリでコードを検索する用途を説明しています。開発者は、関数名が依頼の表現と異なっていても、ある動作の実装を探せます。意図した実装を区別する動作や条件を含めてください。サブシステム全体についての一般的なクエリは、関連する資料を返しても、具体的な質問を解決しないことがあります。

リリースには、表現が異なっていても、ほぼ重複したコードや機能的に似たコードを見つける用途も説明されています。そのような結果は、再利用可能な実装を見つけたり、さらに確認が必要なコードを特定したりするのに役立ちます。埋め込み空間での類似は、ソースを点検するための信号です。2つの断片があらゆる入力に対して同一の動作をするという証明ではありません。

クラスタリング、分析、比較

コード埋め込みを使って、機能や構造でコードをグループ分けし、リポジトリの構成を調べられます。人や後続のアプリケーション段階がグループを解釈できるよう、元のスニペットと識別子を参照可能にしてください。クラスタは表現に基づくグループであり、自動的に検証されたアーキテクチャ記述ではありません。

メーカーの浮動小数点ベクトルの例は、単位長に正規化した埋め込みを使用し、コサイン類似度、内積、ユークリッド距離で一貫した順位が得られます。量子化出力やビットパック出力は、未加工の浮動小数点座標についての想定を引き継ぐのではなく、それぞれ固有の形式処理を維持するべきです。公開エンドポイントも入力インデックスを保持し、各ベクトルと原本項目のつながりを維持しやすくしています。

エディションと実用上の境界

この正確なモデルページには、8kというコンテキスト表記と、埋め込みおよびバッチのワークフローが記載されています。一方、リリースには8,192トークンという値が示されています。コレクションとクエリのワークフロー全体で、2505というエディション名、選択した出力次元と型を維持してください。これはコード向けのベクトル出力であり、Codestralのテキスト補完や、固定次元のMistral Embedテキストモデルとは異なります。

関連する動作を含むコード単位を準備し、ソースの位置を残し、何を見つけるための質問かを明示してください。有用な成果物は、実際のコードに結び付いた検索可能な表現です。それ自体が次の説明、編集、開発者の確認を実行することなく、それらの段階を支援します。