Intfloat: E5-Large-v2
intfloat E5-Large-v2 は、英語のクエリとパッセージを1024次元のベクトルにエンコードします。24層のモデルで query/passage のロール、平均プーリング、512トークンの入力上限を用い、検索、意味類似度、テキストの数値特徴量に対応します。
モデルについて
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
E5-Large-v2 は intfloat の24層の英語テキスト埋め込みモデルで、出力は1024次元です。検索やその他の埋め込みタスク向けに、クエリとパッセージを数値で表現するよう設計されています。E5 の準備規約は学習の一部です。入力テキストにはロールプレフィックスを付け、エンコードされたトークン表現をプーリングして、そのテキストを表す1つのベクトルにします。
クエリとパッセージのロールを明示する
非対称検索では、質問の先頭に「query:」、コーパスのテキストの先頭に「passage:」を付けます。これらのロールによって、ユーザーが探しているものと、その答えになり得る素材とが区別されます。対称的な比較、言い換え検索、クラスタリングや分類の特徴量では、開発元は埋め込むテキストに「query:」を付けることを推奨しています。
実用的なコレクションでは、英語のサポート説明をインデックス化できます。「query: What should I check before replacing the connector?」（コネクターを交換する前に何を確認すべきか）のような質問を用意し、確認事項と例外を説明する出典パッセージと組み合わせます。パッセージのテキストには対応するプレフィックスを付けたままにします。各ベクトルの横に出典の識別子と原文を保存しておけば、ユーザーが読むべき素材を結果として返せます。
プレフィックスは、タスクの片側から外してよい飾りのラベルではありません。モデルはこの準備方法で学習されているため、省略すると検索性能が低下すると開発元は述べています。選んだロールは、コーパスを構築するときにも、後でクエリを埋め込むときにも一貫して適用します。
平均プーリングと正規化ベクトル
公式のエンコード例では、アテンションマスクでパディング位置を除外しながらトークン表現を平均し、得られたベクトルを正規化します。正規化したクエリベクトルとパッセージベクトルの内積がコサイン類似度となり、候補の並べ替えに使えます。この平均プーリングの手順は E5-Large-v2 のものであり、別ファミリーの先頭トークンによるプーリング手順は別個の準備方法です。
出力される1024個の値は埋め込みを構成するものであり、文章による回答や直接のカテゴリラベルではありません。検索ステージがそれらの値を互換性のあるコーパス表現と比較し、後段のステージが選ばれたパッセージのテキストを使います。ベクトルをクラスタリングや分類器の特徴量として使う場合は、各ベクトルと、その特徴量が表す入力レコードとの対応関係を保持します。
ウィンドウ内の英語テキスト
モデルカードでは、英語のテキストのみを対象とし、長い入力は最大512トークンに切り詰めると規定しています。ロールプレフィックスと有用な出典の文脈を含め、各文書パッセージをこのウィンドウ内でまとまりのある内容に保ちます。長いマニュアルは、単独で検索されてもタイトル、条件、手順が理解できるセクションとして準備します。
たとえば、ある設定を説明する条項には、その設定の定義と、次の文にある例外が必要な場合があります。文字数だけで分割するのではなく、こうした小さな単位をまとめて保ちます。親文書と出典のバージョンをパッセージとともに保持しておけば、更新時に正しい素材を置き換えられます。
ランキングを検索の根拠として読む
開発元は、コサインスコアの絶対値よりも順位のほうが重要だと説明しています。スコアを、パッセージが質問に答えている確率として較正された値と解釈すべきではありません。保持する結果の件数や候補集合を絞り込む位置を決める際は、答えを含むことが分かっているパッセージと、その近くにある無関係な素材を確認します。
有用な出力は、コーパスやクエリの表現、意味比較のシグナル、または別のタスク向けの数値特徴量です。この英語版 Large v2 チェックポイントは、E5-Base-v2 や Multilingual-E5-Large とは別のものです。次元数が一致しているだけでは、それらのベクトルがドキュメントに記載された共通の埋め込み空間になるわけではありません。
Ailoot Ultra · 埋め込み POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2はじめに
intfloat E5-Large-v2 は、英語のクエリとパッセージを1024次元のベクトルにエンコードします。24層のモデルで query/passage のロール、平均プーリング、512トークンの入力上限を用い、検索、意味類似度、テキストの数値特徴量に対応します。
- 対応する入力
- テキスト · token_ids
- 結果
- embedding
Ailootで利用可能 · 入力とメソッド
Ailoot Ultra · 埋め込み POST /v1/embeddings
- 入力の種類
text,token_ids- 出力の種類
embedding- 出力形式
- json
| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 intfloat/e5-large-v2 | デフォルト— |
フィールドinput | 種類string|string[]|integer[]|integer[][] | 要件必須 | 値と制限 最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。 入力の許容量: 最大値: 512 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素 | デフォルト— |
フィールドencoding_format | 種類string | 要件任意 | 値と制限 float | デフォルトfloat |
フィールドdimensions | 種類integer | 要件非対応 | 値と制限 最小値: 1 | デフォルト— |
フィールドuser | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドsession_id | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドtrace | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 条件: provider.options は拒否されます | デフォルト— |
入力素材の組み合わせ
text_to_embedding
メソッドのパラメータとライフサイクル
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, input |
パラメータinput_shapes | 仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
パラメータencoding_format | 仕様float |
パラメータdimensions_override | 仕様false |
パラメータmax_input_budget_units | 仕様512 |
パラメータmultimodal_objects | 仕様false |
パラメータmaterial_types | 仕様text, token_ids |
ライフサイクル: synchronous_json
各ベクトルのインデックスと次元数を保存してください。
モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。
料金
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
- 高速モード
- 未指定 高速モードが選択されている場合
- Flex モード
- 未指定 flex モードが選択されている場合
- 最大推論量
- 未指定 推論量が最大で、調整に既定値（default）を使用する場合
Ailootの料金
設定別の価格
| 設定 | 料金表 | 料金 |
|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | 料金 入力 · 入力トークン $0.00002 / 1K トークン 出力 · 出力トークン $0 / 1K トークン 入力 · キャッシュ読み取り — / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
リクエスト例
Ailoot Ultra · 埋め込み
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
結果を受け取って保存
Ailoot Ultra · 埋め込み
json
完了した結果をすべて保存
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。
元のレスポンスを確認する場合
埋め込みジョブ用のエンドポイントは新設されません。
レスポンスのフィールド
| フィールド | 種類 |
|---|---|
フィールドobject | 種類string |
フィールドmodel | 種類string |
フィールドdata[].index | 種類integer |
フィールドdata[].embedding | 種類finite float[] |
フィールドusage | 種類object |
エラーと次の手順
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
エイリアス
モデルのエイリアス
Ailoot Ultra intfloat/e5-large-v2
メソッドパスのエイリアス
上記に表示されたメソッドパスを使用してください。
関連する呼び出し用ID
FAQ · Intfloat: E5-Large-v2
- 利用できる入力と結果は何ですか？
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- リクエストはどの項目を使用しますか？
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- どの制限が適用されますか？
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(UTF8 バイト);input.min_items:1