BAAI: bge-m3
BAAI BGE-M3 は、100 を超える言語で、密ベクトル検索、疎な語彙検索、マルチベクトル検索に対応します。密ベクトルの出力は 1024 次元で、8192 トークンのウィンドウにより、必須のクエリー指示を付けずに短文から長い文書まで扱えます。
モデルについて
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
BGE-M3 は BAAI の多言語検索モデルで、複数の検索機能、複数の言語、さまざまな入力長という3種類の汎用性を軸に設計されています。開発元は、100以上の言語と最大8192トークンの入力への対応を記載しています。統合されたモデルで密ベクトル、スパースな語彙重み、マルチベクトル表現を提供できるため、検索設計では複数種類の根拠を選択したり組み合わせたりできます。
検索のための3つの表現
密（dense）モードは、テキストを1つの1024次元ベクトルに写像します。クエリとパッセージが表す意味の比較に対応します。スパース（sparse）モードは、語彙的なマッチングのために、テキストに含まれるトークンへ重みを割り当てます。マルチベクトル（multi-vector）モードは、テキストを複数のベクトルで表現し、ColBERT 方式のインタラクションによってクエリと文書をより細かいレベルで比較します。
これらの出力は、検索インデックスの中でそれぞれ異なる役割を担います。密ベクトルはパッセージに1つの表現を与え、スパースなトークン重みのマップは語彙的なシグナルを保持し、複数のベクトルは別の比較構造を提供します。開発元の例では、選択した表現を返し、テキストペアのスコアを計算する方法が示されています。選んだ表現とスコアリング方法は、検索タスクの意図的な構成要素として扱います。
多言語テキストと入力の準備
BGE-M3 では、以前の BGE モデルで使われていた検索用の指示文を付加する必要はありません。クエリと実際の出典パッセージをそのまま準備します。多言語のナレッジコレクションでは、各パッセージを元の言語のまま、文書識別子とロケールとともに保持できます。結果を確認する際は、想定する言語構成に沿った実際のユーザーの質問を使います。
実用的なタスクの例として、複数の言語で保持されたポリシーの説明、製品ヘルプ、技術ドキュメントの検索があります。質問にとって重要な名称、型番、用語は保持します。語彙的な表現はこれらの用語でのマッチングを保つのに役立ち、密な表現は意味的な根拠を提供します。検索されたパッセージには、読み手が確認できるテキストと出典の位置を含めます。
長い文書と粒度
8192トークンの入力ウィンドウにより、このモデルは短い文から長い文書まで表現できます。粒度は、検索で返すべき回答に合わせて選びます。セクション全体なら定義とその例外を保てますし、小さなパッセージなら特定の手順を見つけやすくなります。長いウィンドウによってこうした選択が可能になりますが、ベクトルはあくまで実際にエンコードされた素材に対応します。
各パッセージは、親文書とそのバージョンに紐づけておきます。長いレポートでは、関連する数値や結論について、見出しと周辺の説明を残します。根拠が本文にある場合は、検索ヒットのタイトルだけに頼らないようにします。出典が変更された場合に対応する検索表現を更新できるよう、十分なメタデータを保持します。
ハイブリッドスコアと後段での利用
開発元は、ハイブリッド検索の後に別途リランキングのステージを設けることを推奨しています。その例では、密、スパース、マルチベクトルの各スコアを計算し、重み付きで組み合わせています。組み合わせはコレクションの質問と語彙に合わせて選びます。例に示された重みは、あらゆるコーパスに通用する設定ではありません。
有用な結果とは、出典パッセージを参照できる状態で、表現とランキング方法が記録された候補集合です。別のリランカーでその集合を絞り込み、別のテキスト生成ステージでパッセージの内容を利用できます。BGE-M3 のスパース機能とマルチベクトル機能は、開発元のモデルが備えるモードです。密な埋め込み、語彙的な出力、ペアスコアはそれぞれ別個の成果物であり、相互に置き換えられる配列ではありません。
Ailoot Ultra · 埋め込み POST /v1/embeddings baai/bge-m3
baai/bge-m3はじめに
BAAI BGE-M3 は、100 を超える言語で、密ベクトル検索、疎な語彙検索、マルチベクトル検索に対応します。密ベクトルの出力は 1024 次元で、8192 トークンのウィンドウにより、必須のクエリー指示を付けずに短文から長い文書まで扱えます。
- 対応する入力
- テキスト · token_ids
- 結果
- embedding
Ailootで利用可能 · 入力とメソッド
Ailoot Ultra · 埋め込み POST /v1/embeddings
- 入力の種類
text,token_ids- 出力の種類
embedding- コンテキスト
- 8,194 tokens
- 出力形式
- json
| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 baai/bge-m3 | デフォルト— |
フィールドinput | 種類string|string[]|integer[]|integer[][] | 要件必須 | 値と制限 最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。 入力の許容量: 最大値: 8,194 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素 | デフォルト— |
フィールドencoding_format | 種類string | 要件任意 | 値と制限 float | デフォルトfloat |
フィールドdimensions | 種類integer | 要件非対応 | 値と制限 最小値: 1 | デフォルト— |
フィールドuser | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドsession_id | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドtrace | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 条件: provider.options は拒否されます | デフォルト— |
入力素材の組み合わせ
text_to_embedding
メソッドのパラメータとライフサイクル
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, input |
パラメータinput_shapes | 仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
パラメータencoding_format | 仕様float |
パラメータdimensions_override | 仕様false |
パラメータmax_input_budget_units | 仕様8194 |
パラメータmultimodal_objects | 仕様false |
パラメータmaterial_types | 仕様text, token_ids |
ライフサイクル: synchronous_json
各ベクトルのインデックスと次元数を保存してください。
モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。
料金
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
- 高速モード
- 標準料金 高速モードが選択されている場合
- Flex モード
- 標準料金 flex モードが選択されている場合
- 最大推論量
- 標準料金 推論量が最大で、調整に既定値（default）を使用する場合
Ailootの料金
設定別の価格
| 設定 | 料金表 | 料金 |
|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | 料金 入力 · 入力トークン $0.00004 / 1K トークン 出力 · 出力トークン $0 / 1K トークン 入力 · キャッシュ読み取り — / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
リクエスト例
Ailoot Ultra · 埋め込み
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-m3", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-m3',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
結果を受け取って保存
Ailoot Ultra · 埋め込み
json
完了した結果をすべて保存
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。
元のレスポンスを確認する場合
埋め込みジョブ用のエンドポイントは新設されません。
レスポンスのフィールド
| フィールド | 種類 |
|---|---|
フィールドobject | 種類string |
フィールドmodel | 種類string |
フィールドdata[].index | 種類integer |
フィールドdata[].embedding | 種類finite float[] |
フィールドusage | 種類object |
エラーと次の手順
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
エイリアス
モデルのエイリアス
Ailoot Ultra baai/bge-m3
メソッドパスのエイリアス
上記に表示されたメソッドパスを使用してください。
関連する呼び出し用ID
FAQ · BAAI: bge-m3
- 利用できる入力と結果は何ですか？
POST /v1/embeddings·baai/bge-m3:text,token_ids→embedding- リクエストはどの項目を使用しますか？
POST /v1/embeddings·baai/bge-m3:model,input,encoding_format,provider- どの制限が適用されますか？
POST /v1/embeddings·baai/bge-m3:ctx:8194;input.budget.maximum:8194(UTF8 バイト);input.min_items:1