Sentence Transformers: multi-qa-mpnet-base-dot-v1

Sentence Transformersのmulti-qa-mpnet-base-dot-v1は、意味検索のために質問と文章を768次元のベクトルへエンコードします。CLSプーリングと、内積による採点向けに設計された非正規化の埋め込みを使い、入力上限は512ワードピースです。

Ailoot Ultra · 埋め込み POST /v1/embeddings sentence-transformers/multi-qa-mpnet-base-dot-v1

モデルについて

この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。

multi-qa-mpnet-base-dot-v1は、質問やクエリに対応する文章を検索するために設計されたSentence Transformersモデルです。学習には約2億1,500万組の質問と回答のペアを使用しました。各入力は768次元の密なベクトルになり、この正確なエディションはCLSプーリングと内積による採点を使用します。

質問と候補の文章を準備する

クエリには必要とする情報を記述し、コーパスの各項目は読みやすい文章として準備します。たとえば配送先住所の変更についての質問を、住所変更、注文のキャンセル、配送状況の追跡を扱う別々の段落と比較できます。住所変更の文章には、注文がすでに発送済みかどうかなど、関連する条件を残してください。

クエリと文章を同じモデルでエンコードします。公開された例では、クエリや文書の接頭辞を付けずに直接エンコードし、文章を内積スコアの順に並べています。順位付きの結果で実際にインデックス化した資料を表示できるよう、各ベクトルを元の文章と文書識別子に結び付けてください。

CLSプーリングと内積を使うエディション

モデルの参照手順は、先頭トークンの表現を取り出すCLSプーリングを使用します。技術仕様表には、埋め込みを正規化していないことが明記され、適切な採点関数として内積が挙げられています。コレクション側とクエリ側の設定では、この手順を維持してください。

これらのベクトルをL2正規化すると、採点の幾何学的性質が変わります。正規化を行うall-mpnet-base-v2のプロファイルは異なる手順を使う別のチェックポイントです。MPNetファミリーと768成分の出力を共通に持っていても、この違いは残ります。ベクトル長だけで選ぶのではなく、正確なエディションと比較関数を保存済みコレクションと一緒に管理してください。

長さの上限と長い文章

記載された入力上限は512ワードピースで、より長いテキストは切り詰められます。メーカーは、学習入力が最大250ワードピースであり、長いテキストでは性能が下がる可能性があることも述べています。したがって、トークナイザーが受け付ける長さと、学習時の長さに関する注意は、異なる実用上の境界を表しています。

大きなヘルプ記事は、具体的な質問に答える短い節として準備してください。見出しが話題を特定する場合は残し、ルールを正しく読むために必要な例外は一緒に保ってください。ページ全体を1つの入力にすると切り詰めによって後半の資料が失われることがあり、細かすぎる断片では有用性を支える条件が失われることがあります。

検索とRAGで順位を使う

密なベクトルは、最初の検索段階に使います。スコアの高い候補文章を出典参照とともに返し、実際の質問に答えているかを点検してください。RAGのワークフローでは、それらの文章を出典資料として回答作成の段階へ渡します。検索自体が回答を作成するわけではありません。

関連する文章が分かっている代表的な質問を使って、結果件数を選び、順位を評価してください。住所を変更する場合と現在の住所を確認する場合など、語彙が似ていても意図が異なる例を含めます。スコアは、正答であることの較正された確率としてではなく、同じモデルと採点設定の下にある候補間での相対値として解釈してください。

このチェックポイントの有用な出力は、意味検索のための質問と文章の埋め込み空間です。結果を準備して利用する際には、非正規化ベクトル、CLSプーリング、内積スコア、公開された長文入力への注意という詳細を維持してください。

Ailoot Ultra · 埋め込み POST /v1/embeddings sentence-transformers/multi-qa-mpnet-base-dot-v1

sentence-transformers/multi-qa-mpnet-base-dot-v1

Sentence Transformers /sentence-transformers/multi-qa-mpnet-base-dot-v1

はじめに

対応する入力: テキスト · token_ids
結果: embedding

Ailootで利用可能 · 入力とメソッド

Ailoot Ultra · 埋め込み POST /v1/embeddings

入力の種類: text, token_ids
出力の種類: embedding
出力形式: json

フィールド	種類	要件	値と制限	デフォルト
フィールド`model`	種類`string`	要件必須	値と制限 sentence-transformers/multi-qa-mpnet-base-dot-v1	デフォルト—
フィールド`input`	種類`string\|string[]\|integer[]\|integer[][]`	要件必須	値と制限最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。入力の許容量: 最大値: 512 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素	デフォルト—
フィールド`encoding_format`	種類`string`	要件任意	値と制限 float	デフォルトfloat
フィールド`dimensions`	種類`integer`	要件非対応	値と制限最小値: 1	デフォルト—
フィールド`user`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`session_id`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`trace`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`provider`	種類`object`	要件任意	値と制限条件: provider.options は拒否されます	デフォルト—

入力素材の組み合わせ

text_to_embedding

メソッドのパラメータとライフサイクル

パラメータ	仕様
パラメータ`content_type`	仕様application/json
パラメータ`required`	仕様model, input
パラメータ`input_shapes`	仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
パラメータ`encoding_format`	仕様float
パラメータ`dimensions_override`	仕様false
パラメータ`max_input_budget_units`	仕様512
パラメータ`multimodal_objects`	仕様false
パラメータ`material_types`	仕様text, token_ids

ライフサイクル: synchronous_json

各ベクトルのインデックスと次元数を保存してください。

モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。

料金

料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。

高速モード: 未指定高速モードが選択されている場合
Flex モード: 未指定 flex モードが選択されている場合
最大推論量: 未指定推論量が最大で、調整に既定値（default）を使用する場合

Ailootの料金

設定別の価格

設定	料金表	料金
設定トークンの基本単価	料金表基本料金	料金入力 · 入力トークン $0.00001 / 1K トークン出力 · 出力トークン $0 / 1K トークン入力 · キャッシュ読み取り — / 1K トークン入力 · キャッシュ書き込み — / 1K トークン入力 · キャッシュ書き込み、1時間 — / 1K トークン

Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →

リクエスト例

Ailoot Ultra · 埋め込み

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/multi-qa-mpnet-base-dot-v1", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/multi-qa-mpnet-base-dot-v1',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

結果を受け取って保存

Ailoot Ultra · 埋め込み

json

完了した結果をすべて保存

返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。

すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。

元のレスポンスを確認する場合

埋め込みジョブ用のエンドポイントは新設されません。

レスポンスのフィールド

フィールド	種類
フィールド`object`	種類string
フィールド`model`	種類string
フィールド`data[].index`	種類integer
フィールド`data[].embedding`	種類finite float[]
フィールド`usage`	種類object

エラーと次の手順

レスポンス	条件	次の手順
レスポンス400 · `invalid_request_error`	条件必須フィールド、素材の表現形式、またはパラメーター値が不正です	次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。

エイリアス

モデルのエイリアス

Ailoot Ultra sentence-transformers/multi-qa-mpnet-base-dot-v1

メソッドパスのエイリアス

上記に表示されたメソッドパスを使用してください。

Sentence Transformers: multi-qa-mpnet-base-dot-v1