Source: https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/ Canonical: https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/ Language: ja # Intfloat: Multilingual-E5-Large [Markdown](https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/index.md) · [JSON](https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/facts.json) ## [Intfloat: Multilingual-E5-Large](https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/) intfloat Multilingual-E5-Large は、24層のモデルで多言語テキストを1024次元のベクトルにエンコードします。XLM-R の100言語の対応範囲をサポートし、すべての言語で英語の query/passage プレフィックスを使用し、入力を512トークンで切り詰めます。 - [**Ailoot Ultra · 埋め込み** `POST /v1/embeddings` `intfloat/multilingual-e5-large`](https://ailoot.ai/models/ja/intfloat-multilingual-e5-large/#method-0) モデルについて この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。 Multilingual-E5-Large は intfloat の多言語密テキスト埋め込みモデルで、24層構成、出力は1024次元です。XLM-RoBERTa Large を初期値とし、多言語データでさらに学習されています。モデルカードでは、XLM-R の100言語の対応範囲をサポートすると説明する一方、低リソース言語では性能が弱くなる点にも触れています。そのベクトルは、検索、意味比較、数値特徴量のタスク向けにテキストを表現します。 #### すべての言語で入力のロールを保つ 学習時のプレフィックスは「query:」と「passage:」で、英語以外のテキストでも同じです。検索クエリとそのコーパスのパッセージには、それぞれ対応するロールを付けます。プレフィックスは英語の文字列のまま使い、原文の文言は元の言語のまま保ちます。対称的な意味類似度、言い換え検索、対訳マイニング、特徴量としての利用では、開発元は「query:」を推奨しています。 実用的なコレクションには、対応する複数の言語のドキュメントを収めることができます。各パッセージの言語、原文、出典の位置をベクトルとともに保持します。英語での1回のテストがコレクション全体を代表すると考えるのではなく、実際の利用者による検索質問を用意します。出力では実際のパッセージとその文脈を返し、読み手が内容を判断できるようにします。 多言語のマッチングタスクでは、比較の目的を明確にしておきます。翻訳の候補ペアと、根拠となるパッセージを探すクエリとでは、準備の仕方が異なります。モデルのロールプレフィックスに関するガイダンスは、こうしたタスクに具体的な規約を与えます。プレフィックスを省略すると学習時の入力パターンが変わるため、ドキュメントに記載された同等の扱いにはなりません。 #### プーリングとベクトルの比較 開発元の例では、アテンションマスクでパディングを除外しながらトークン表現を平均し、その後ベクトルを正規化します。正規化したベクトルの内積がコサイン類似度になります。1024次元の配列は、準備済みの1つのテキストを表します。保存したベクトルには正確なモデルと準備方法を紐づけておき、後のクエリでも対応する表現を使えるようにします。 これらのベクトルは、候補のランキングや、後段のクラスタリング・分類ステージ向けの特徴量を提供できます。原文を翻訳したり回答を作成したりするものではありません。検索結果を読み手や後段の RAG 生成ステージの裏付けとして使う場合は、元のパッセージのテキストを返します。 #### 学習と言語カバレッジ モデルカードには、弱教師ありの対照事前学習と、それに続く教師ありファインチューニングが記載されています。多言語の準備段階にはタイトルとパッセージのペア、会話ペア、翻訳ペアなどの素材が含まれ、後段ではラベル付きの検索データと言語理解データが用いられます。これは想定されたテキスト表現タスクを説明するものであり、すべての言語で同等の性能を保証するものではありません。 開発元は、低リソース言語での性能低下を制約として明示しています。略語、固有名詞、専門用語を含め、コレクション内の実際の言語と表現を確認します。「多言語」というラベルは対応範囲の説明として役立ちますが、返されたテキストの関連性は、利用者とタスクに照らして確認する必要があります。 #### 長さと有用な結果 長い入力は最大512トークンに切り詰められます。長い文書は、ロールプレフィックスと関連する見出しを含めた、まとまりのあるパッセージとして準備します。定義や限定条件は、それが影響する記述のそばに残し、親文書の識別子と出典のバージョンはベクトルの外で保持します。 開発元は、絶対値を普遍的な確信度の尺度として扱うのではなく、コサインスコアの相対的な順位に注目することを推奨しています。有用な結果とは、候補パッセージの集合、比較可能なテキスト表現、または元のレコードに紐づいた特徴量です。このモデルは、別のモデルが同じく1024個の値を返す場合でも、英語専用の E5 v2 チェックポイントや、指示チューニング済みの E5 バリアントとは別のモデルです。 **Ailoot Ultra · 埋め込み** `POST /v1/embeddings` `intfloat/multilingual-e5-large` [`intfloat/multilingual-e5-large`](https://ailoot.ai/models/ja/#m=intfloat%2Fmultilingual-e5-large&route=Ultra&caller=intfloat%2Fmultilingual-e5-large&fmt=embeddings) Intfloat /`intfloat/multilingual-e5-large` ### はじめに intfloat Multilingual-E5-Large は、24層のモデルで多言語テキストを1024次元のベクトルにエンコードします。XLM-R の100言語の対応範囲をサポートし、すべての言語で英語の query/passage プレフィックスを使用し、入力を512トークンで切り詰めます。 対応する入力 テキスト · token\_ids 結果 embedding ### Ailootで利用可能 · 入力とメソッド **Ailoot Ultra · 埋め込み** `POST /v1/embeddings` 入力の種類 `text`, `token_ids` 出力の種類 `embedding` コンテキスト 512 tokens 出力形式 json | フィールド | 種類 | 要件 | 値と制限 | デフォルト | | --- | --- | --- | --- | --- | | フィールド`model` | 種類`string` | 要件必須 | 値と制限 intfloat/multilingual-e5-large | デフォルト— | | フィールド`input` | 種類`string\|string[]\|integer[]\|integer[][]` | 要件必須 | 値と制限 最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。 入力の許容量: 最大値: 512 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素 | デフォルト— | | フィールド`encoding_format` | 種類`string` | 要件任意 | 値と制限 float | デフォルトfloat | | フィールド`dimensions` | 種類`integer` | 要件非対応 | 値と制限 最小値: 1 | デフォルト— | | フィールド`user` | 種類`json_value` | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— | | フィールド`session_id` | 種類`json_value` | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— | | フィールド`trace` | 種類`json_value` | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— | | フィールド`provider` | 種類`object` | 要件任意 | 値と制限 条件: provider.options は拒否されます | デフォルト— | 入力素材の組み合わせ **text\_to\_embedding** メソッドのパラメータとライフサイクル | パラメータ | 仕様 | | --- | --- | | パラメータ`content_type` | 仕様application/json | | パラメータ`required` | 仕様model, input | | パラメータ`input_shapes` | 仕様string, string\[\], nonnegative\_integer\_token\_array, nonnegative\_integer\_token\_array\[\] | | パラメータ`encoding_format` | 仕様float | | パラメータ`dimensions_override` | 仕様false | | パラメータ`max_input_budget_units` | 仕様512 | | パラメータ`multimodal_objects` | 仕様false | | パラメータ`material_types` | 仕様text, token\_ids | ライフサイクル: `synchronous_json` 各ベクトルのインデックスと次元数を保存してください。 モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。 ### 料金 料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。 高速モード 標準料金 高速モードが選択されている場合 Flex モード 標準料金 flex モードが選択されている場合 最大推論量 標準料金 推論量が最大で、調整に既定値（default）を使用する場合 #### Ailootの料金 #### 設定別の価格 | 設定 | 料金表 | 料金 | | --- | --- | --- | | 設定トークンの基本単価 | 料金表基本料金 | 料金 入力 · 入力トークン **$0.00002** / 1K トークン 出力 · 出力トークン **$0** / 1K トークン 入力 · キャッシュ読み取り **—** / 1K トークン 入力 · キャッシュ書き込み **—** / 1K トークン 入力 · キャッシュ書き込み、1時間 **—** / 1K トークン | Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。[金額の確保と精算の仕組み →](https://ailoot.ai/docs/ja/billing/reserve/) ### リクエスト例 #### Ailoot Ultra · 埋め込み curlPython SDK ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}') Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path r=json.loads(Path("result.json").read_text()) for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")})) PY_RESULT ``` ```python from openai import OpenAI import os client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"]) print(result) for item in result.data:print(item.index,item.embedding) ``` ### 結果を受け取って保存 #### Ailoot Ultra · 埋め込み json ##### 完了した結果をすべて保存 返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。 すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。 ##### 元のレスポンスを確認する場合 埋め込みジョブ用のエンドポイントは新設されません。 レスポンスのフィールド | フィールド | 種類 | | --- | --- | | フィールド`object` | 種類string | | フィールド`model` | 種類string | | フィールド`data[].index` | 種類integer | | フィールド`data[].embedding` | 種類finite float\[\] | | フィールド`usage` | 種類object | エラーと次の手順 | レスポンス | 条件 | 次の手順 | | --- | --- | --- | | レスポンス400 · `invalid_request_error` | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 | ### エイリアス #### モデルのエイリアス **Ailoot Ultra** [`intfloat/multilingual-e5-large`](https://ailoot.ai/models/ja/#m=intfloat%2Fmultilingual-e5-large&route=Ultra&caller=intfloat%2Fmultilingual-e5-large&fmt=embeddings) #### メソッドパスのエイリアス 上記に表示されたメソッドパスを使用してください。 #### 関連する呼び出し用ID [`intfloat/multilingual-e5-large`](https://ailoot.ai/models/ja/#m=intfloat%2Fmultilingual-e5-large&route=Ultra&caller=intfloat%2Fmultilingual-e5-large&fmt=embeddings) FAQ · Intfloat: Multilingual-E5-Large 利用できる入力と結果は何ですか？ `POST /v1/embeddings` · `intfloat/multilingual-e5-large`: `text`, `token_ids` → `embedding` リクエストはどの項目を使用しますか？ `POST /v1/embeddings` · `intfloat/multilingual-e5-large`: `model`, `input`, `encoding_format`, `provider` どの制限が適用されますか？ `POST /v1/embeddings` · `intfloat/multilingual-e5-large`: `ctx`: `512`; `input.budget.maximum`: `512` (UTF8 バイト); `input.min_items`: `1` AilootをClaude Code、OpenCode、Hermes、自分のアプリに接続しましょう。 ## 企業とそのプロジェクト群 企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。 ## トークンを割引価格で購入。 継続利用にサブスクリプション割引。プロモコードでトークン購入が最大50%割引。 サブスクリプション 定期的なリクエストに合う割引プランを選びましょう。 最大50%のプロモコード 購入時にコードを入力すると、実施中のキャンペーンに沿って価格を再計算します。 支出を履歴で確認 各リクエストのモデル、トークン、金額が保存されます。 [サブスクリプションを選ぶ](https://ailoot.ai/docs/ja/billing/subscriptions/) · [モデルの価格を見る](https://ailoot.ai/models/ja/) ## 販売する製品に、 APIを組み込みましょう。 SaaS、アプリ、ボットをAilootの公式サービス提供条件とライセンス契約に基づいて接続できます。再販にはリセラーライセンスを申請できます。 商用アプリ サービスの有料機能に、文章、画像、動画、音声の生成を組み込めます。 リセラーライセンス プロジェクトの説明とアクセスの仕組みをお送りください。利用・再販条件の書面を申請できます。 サイトで契約文書を確認 接続前にサービス提供条件、ライセンス契約、データ処理ポリシーを読めます。 [リセラーライセンスを申請](mailto:support@ailoot.ai) · [サービス提供条件とライセンス契約](https://ailoot.ai/legal/offer?lang=ja) ## Ailoot · 企業とそのプロジェクト群 Ailootは、蓄積した運営経験、幅広い顧客基盤、安定したサービス、継続的なKPI管理を基盤としています。 企業とそのプロジェクト群：数百万の顧客、毎月数十億規模の売上。 Ailootはこの運営経験を、お客様の製品、エージェント、アプリケーション、自動化でAI機能を利用するためのAPIアクセスに活かしています。