VoyageAI by MongoDB: voyage-4-large
voyage-4-largeは、汎用検索と多言語検索のための、Voyage AIの混合エキスパート型テキスト埋め込みモデルです。ベクトルはVoyage 4ファミリーの空間を共有し、Largeで作ったコーパス埋め込みを、ほかのファミリーモデルの互換性のあるクエリ埋め込みで検索できます。
モデルについて
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
voyage-4-largeは、Voyage 4シリーズに属するVoyage AIの最上位テキスト埋め込みモデルです。汎用・多言語検索のために、元の文章やクエリを数値ベクトルで表します。特徴は、混合エキスパートのモデル設計と、voyage-4-large、voyage-4、voyage-4-lite、voyage-4-nanoが使う共通の埋め込み空間です。
共通空間：文書とクエリで別のモデルを選ぶ
メーカーは非対称検索を説明しています。文書をvoyage-4-largeで埋め込み、クエリベクトルは別のVoyage 4シリーズのモデルで用意できます。例えば、Largeで表現した文書群をvoyage-4のクエリで検索できます。検索の両側に異なるモデルを選びながら、文書化された互換空間に収められます。
そのため、安定した文書の文章をLargeで準備し、クエリ側のモデルは独立して選べます。文書はコーパスの作成・更新時に埋め込み、クエリはユーザーの検索時にベクトル化します。シリーズの発表では、互換シリーズ内でクエリモデルを変更するだけなら、文書群を再ベクトル化する必要はないと説明されています。比較するベクトルは同じ次元数にそろえ、検索システムが一緒に解釈できる表現を使ってください。
混合エキスパートの埋め込み設計
デンス型のフィードフォワード層は、すべてのトークンを全パラメーターで処理します。voyage-4-largeのMoE方式はルーターとエキスパートのフィードフォワードネットワークを使い、各トークンを処理するエキスパートを選びます。これにより、モデル全体の容量と、特定のトークンで有効になるパラメーターを分けます。Voyageは、top-kルーティングを使うこのMoE設計の有効化比率を1/10としています。
メーカーの技術説明では、開発時の二つの選択も扱っています。エキスパートの容量は、余剰トークンが残差経路でエキスパート層を迂回するかどうかに影響します。チームは検索品質の低下を避けるため、実現可能な最大の容量係数を選びました。最終学習段階では、元モデル間の補間が学習済みのエキスパート選択を変えないよう、モデルのマージ前にルーターのパラメーターを固定します。これはモデル準備の特性であり、入力を用意するときの文章長や切り詰め設定とは別です。
次元数と出力表現
公式のモデル表では、32,000トークンのコンテキスト窓と、256、512、1024、2048次元から選べる埋め込みが示され、既定は1024次元です。シリーズは入れ子状の表現サイズにMatryoshka学習を使い、32ビット浮動小数点、符号付きまたは符号なし8ビット整数、詰め合わせたバイナリ出力の量子化選択に対応します。
バイナリ出力では、1バイトに8ビットの埋め込みが入るため、返されるバイト列の長さは選んだ次元数の8分の1です。次元数とデータ型の選択をインデックスとともに保持し、その表現に対応する比較方法を使ってください。小さいベクトルや圧縮ベクトルは検索に使う表現を変えます。文書群に採用する前に、実際の質問で返される文章の関連性を評価してください。
文書とクエリの入力を準備する
Voyageは、コーパスの文章にdocumentロール、検索の文言にqueryロールを使うことを勧めています。このロール設定は、埋め込み前に対応する検索指示を追加します。有用な見出し、条件、出典位置を文章に残し、返されたベクトルを元の文章と安定した識別子とともに保存してください。
技術知識の集合なら、障害の種類を尋ねた質問が、その種類と関連条件を説明する箇所につながるべきです。複数言語の文書群では、元の言語を保持し、ユーザーが検索する質問や用語で評価してください。このリリースは、技術文書、対話、長文、コード、法律、金融、ウェブ文章などの検索資料を対象とします。埋め込みは候補資料を探し、後続のリランカーや回答段階は元の文章を使います。
コンテキスト、バッチ、切り詰めの上限
メーカーの現在のガイドでは、voyage-4-largeの1リクエストに最大1,000文字列、入力合計120,000トークンを認めています。これはvoyage-4のバッチ許容量と異なりますが、どちらも文章ごとの窓は32,000トークンです。既定の切り詰めは長過ぎる入力を窓に収まる長さに短縮し、切り詰めを無効にすると長過ぎる文章にエラーを返します。
長い元資料の末尾を切り詰めて重要な条件を失わないよう、答えを含む文章の境界を意図的に選んでください。検索結果を返すときも出典との対応を保持し、ベクトルの近さを内容の検証とみなさず、実際の候補文章を確認します。共通空間の互換性は文書化されたVoyage 4テキストシリーズに適用されます。文脈化したチャンク処理、画像・動画の埋め込み、後のモデル版は、それぞれ固有のワークフローです。
Ailoot Ultra · 埋め込み POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largeはじめに
voyage-4-largeは、汎用検索と多言語検索のための、Voyage AIの混合エキスパート型テキスト埋め込みモデルです。ベクトルはVoyage 4ファミリーの空間を共有し、Largeで作ったコーパス埋め込みを、ほかのファミリーモデルの互換性のあるクエリ埋め込みで検索できます。
- 対応する入力
- テキスト · token_ids
- 結果
- embedding
Ailootで利用可能 · 入力とメソッド
Ailoot Ultra · 埋め込み POST /v1/embeddings
- 入力の種類
text,token_ids- 出力の種類
embedding- コンテキスト
- 32,000 tokens
- 出力形式
- json
| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 voyageai/voyage-4-large | デフォルト— |
フィールドinput | 種類string|string[]|integer[]|integer[][] | 要件必須 | 値と制限 最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。 入力の許容量: 最大値: 32,000 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素 | デフォルト— |
フィールドencoding_format | 種類string | 要件任意 | 値と制限 float | デフォルトfloat |
フィールドdimensions | 種類integer | 要件非対応 | 値と制限 最小値: 1 | デフォルト— |
フィールドuser | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドsession_id | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドtrace | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 条件: provider.options は拒否されます | デフォルト— |
入力素材の組み合わせ
text_to_embedding
メソッドのパラメータとライフサイクル
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, input |
パラメータinput_shapes | 仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
パラメータencoding_format | 仕様float |
パラメータdimensions_override | 仕様false |
パラメータmax_input_budget_units | 仕様32000 |
パラメータmultimodal_objects | 仕様false |
パラメータmaterial_types | 仕様text, token_ids |
ライフサイクル: synchronous_json
各ベクトルのインデックスと次元数を保存してください。
モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。
料金
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
- 高速モード
- 標準料金 高速モードが選択されている場合
- Flex モード
- 標準料金 flex モードが選択されている場合
- 最大推論量
- 標準料金 推論量が最大で、調整に既定値（default）を使用する場合
Ailootの料金
設定別の価格
| 設定 | 料金表 | 料金 |
|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | 料金 入力 · 入力トークン $0.00024 / 1K トークン 出力 · 出力トークン $0 / 1K トークン 入力 · キャッシュ読み取り — / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
リクエスト例
Ailoot Ultra · 埋め込み
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
結果を受け取って保存
Ailoot Ultra · 埋め込み
json
完了した結果をすべて保存
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。
元のレスポンスを確認する場合
埋め込みジョブ用のエンドポイントは新設されません。
レスポンスのフィールド
| フィールド | 種類 |
|---|---|
フィールドobject | 種類string |
フィールドmodel | 種類string |
フィールドdata[].index | 種類integer |
フィールドdata[].embedding | 種類finite float[] |
フィールドusage | 種類object |
エラーと次の手順
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
エイリアス
モデルのエイリアス
Ailoot Ultra voyageai/voyage-4-large
メソッドパスのエイリアス
上記に表示されたメソッドパスを使用してください。
関連する呼び出し用ID
FAQ · VoyageAI by MongoDB: voyage-4-large
- 利用できる入力と結果は何ですか？
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- リクエストはどの項目を使用しますか？
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- どの制限が適用されますか？
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(UTF8 バイト);input.min_items:1