VoyageAI by MongoDB: voyage-4

voyage-4は、汎用検索と多言語検索のためにテキストを埋め込みに変換し、Voyage 4ファミリーでベクトル空間を共有します。32,000トークンの入力、256〜2048次元から選択できる出力、検索とRAG向けのquery/documentの役割に対応します。

Ailoot Ultra · 埋め込み POST /v1/embeddings voyageai/voyage-4

モデルについて

この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。

voyage-4は、Voyage AIのVoyage 4ファミリーに属する中型のテキスト埋め込みモデルです。汎用検索と多言語検索のために、クエリと文書のテキストを数値ベクトルへ変換します。ファミリーを特徴付ける機能は、共通の埋め込み空間です。voyage-4、voyage-4-large、voyage-4-lite、voyage-4-nanoは互換性のある表現を生成し、検索タスクのクエリ側と文書側で、ファミリー内の異なるモデルを使えます。

共通の空間と非対称検索

メーカーは、クエリ用とコーパス用に異なるモデルを使うことを非対称検索と呼んでいます。文書化されたパターンの1つは、voyage-4-largeでコーパスを準備し、voyage-4のクエリ埋め込みで検索する方法です。コーパスは最初、または原本資料が変更された際に埋め込みに変換し、クエリベクトルは検索が来るたびに作成します。共通の空間により、ファミリー内でクエリ側モデルを変更しても、その変更だけを理由にコーパスを再度埋め込む必要はありません。

比較するベクトル間で、出力次元と表現の互換性を保ってください。空間の共有についての説明は、名前が挙げられたVoyage 4テキストモデルに関するものです。無関係な2つのモデルが同じ長さの配列を返すだけでは成立しません。そのため実用的なタスクでは、検索の両側にvoyage-4を使うことも、表現設定が一致する既存のvoyage-4-large文書インデックスに対してvoyage-4のクエリベクトルを使うこともできます。

クエリと文書の役割

検索では、Voyageは入力テキストをqueryまたはdocumentとして識別することを推奨しています。入力の役割オプションは、ベクトル化の前に対応する検索指示を追加します。コーパスの文章を文書、ユーザーの検索表現をクエリとして準備し、保存した各ベクトルとともに実際の原文と識別子を保持してください。

たとえば、知識検索のコレクションでは、技術的な手順や商品説明をインデックス化できます。インポート失敗後に何が起きるかというクエリには、その動作を説明する原文を返すべきです。得られた検索結果を点検したり、後のRAG回答段階で使ったりできるよう、見出し、関連条件、出典の位置を文章と一緒に残してください。埋め込みは数値の検索表現であり、基になる文章が後の段階で使う証拠です。

次元と出力データ型

文書化されたテキストごとのコンテキストウィンドウは32,000トークンです。選択可能な次元は256、512、1024、2048で、既定は1024です。Matryoshka学習によって、これらの入れ子になった表現サイズが得られます。ファミリーの量子化を考慮した準備方式により、出力は32ビット浮動小数点、符号付きまたは符号なし8ビット整数、パックされたバイナリ値を使用できます。

パックされたバイナリ出力では、返される各バイトが埋め込みの8ビットを保存するため、バイトリストの長さは選択した次元の8分の1です。バイト数と埋め込み次元は意味が異なります。検索インデックスが解釈できる表現を選び、圧縮設定を選ぶ前に、コレクションで実際に使う質問と言語で候補の関連性を点検してください。

入力長、バッチ、切り詰め

メーカーの現行テキスト埋め込みガイドは、voyage-4のリクエストに最大1,000文字列、合計320,000トークンを許可しています。バッチの上限は、各入力の32,000トークンのウィンドウとは別です。切り詰めは既定で有効で、長すぎるテキストは収まるように短くなります。切り詰めを無効にすると、長すぎる項目は代わりにエラーになります。

長い報告書や文字起こしは、入力境界での切り落としに頼らず、答えを含む文章を意図的に準備してください。各文章を上位文書と原本バージョンに結び付けます。通常のvoyage-4埋め込み入力は個別のテキストです。文脈化されたチャンクグループ処理は、別に文書化されている文脈埋め込みモデルの機能です。

検索結果を使う

ベクトルを文章のテキストと一貫した出典識別子とともに保存し、各クエリベクトルを互換性のある文書ベクトルと比較して、候補文章を返してください。ファミリーのリリースは、技術文書、会話、長い文書、コード、法律、金融、ウェブテキストなどの資料を横断して検索を評価しています。別のリランカーで候補を絞り込み、後の回答段階がそのテキストを使えます。返された文章をタスクに照らして評価してください。空間共有の互換性はモデルの組み合わせを可能にしますが、結果の有用性は引き続き原本資料と質問に依存します。

Ailoot Ultra · 埋め込み POST /v1/embeddings voyageai/voyage-4

voyageai/voyage-4

VoyageAI by MongoDB /voyageai/voyage-4

はじめに

対応する入力: テキスト · token_ids
結果: embedding

Ailootで利用可能 · 入力とメソッド

Ailoot Ultra · 埋め込み POST /v1/embeddings

入力の種類: text, token_ids
出力の種類: embedding
コンテキスト: 32,000 tokens
出力形式: json

フィールド	種類	要件	値と制限	デフォルト
フィールド`model`	種類`string`	要件必須	値と制限 voyageai/voyage-4	デフォルト—
フィールド`input`	種類`string\|string[]\|integer[]\|integer[][]`	要件必須	値と制限最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。入力の許容量: 最大値: 32,000 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素	デフォルト—
フィールド`encoding_format`	種類`string`	要件任意	値と制限 float	デフォルトfloat
フィールド`dimensions`	種類`integer`	要件非対応	値と制限最小値: 1	デフォルト—
フィールド`user`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`session_id`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`trace`	種類`json_value`	要件任意	値と制限条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。	デフォルト—
フィールド`provider`	種類`object`	要件任意	値と制限条件: provider.options は拒否されます	デフォルト—

入力素材の組み合わせ

text_to_embedding

メソッドのパラメータとライフサイクル

パラメータ	仕様
パラメータ`content_type`	仕様application/json
パラメータ`required`	仕様model, input
パラメータ`input_shapes`	仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
パラメータ`encoding_format`	仕様float
パラメータ`dimensions_override`	仕様false
パラメータ`max_input_budget_units`	仕様32000
パラメータ`multimodal_objects`	仕様false
パラメータ`material_types`	仕様text, token_ids

ライフサイクル: synchronous_json

各ベクトルのインデックスと次元数を保存してください。

モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。

料金

料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。

高速モード: 標準料金高速モードが選択されている場合
Flex モード: 標準料金 flex モードが選択されている場合
最大推論量: 標準料金推論量が最大で、調整に既定値（default）を使用する場合

Ailootの料金

設定別の価格

設定	料金表	料金
設定トークンの基本単価	料金表基本料金	料金入力 · 入力トークン $0.00012 / 1K トークン出力 · 出力トークン $0 / 1K トークン入力 · キャッシュ読み取り — / 1K トークン入力 · キャッシュ書き込み — / 1K トークン入力 · キャッシュ書き込み、1時間 — / 1K トークン

Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →

リクエスト例

Ailoot Ultra · 埋め込み

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

結果を受け取って保存

Ailoot Ultra · 埋め込み

json

完了した結果をすべて保存

返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。

すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。

元のレスポンスを確認する場合

埋め込みジョブ用のエンドポイントは新設されません。

レスポンスのフィールド

フィールド	種類
フィールド`object`	種類string
フィールド`model`	種類string
フィールド`data[].index`	種類integer
フィールド`data[].embedding`	種類finite float[]
フィールド`usage`	種類object

エラーと次の手順

レスポンス	条件	次の手順
レスポンス400 · `invalid_request_error`	条件必須フィールド、素材の表現形式、またはパラメーター値が不正です	次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。

エイリアス

モデルのエイリアス

Ailoot Ultra voyageai/voyage-4

メソッドパスのエイリアス

上記に表示されたメソッドパスを使用してください。

VoyageAI by MongoDB: voyage-4