VoyageAI by MongoDB: voyage-code-4
Voyage AIのvoyage-code-4は、質問、問題の説明、コーディングエージェントの目標から関連するソースを見つけるためのコード埋め込みモデルです。32,000トークンの入力と256、512、1024、2048次元に対応し、浮動小数点と量子化の表現を使用できます。
モデルについて
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
voyage-code-4は、リポジトリ検索とコーディングエージェントの情報検索のための、Voyage AIのコード特化型埋め込みモデルです。既知の識別子ではなく、質問、症状、タスクの説明を起点として関連ソースを見つけやすくするために設計されています。検索のためにコードとテキスト情報を数値ベクトルで表現し、リポジトリを編集したり、修正を生成したりすることはありません。
調査中の問題からコードを検索する
メーカーは、完了したプルリクエストから選定し、自然言語のクエリとコードを結び付けた学習コーパスを説明しています。これは、主にソースファイルとそのドキュメント文字列を中心に構成した学習例との重要な違いです。検索タスクを、調査が必要な動作から始められます。
「空の結果によって成功した操作が失敗として報告される箇所を探す」のようなクエリを準備してください。読みやすいソースの節を、ファイルパスと関連コメントとともにインデックス化します。関数の周囲の条件が動作を説明する場合は、それらを残してください。返された候補から、読者やエージェントが、その候補の表すソースの節へ戻れるようにする必要があります。
意味検索は、正確な識別子の検索や全文検索を補完できます。関数名が分かっているなら、完全一致の検索が引き続き有用です。症状しか分からない場合は、ベクトル検索で候補を得て点検し、別のクエリで絞り込めます。
クエリと文書の役割
Voyageの検索ガイダンスは、query/documentの入力型によってクエリとコーパス文書を区別します。コード検索では、問題やタスクの説明をクエリ、インデックス化したソースやドキュメントを文書に使用します。公開された手順は、埋め込み時に役割固有の検索指示を追加します。
コードの元の書式、名前、関連ドキュメントは、ベクトルの外で参照可能なままにしてください。ソースの節にはファイルパスと位置を、プログラミングガイドには見出しを残します。検索後は、編集を選ぶ前に実際のコードと呼び出し元を点検してください。候補に関連性があっても、それが報告された問題の唯一の原因だとはいえません。
コンテキストと表現の選択肢
この正確なモデルの公開コンテキスト長は32,000トークンです。既定の埋め込みは1024次元で、Matryoshka学習により256、512、2048次元にも対応します。発表には、32ビット浮動小数点、符号付きと符号なしの8ビット整数、バイナリの各表現が記載されています。
コレクションには次元と表現を1つ選び、そのメタデータとともに保持してください。浮動小数点ベクトルと量子化表現には、それぞれに対応する保存と比較の処理が必要です。バイナリ表現は、通常の浮動小数点座標のリストとは異なる方法でベクトル情報をエンコードします。検索用の結果を準備する際には、この違いを維持してください。
長いファイルでは、ソースの位置へ戻れる、意味的につながった節を選んでください。関数の条件を説明するために、隣接する型定義やコメントが必要な場合があります。一方、大きすぎるファイル全体には無関係な資料が含まれることがあります。最大コンテキストを推奨チャンクサイズとみなさず、検索するタスクに節を合わせてください。
検索したソースを証拠として使う
実用的なコーディングエージェントのワークフローでは、候補ソースを検索し、そのファイルを読み、関連する参照をたどり、調査の進行に合わせて検索を絞り込みます。検索したテキストは、推論や編集の段階の文脈になります。候補を正しいソースに対して点検できるよう、インデックス化したリポジトリのリビジョンとの対応関係を保持してください。
voyage-code-4のエディション固有の特徴は、コーディングエージェントが使う問題からコードへの検索段階に重点を置き、柔軟な次元と表現を組み合わせていることです。出力は検索ベクトルです。診断、編集、検証は、実際のリポジトリに基づく別のタスクとして残ります。
Ailoot Ultra · 埋め込み POST /v1/embeddings voyageai/voyage-code-4
voyageai/voyage-code-4はじめに
Voyage AIのvoyage-code-4は、質問、問題の説明、コーディングエージェントの目標から関連するソースを見つけるためのコード埋め込みモデルです。32,000トークンの入力と256、512、1024、2048次元に対応し、浮動小数点と量子化の表現を使用できます。
- 対応する入力
- テキスト · token_ids
- 結果
- embedding
Ailootで利用可能 · 入力とメソッド
Ailoot Ultra · 埋め込み POST /v1/embeddings
- 入力の種類
text,token_ids- 出力の種類
embedding- コンテキスト
- 32,000 tokens
- 出力形式
- json
| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 voyageai/voyage-code-4 | デフォルト— |
フィールドinput | 種類string|string[]|integer[]|integer[][] | 要件必須 | 値と制限 最小項目数: 1 条件: 空でなく、要素の型が統一されたバッチ。トークン ID は非負の整数です。 入力の許容量: 最大値: 32,000 · テキスト単位: UTF8 バイト · トークン単位: トークン配列の要素 | デフォルト— |
フィールドencoding_format | 種類string | 要件任意 | 値と制限 float | デフォルトfloat |
フィールドdimensions | 種類integer | 要件非対応 | 値と制限 最小値: 1 | デフォルト— |
フィールドuser | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドsession_id | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドtrace | 種類json_value | 要件任意 | 値と制限 条件: ソースではこの JSON メタデータフィールドが許可されています。上流側での正確な意味はモデルによって異なります。 | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 条件: provider.options は拒否されます | デフォルト— |
入力素材の組み合わせ
text_to_embedding
メソッドのパラメータとライフサイクル
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, input |
パラメータinput_shapes | 仕様string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
パラメータencoding_format | 仕様float |
パラメータdimensions_override | 仕様false |
パラメータmax_input_budget_units | 仕様32000 |
パラメータmultimodal_objects | 仕様false |
パラメータmaterial_types | 仕様text, token_ids |
ライフサイクル: synchronous_json
各ベクトルのインデックスと次元数を保存してください。
モデル名がマルチモーダルであることを示していても、この正確なパスでは画像オブジェクトは受け付けられません。
料金
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
- 高速モード
- 標準料金 高速モードが選択されている場合
- Flex モード
- 標準料金 flex モードが選択されている場合
- 最大推論量
- 標準料金 推論量が最大で、調整に既定値(default)を使用する場合
Ailootの料金
設定別の価格
| 設定 | 料金表 | 料金 |
|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | 料金 入力 · 入力トークン $0.00024 / 1K トークン 出力 · 出力トークン $0 / 1K トークン 入力 · キャッシュ読み取り — / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
リクエスト例
Ailoot Ultra · 埋め込み
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-code-4", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-code-4',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
結果を受け取って保存
Ailoot Ultra · 埋め込み
json
完了した結果をすべて保存
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべてのベクトルを、そのインデックスとともに保存してください。ベクトル数は入力数と一致し、次元数は統一されている必要があります。
元のレスポンスを確認する場合
埋め込みジョブ用のエンドポイントは新設されません。
レスポンスのフィールド
| フィールド | 種類 |
|---|---|
フィールドobject | 種類string |
フィールドmodel | 種類string |
フィールドdata[].index | 種類integer |
フィールドdata[].embedding | 種類finite float[] |
フィールドusage | 種類object |
エラーと次の手順
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
エイリアス
モデルのエイリアス
Ailoot Ultra voyageai/voyage-code-4
メソッドパスのエイリアス
上記に表示されたメソッドパスを使用してください。
関連する呼び出し用ID
FAQ · VoyageAI by MongoDB: voyage-code-4
- 利用できる入力と結果は何ですか?
POST /v1/embeddings·voyageai/voyage-code-4:text,token_ids→embedding- リクエストはどの項目を使用しますか?
POST /v1/embeddings·voyageai/voyage-code-4:model,input,encoding_format,provider- どの制限が適用されますか?
POST /v1/embeddings·voyageai/voyage-code-4:ctx:32000;input.budget.maximum:32000(UTF8 バイト);input.min_items:1