VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 tạo embedding cho văn bản, ảnh và khung hình video trong một không gian truy xuất chung. Mô hình xử lý nội dung đan xen như ảnh chụp tài liệu, bảng và cảnh, với đầu vào 32.000 token và biểu diễn mặc định 1024 chiều.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
voyage-multimodal-3.5 là mô hình embedding của Voyage AI để truy xuất trên văn bản, ảnh và video. Mô hình xử lý văn bản và nội dung thị giác đan xen bằng một bộ mã hóa transformer, biểu diễn toàn bộ đầu vào đa phương thức trong không gian vector chung. Phiên bản 3.5 bổ sung hỗ trợ khung hình video rõ ràng và số chiều embedding linh hoạt.
Giữ mối liên hệ giữa văn bản và hình ảnh
Chuẩn bị trang hoặc phần tài liệu theo dạng giữ được thông tin thị giác hữu ích. Slide có biểu đồ và giải thích ngắn có thể được biểu diễn bằng ảnh slide cùng văn bản đi kèm trong cùng đầu vào có thứ tự. Với bộ sưu tập dựa trên PDF, đầu vào thị giác được tài liệu mô tả là ảnh chụp trang hoặc dạng biểu diễn bằng ảnh khác của tài liệu.
Với biểu đồ báo cáo, giữ tiêu đề, nhãn trục và chú giải trong ảnh. Đính kèm văn bản giải thích khi cung cấp ngữ cảnh cần để diễn giải hình ảnh. Lưu số trang và định danh nguồn bên cạnh vector kết quả để ứng viên truy xuất có thể mở trang liên quan thay vì chỉ trả về tên tài liệu.
Định dạng đầu vào của nhà sản xuất hỗ trợ chuỗi văn bản, ảnh và video. Các định dạng ảnh được công bố là PNG, JPEG, WebP và GIF, còn video là MP4. Nội dung thị giác có thể được biểu diễn bằng URL hoặc dữ liệu Base64 theo công thức được tài liệu mô tả; giữ nhất quán một kiểu biểu diễn trong một yêu cầu.
Truy xuất cảnh thay vì toàn bộ video dài
Mô hình biểu diễn video thành chuỗi khung hình có thứ tự. Nhà sản xuất khuyến nghị chia video dài thành các cảnh liên quan, căn ranh giới cảnh theo mốc thời gian bản chép lời sẵn có và giữ văn bản chép lời tương ứng. Giảm độ phân giải hoặc tốc độ khung hình có thể giúp cảnh liên tục về ngữ nghĩa vừa ngân sách ngữ cảnh.
Với bộ sưu tập video đào tạo, truy vấn có thể hỏi cảnh trình diễn điều chỉnh một bộ phận điều khiển cụ thể. Gắn mỗi cảnh được lập chỉ mục với khoảng thời gian. Trả về cảnh khớp và kiểm tra các khung hình hoặc đoạn gốc để xem hành động thực tế, thay vì coi vector truy xuất là mô tả bằng văn bản về mọi thứ trong bản ghi.
Văn bản chép lời có thể góp phần khi được chuẩn bị làm một phần của đầu vào đa phương thức. Bản thân embedding khung hình video không cung cấp bản chép lời nói.
Giới hạn ngữ cảnh và chuẩn bị
Độ dài ngữ cảnh được nêu là 32.000 token cho mỗi đầu vào. Trong phép tính công bố, Voyage tính mỗi 560 pixel ảnh và mỗi 1120 pixel video là một token, vì vậy nội dung thị giác chia sẻ ngân sách đó với văn bản. Các giới hạn được mô tả còn bao gồm 16 triệu pixel và 20 MB cho mỗi ảnh, cùng 20 MB cho mỗi video. Một danh sách có tối đa 1000 đầu vào và tổng cộng 320.000 token.
Thiết lập cắt mặc định cắt đầu vào quá dài; nếu ranh giới cắt nằm trong một ảnh, toàn bộ ảnh bị loại. Vì vậy, chuẩn bị trang hoặc cảnh hoàn chỉnh trong ngân sách giúp giữ nội dung đầu vào dễ dự đoán hơn. Thiết lập thay thế được tài liệu mô tả từ chối đầu vào quá dài thay vì cắt.
Số chiều vector và vai trò truy xuất
Số chiều đầu ra mặc định là 1024; phiên bản này còn được mô tả với 256, 512 và 2048 chiều. Thông báo nêu embedding Matryoshka và biểu diễn dấu phẩy động, số 8 bit có dấu hoặc không dấu cùng nhị phân. Giữ số chiều và biểu diễn đã chọn cùng chỉ mục.
Công thức truy xuất của Voyage phân biệt đầu vào query và document. Truy vấn có thể là văn bản hoặc ảnh, còn tài liệu được lập chỉ mục có thể kết hợp văn bản và hình ảnh. Một vector biểu diễn mỗi chuỗi đầu vào hoàn chỉnh; lưu liên kết với trang nguồn, ảnh hoặc cảnh để kết quả xếp hạng vẫn kiểm tra được.
Dùng nguồn thị giác trả về
Giai đoạn truy xuất có thể tìm trang báo cáo, bảng, slide hoặc cảnh liên quan đến truy vấn. Giai đoạn viết câu trả lời hoặc phân tích sau đó đọc tài liệu nguồn. Với bảng, kiểm tra tiêu đề cột và giá trị thực tế trước khi dùng kết quả; với cảnh, kiểm tra khung hình liên quan và văn bản đi kèm.
Khác biệt thực chất so với voyage-multimodal-3 là hỗ trợ video rõ ràng và các lựa chọn biểu diễn bổ sung của phiên bản 3.5. Đây là khả năng embedding để tìm tài liệu nguồn, với đầu ra vector số thay vì ảnh, video hoặc câu trả lời tường thuật được sinh ra.
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Bắt đầu
Voyage AI voyage-multimodal-3.5 tạo embedding cho văn bản, ảnh và khung hình video trong một không gian truy xuất chung. Mô hình xử lý nội dung đan xen như ảnh chụp tài liệu, bảng và cảnh, với đầu vào 32.000 token và biểu diễn mặc định 1024 chiều.
- Đầu vào được chấp nhận
- Văn bản · token_ids
- Kết quả
- embedding
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings
- Đầu vào
text,token_ids- Đầu ra
embedding- Ngữ cảnh
- 32.000 tokens
- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn voyageai/voyage-multimodal-3.5 | Mặc định— |
Trườnginput | Loạistring|string[]|integer[]|integer[][] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 Điều kiện: Lô không rỗng và đồng nhất. ID token là số nguyên không âm. Ngân sách đầu vào: Tối đa: 32.000 · Đơn vị văn bản: byte UTF8 · Đơn vị token: phần tử của mảng token | Mặc định— |
Trườngencoding_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn float | Mặc địnhfloat |
Trườngdimensions | Loạiinteger | Yêu cầuKhông hỗ trợ | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườnguser | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngsession_id | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngtrace | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối | Mặc định— |
Tổ hợp tư liệu đầu vào
text_to_embedding
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input |
Tham sốinput_shapes | Hợp đồngstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Tham sốencoding_format | Hợp đồngfloat |
Tham sốdimensions_override | Hợp đồngfalse |
Tham sốmax_input_budget_units | Hợp đồng32000 |
Tham sốmultimodal_objects | Hợp đồngfalse |
Tham sốmaterial_types | Hợp đồngtext, token_ids |
Vòng đời: synchronous_json
Giữ lại chỉ mục và số chiều của mọi vector.
Việc mô hình mang tên đa phương thức không có nghĩa là đường dẫn cụ thể này chấp nhận đối tượng ảnh.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Mức giá tiêu chuẩn Khi chọn chế độ nhanh
- Chế độ Flex
- Mức giá tiêu chuẩn Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Mức giá tiêu chuẩn Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.00024 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Biểu diễn nhúng
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Nhận và lưu kết quả
Ailoot Ultra · Biểu diễn nhúng
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi vector kèm chỉ mục của nó. Số lượng vector phải bằng số lượng đầu vào; số chiều phải nhất quán.
Nếu cần kiểm tra phản hồi gốc
Không có điểm cuối tác vụ embedding nào được bổ sung.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngobject | Loạistring |
Trườngmodel | Loạistring |
Trườngdata[].index | Loạiinteger |
Trườngdata[].embedding | Loạifinite float[] |
Trườngusage | Loạiobject |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Bí danh
Bí danh mô hình
Ailoot Ultra voyageai/voyage-multimodal-3.5
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Có những đầu vào và kết quả nào?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Yêu cầu sử dụng những trường nào?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Áp dụng những giới hạn nào?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(byte UTF8);input.min_items:1