Google: Gemini Embedding 2
Gemini Embedding 2 ánh xạ văn bản, ảnh, âm thanh, video và PDF vào không gian số chung. Vector hỗ trợ tìm kiếm chéo phương thức, truy xuất, phân loại và phân cụm, với số chiều linh hoạt và giới hạn đầu vào 8.192 token.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Gemini Embedding 2 là mô hình embedding đa phương thức của Google để biểu diễn số cho văn bản, ảnh, video, âm thanh và PDF. Mô hình ánh xạ các loại nội dung khác nhau vào không gian chung để ứng dụng so sánh ý nghĩa giữa chúng. Kết quả là vector số hữu ích cho tìm kiếm ngữ nghĩa, truy xuất tài liệu, gợi ý, phân loại hoặc phân cụm; không phải câu trả lời viết hoặc tệp media được sinh ra. Google mô tả phạm vi ngữ nghĩa trên hơn 100 ngôn ngữ.
Với cơ sở kiến thức, tạo vector cho các đoạn nguồn, so sánh truy vấn người dùng với chúng và truy xuất tài liệu liên quan. Mô hình văn bản riêng sau đó có thể soạn câu trả lời từ các nguồn. Với bộ sưu tập media, mô tả văn bản có thể tìm ảnh hoặc video liên quan; ảnh cũng có thể làm truy vấn. Giữ mỗi vector liên kết với nội dung gốc, gồm tham chiếu trang hoặc đoạn, để kết quả truy xuất có thể được kiểm tra và hiển thị trong ngữ cảnh ban đầu.
Giới hạn tổng đầu vào là 8.192 token. Hướng dẫn của mô hình stable cho phép tối đa sáu ảnh PNG hoặc JPEG, tối đa 180 giây âm thanh MP3 hoặc WAV và tối đa 120 giây video MP4 hoặc MOV. Các codec video được mô tả là H264, H265, AV1 và VP9. Xử lý video dùng tối đa 32 khung hình: đoạn dài đến 32 giây được lấy mẫu một khung hình mỗi giây, còn đoạn dài hơn được lấy mẫu đều thành 32 khung hình. Đường âm thanh của video không được xử lý trong đầu vào video đó; tạo embedding riêng cho âm thanh khi nó quan trọng với truy xuất.
Đầu vào PDF nhận một tệp tối đa sáu trang. Google khuyến nghị một trang cho mỗi PDF để có chất lượng tốt nhất. Chia nguồn lớn hơn thành các trang hoặc phần có ý nghĩa và giữ quan hệ với tài liệu gốc. Chọn trích đoạn biểu diễn điều cần truy xuất thay vì gộp tài liệu không liên quan chỉ vì vừa giới hạn. Ranh giới token chung vẫn áp dụng cho yêu cầu nhiều loại nội dung. Mỗi trang PDF dùng 258 token thị giác ngoài token của văn bản được trích xuất. Trong quy trình Google mô tả, nội dung vượt giới hạn chung 8.192 token bị cắt mà không báo lỗi.
Số chiều đầu ra linh hoạt từ 128 đến 3.072, mặc định 3.072, với các kích thước khuyến nghị 768, 1.536 và 3.072. Mô hình dùng Matryoshka Representation Learning, nên phần đầu vector vẫn hữu ích ở số chiều nhỏ hơn. Hướng dẫn mô tả chuẩn hóa tự động cho cả vector mặc định và vector rút ngắn. Chọn số chiều nhất quán cho bản ghi và truy vấn ứng dụng so sánh; kích thước được yêu cầu thay đổi biểu diễn số, không thay đổi nội dung nguồn.
Với nhiệm vụ chỉ văn bản, đưa mục đích vào văn bản thay vì dùng trường task_type cũ. Google phân biệt truy xuất bất đối xứng với so sánh đối xứng. Truy vấn tìm kiếm dùng “task: search result | query: {content}”, còn tài liệu nguồn dùng “title: {title} | text: {content}”; dùng “title: none” nếu không có tiêu đề. Tác vụ hỏi–đáp, kiểm tra dữ kiện và truy xuất mã có tiền tố truy vấn riêng. Với phân loại, phân cụm hoặc độ tương đồng câu, dùng cùng định dạng tác vụ nhất quán ở cả hai phía. Hướng dẫn nhìn chung khuyên không thêm tiền tố tác vụ vào phần văn bản của biểu diễn đa phương thức kết hợp.
Cấu trúc đầu vào quyết định kết quả biểu diễn một đối tượng kết hợp hay các mục riêng. Nhiều phần được cung cấp cùng nhau tạo embedding tổng hợp; các đối tượng Content riêng tạo embedding riêng cho từng mục. Với bài đăng chứa văn bản và ảnh, biểu diễn kết hợp có thể nắm bắt quan hệ giữa chúng. Với các bản ghi cần tìm độc lập, giữ riêng. Lựa chọn này ảnh hưởng mức chia nhỏ của truy xuất: một vector cho cả bài đăng khác với một vector cho từng đoạn hoặc ảnh.
Hướng dẫn nêu các vector Gemini Embedding 001 và Gemini Embedding 2 nằm trong không gian không tương thích và không thể so sánh trực tiếp. Bộ sưu tập chuyển từ mô hình cũ cần được tạo lại embedding cho không gian mới. Giữ lựa chọn mô hình và số chiều nhất quán với vector được so sánh, lưu văn bản gốc và media tách khỏi chỉ mục số. Độ tương đồng embedding là tín hiệu truy xuất, không phải lời giải thích thực tế về lý do tài liệu trả lời câu hỏi người dùng.
Với danh mục thực tế, tạo embedding ảnh sản phẩm cùng mô tả đã duyệt khi cặp đó cần được truy xuất như một đối tượng. Với bộ sưu tập tài liệu, tạo embedding các đoạn tập trung, so sánh bằng truy vấn định dạng theo mục đích rồi hiển thị đoạn nguồn bên cạnh kết quả tìm kiếm. Với âm thanh hoặc video, chọn đoạn mô tả sự kiện cần tìm và giữ khoảng thời gian gốc. Sản phẩm hữu ích là biểu diễn số liên kết với bằng chứng nguồn cho bước tìm kiếm hoặc phân tích tiếp theo của ứng dụng.
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings google/gemini-embedding-2
google/gemini-embedding-2Bắt đầu
Gemini Embedding 2 ánh xạ văn bản, ảnh, âm thanh, video và PDF vào không gian số chung. Vector hỗ trợ tìm kiếm chéo phương thức, truy xuất, phân loại và phân cụm, với số chiều linh hoạt và giới hạn đầu vào 8.192 token.
- Đầu vào được chấp nhận
- Văn bản · token_ids
- Kết quả
- embedding
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings
- Đầu vào
text,token_ids- Đầu ra
embedding- Ngữ cảnh
- 8.192 tokens
- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn google/gemini-embedding-2 | Mặc định— |
Trườnginput | Loạistring|string[]|integer[]|integer[][] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 Điều kiện: Lô không rỗng và đồng nhất. ID token là số nguyên không âm. Ngân sách đầu vào: Tối đa: 8.192 · Đơn vị văn bản: byte UTF8 · Đơn vị token: phần tử của mảng token | Mặc định— |
Trườngencoding_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn float | Mặc địnhfloat |
Trườngdimensions | Loạiinteger | Yêu cầuKhông hỗ trợ | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườnguser | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngsession_id | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngtrace | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối | Mặc định— |
Tổ hợp tư liệu đầu vào
text_to_embedding
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input |
Tham sốinput_shapes | Hợp đồngstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Tham sốencoding_format | Hợp đồngfloat |
Tham sốdimensions_override | Hợp đồngfalse |
Tham sốmax_input_budget_units | Hợp đồng8192 |
Tham sốmultimodal_objects | Hợp đồngfalse |
Tham sốmaterial_types | Hợp đồngtext, token_ids |
Vòng đời: synchronous_json
Giữ lại chỉ mục và số chiều của mọi vector.
Việc mô hình mang tên đa phương thức không có nghĩa là đường dẫn cụ thể này chấp nhận đối tượng ảnh.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Mức giá tiêu chuẩn Khi chọn chế độ nhanh
- Chế độ Flex
- Mức giá tiêu chuẩn Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Mức giá tiêu chuẩn Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.0004 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Biểu diễn nhúng
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "google/gemini-embedding-2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='google/gemini-embedding-2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Nhận và lưu kết quả
Ailoot Ultra · Biểu diễn nhúng
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi vector kèm chỉ mục của nó. Số lượng vector phải bằng số lượng đầu vào; số chiều phải nhất quán.
Nếu cần kiểm tra phản hồi gốc
Không có điểm cuối tác vụ embedding nào được bổ sung.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngobject | Loạistring |
Trườngmodel | Loạistring |
Trườngdata[].index | Loạiinteger |
Trườngdata[].embedding | Loạifinite float[] |
Trườngusage | Loạiobject |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Bí danh
Bí danh mô hình
Ailoot Ultra google/gemini-embedding-2
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Google: Gemini Embedding 2
- Có những đầu vào và kết quả nào?
POST /v1/embeddings·google/gemini-embedding-2:text,token_ids→embedding- Yêu cầu sử dụng những trường nào?
POST /v1/embeddings·google/gemini-embedding-2:model,input,encoding_format,provider- Áp dụng những giới hạn nào?
POST /v1/embeddings·google/gemini-embedding-2:ctx:8192;input.budget.maximum:8192(byte UTF8);input.min_items:1