Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large mã hóa văn bản đa ngôn ngữ thành các vector 1024 chiều bằng mô hình 24 lớp. Mô hình hỗ trợ phạm vi một trăm ngôn ngữ của XLM-R, dùng tiền tố query/passage bằng tiếng Anh cho mọi ngôn ngữ và cắt đầu vào ở mức 512 token.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Multilingual-E5-Large là mô hình embedding văn bản dense đa ngôn ngữ của intfloat, với hai mươi bốn lớp và đầu ra 1024 chiều. Mô hình được khởi tạo từ XLM-RoBERTa Large rồi huấn luyện thêm trên dữ liệu đa ngôn ngữ. Thẻ mô hình mô tả hỗ trợ phạm vi một trăm ngôn ngữ của XLM-R, đồng thời lưu ý hiệu năng thấp hơn với các ngôn ngữ ít tài nguyên. Các vector biểu diễn văn bản để phục vụ truy xuất, so sánh ngữ nghĩa và tác vụ dùng đặc trưng số.
Giữ vai trò đầu vào trong mọi ngôn ngữ
Các tiền tố được dùng khi huấn luyện là “query:” và “passage:”, kể cả với văn bản không phải tiếng Anh. Truy vấn truy xuất và các đoạn trong kho văn bản sử dụng vai trò tương ứng. Tiền tố vẫn là những chuỗi tiếng Anh đó, còn nội dung nguồn giữ nguyên ngôn ngữ của mình. Đối với độ tương đồng ngữ nghĩa đối xứng, truy xuất cách diễn đạt tương đương, khai thác cặp văn bản song ngữ hoặc sử dụng làm đặc trưng, nhà sản xuất khuyến nghị “query:”.
Một bộ sưu tập thực tế có thể chứa tài liệu bằng nhiều ngôn ngữ được hỗ trợ. Giữ ngôn ngữ của từng đoạn, văn bản gốc và vị trí nguồn cùng vector. Chuẩn bị các câu hỏi tìm kiếm thực tế từ đối tượng sử dụng thay vì cho rằng một bài kiểm tra tiếng Anh đại diện cho cả bộ sưu tập. Đầu ra nên trả về đoạn văn thực tế và ngữ cảnh để người đọc có thể đánh giá nội dung.
Với tác vụ đối sánh đa ngôn ngữ, cần giữ rõ mục đích so sánh. Một cặp bản dịch ứng viên và một truy vấn tìm đoạn hỗ trợ là hai cách chuẩn bị khác nhau. Hướng dẫn tiền tố vai trò của mô hình cung cấp quy ước cụ thể cho các tác vụ đó; bỏ tiền tố không phải cách tương đương được tài liệu mô tả vì làm thay đổi mẫu đầu vào dùng khi huấn luyện.
Pooling và so sánh vector
Ví dụ của nhà sản xuất lấy trung bình các biểu diễn token bằng mặt nạ chú ý để loại phần đệm, rồi chuẩn hóa vector. Tích vô hướng của các vector đã chuẩn hóa cho độ tương đồng cosine. Mảng 1024 chiều biểu diễn một văn bản đã chuẩn bị. Giữ thông tin chính xác về mô hình và cách chuẩn bị cùng các vector lưu trữ để truy vấn sau sử dụng biểu diễn tương ứng.
Những vector này có thể cung cấp thứ hạng ứng viên hoặc đặc trưng cho giai đoạn phân cụm hay phân loại tiếp theo. Chúng không dịch nội dung nguồn hoặc soạn câu trả lời. Trả về văn bản gốc của đoạn khi kết quả truy xuất được dùng để hỗ trợ người đọc hoặc giai đoạn sinh nội dung RAG sau đó.
Huấn luyện và phạm vi ngôn ngữ
Thẻ mô hình mô tả tiền huấn luyện tương phản với giám sát yếu, tiếp theo là tinh chỉnh có giám sát. Việc chuẩn bị đa ngôn ngữ bao gồm tài liệu như cặp tiêu đề–đoạn văn, cặp hội thoại và cặp bản dịch, còn dữ liệu truy xuất và hiểu ngôn ngữ có nhãn phục vụ giai đoạn sau. Điều này giải thích các tác vụ biểu diễn văn bản được nhắm tới mà không chứng minh hiệu năng bằng nhau ở mọi ngôn ngữ.
Nhà sản xuất xác định rõ suy giảm hiệu năng ở ngôn ngữ ít tài nguyên là một hạn chế. Kiểm tra ngôn ngữ và cách diễn đạt thực tế trong bộ sưu tập, gồm chữ viết tắt, tên và từ vựng chuyên môn. Nhãn đa ngôn ngữ hữu ích để mô tả phạm vi; độ liên quan của văn bản được trả về vẫn cần được xem xét theo đối tượng sử dụng và nhiệm vụ.
Độ dài và kết quả hữu ích
Đầu vào dài bị cắt xuống tối đa 512 token. Chuẩn bị tài liệu dài thành các đoạn mạch lạc, kèm tiền tố vai trò và tiêu đề liên quan. Giữ định nghĩa cùng các điều kiện và giới hạn đi kèm bên cạnh phát biểu mà chúng chi phối; lưu định danh tài liệu cha và phiên bản nguồn ở ngoài vector.
Nhà sản xuất khuyến nghị tập trung vào thứ tự tương đối của điểm cosine thay vì coi giá trị tuyệt đối là thước đo độ tin cậy phổ quát. Kết quả hữu ích là tập đoạn ứng viên, các biểu diễn văn bản có thể so sánh hoặc các đặc trưng liên kết với bản ghi gốc. Mô hình cụ thể này vẫn tách biệt với các checkpoint E5 v2 chỉ dành cho tiếng Anh và các biến thể E5 được tinh chỉnh theo chỉ dẫn, kể cả khi mô hình khác cũng trả về 1024 giá trị.
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeBắt đầu
intfloat Multilingual-E5-Large mã hóa văn bản đa ngôn ngữ thành các vector 1024 chiều bằng mô hình 24 lớp. Mô hình hỗ trợ phạm vi một trăm ngôn ngữ của XLM-R, dùng tiền tố query/passage bằng tiếng Anh cho mọi ngôn ngữ và cắt đầu vào ở mức 512 token.
- Đầu vào được chấp nhận
- Văn bản · token_ids
- Kết quả
- embedding
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings
- Đầu vào
text,token_ids- Đầu ra
embedding- Ngữ cảnh
- 512 tokens
- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn intfloat/multilingual-e5-large | Mặc định— |
Trườnginput | Loạistring|string[]|integer[]|integer[][] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 Điều kiện: Lô không rỗng và đồng nhất. ID token là số nguyên không âm. Ngân sách đầu vào: Tối đa: 512 · Đơn vị văn bản: byte UTF8 · Đơn vị token: phần tử của mảng token | Mặc định— |
Trườngencoding_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn float | Mặc địnhfloat |
Trườngdimensions | Loạiinteger | Yêu cầuKhông hỗ trợ | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườnguser | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngsession_id | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngtrace | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối | Mặc định— |
Tổ hợp tư liệu đầu vào
text_to_embedding
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input |
Tham sốinput_shapes | Hợp đồngstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Tham sốencoding_format | Hợp đồngfloat |
Tham sốdimensions_override | Hợp đồngfalse |
Tham sốmax_input_budget_units | Hợp đồng512 |
Tham sốmultimodal_objects | Hợp đồngfalse |
Tham sốmaterial_types | Hợp đồngtext, token_ids |
Vòng đời: synchronous_json
Giữ lại chỉ mục và số chiều của mọi vector.
Việc mô hình mang tên đa phương thức không có nghĩa là đường dẫn cụ thể này chấp nhận đối tượng ảnh.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Mức giá tiêu chuẩn Khi chọn chế độ nhanh
- Chế độ Flex
- Mức giá tiêu chuẩn Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Mức giá tiêu chuẩn Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.00002 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Biểu diễn nhúng
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Nhận và lưu kết quả
Ailoot Ultra · Biểu diễn nhúng
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi vector kèm chỉ mục của nó. Số lượng vector phải bằng số lượng đầu vào; số chiều phải nhất quán.
Nếu cần kiểm tra phản hồi gốc
Không có điểm cuối tác vụ embedding nào được bổ sung.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngobject | Loạistring |
Trườngmodel | Loạistring |
Trườngdata[].index | Loạiinteger |
Trườngdata[].embedding | Loạifinite float[] |
Trườngusage | Loạiobject |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Bí danh
Bí danh mô hình
Ailoot Ultra intfloat/multilingual-e5-large
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Intfloat: Multilingual-E5-Large
- Có những đầu vào và kết quả nào?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Yêu cầu sử dụng những trường nào?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Áp dụng những giới hạn nào?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(byte UTF8);input.min_items:1