Intfloat: E5-Base-v2
intfloat E5-Base-v2 chuyển văn bản tiếng Anh thành embedding 768 chiều bằng bộ mã hóa 12 lớp. Tiền tố query/passage và cửa sổ 512 token xác định cách chuẩn bị cho tìm kiếm, so sánh cách diễn đạt tương đương, phân cụm và đặc trưng văn bản.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
E5-Base-v2 là mô hình embedding tiếng Anh gồm mười hai lớp của intfloat, với biểu diễn 768 chiều. Mô hình chuyển văn bản đã chuẩn bị thành một vector số để truy xuất, so sánh ngữ nghĩa hoặc dùng làm đặc trưng cho tác vụ khác. Checkpoint Base v2 khác với phiên bản Large v2 gồm hai mươi bốn lớp, 1024 chiều và các mô hình E5 đa ngôn ngữ được huấn luyện riêng.
Dùng tiền tố vai trò đã dùng khi huấn luyện
E5 yêu cầu vai trò ở đầu văn bản đầu vào. Với truy xuất đoạn văn, câu hỏi bắt đầu bằng “query:” và nguồn có thể chứa câu trả lời bắt đầu bằng “passage:”. Nhà sản xuất khuyến nghị “query:” ở cả hai phía cho các tác vụ đối xứng như độ tương đồng ngữ nghĩa và truy xuất cách diễn đạt tương đương. Tiền tố đó cũng được khuyến nghị khi vector làm đặc trưng cho phân cụm hoặc phân loại.
Ví dụ, bộ sưu tập phản hồi có thể chứa nhiều yêu cầu cùng một cải tiến nhưng diễn đạt khác nhau. Mã hóa các bản ghi đó bằng cách chuẩn bị đối xứng được khuyến nghị, rồi so sánh hoặc phân cụm các vector kết quả. Giữ cách diễn đạt gốc và định danh bản ghi cùng từng biểu diễn để có thể xem xét cụm như các thông điệp thực tế của khách hàng, thay vì một nhóm số không được giải thích.
Với bộ sưu tập tìm kiếm, chuẩn bị câu hỏi và đoạn nguồn theo vai trò tương ứng. Một truy vấn hữu ích là “query: Which setting changes the notification frequency?” Đoạn trong kho giữ phần giải thích và các điều kiện liên quan. Tiền tố là một phần của cách chuẩn bị mà mô hình được huấn luyện; nhà sản xuất lưu ý bỏ nó sẽ làm giảm hiệu năng.
Gộp và so sánh biểu diễn
Ví dụ chính thức tính trung bình biểu diễn token có xét mặt nạ chú ý để loại phần đệm, sau đó chuẩn hóa vector kết quả. Tích vô hướng giữa các embedding đã chuẩn hóa cho độ tương đồng cosine. Có 768 giá trị đầu ra mô tả một văn bản; chúng không phải câu trả lời, nhãn lớp hay điểm của bộ xếp hạng lại theo cặp.
Trong quy trình phân cụm, một giai đoạn khác hình thành nhóm từ những vector đó. Trong quy trình phân loại, một giai đoạn khác dùng chúng làm đặc trưng đầu vào. Giữ rõ sự khác biệt giúp diễn giải kết quả dễ hơn: embedding biểu diễn bản ghi, còn tác vụ phía sau xác định nhóm hoặc nhãn. Dùng một mô hình và quy ước chuẩn bị nhất quán cho các biểu diễn được so sánh.
Làm việc với tiếng Anh trong 512 token
Thẻ mô hình cho biết phiên bản này chỉ hoạt động với tiếng Anh và cắt văn bản dài xuống tối đa 512 token. Chuẩn bị các đoạn mạch lạc trong phạm vi đó, bao gồm tiền tố vai trò bắt buộc. Bài đánh giá, báo cáo hoặc sổ tay dài nên được chia theo các phần có ý nghĩa thay vì tạo embedding từ đầu vào quá lớn khiến phần cuối bị mất.
Giữ tiêu đề cùng những câu mà nó giới thiệu, đồng thời giữ điều kiện hoặc ngoại lệ làm thay đổi nghĩa của quy tắc. Với bản ghi ngắn như phản hồi, giữ toàn bộ thông điệp nếu vừa cửa sổ. Định danh nguồn và phiên bản lưu bên cạnh vector giúp lần cập nhật bộ sưu tập sau thay thế đúng bản ghi.
Diễn giải độ tương đồng theo nhiệm vụ
Nhà sản xuất giải thích rằng thứ tự tương đối của điểm cosine quan trọng hơn giá trị tuyệt đối. Ngưỡng lọc cần được đánh giá trên ví dụ của chính bộ sưu tập; độ tương đồng vector không phải xác suất đã hiệu chỉnh cho nhãn khớp hoặc câu trả lời đúng. Kiểm tra các bản ghi lân cận và những trường hợp không khớp đã biết khi quyết định cách dùng vector.
Sản phẩm hữu ích là chỉ mục tìm kiếm tiếng Anh, tập so sánh ngữ nghĩa hoặc đặc trưng số của văn bản đi kèm bản ghi nguồn. Hồ sơ Base v2 này có số chiều, phép gộp và cách chuẩn bị vai trò riêng; hình dạng vector hoặc phạm vi ngôn ngữ của phiên bản E5 khác không chứng minh rằng biểu diễn có thể thay thế cho nhau.
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Bắt đầu
intfloat E5-Base-v2 chuyển văn bản tiếng Anh thành embedding 768 chiều bằng bộ mã hóa 12 lớp. Tiền tố query/passage và cửa sổ 512 token xác định cách chuẩn bị cho tìm kiếm, so sánh cách diễn đạt tương đương, phân cụm và đặc trưng văn bản.
- Đầu vào được chấp nhận
- Văn bản · token_ids
- Kết quả
- embedding
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings
- Đầu vào
text,token_ids- Đầu ra
embedding- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn intfloat/e5-base-v2 | Mặc định— |
Trườnginput | Loạistring|string[]|integer[]|integer[][] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 Điều kiện: Lô không rỗng và đồng nhất. ID token là số nguyên không âm. Ngân sách đầu vào: Tối đa: 512 · Đơn vị văn bản: byte UTF8 · Đơn vị token: phần tử của mảng token | Mặc định— |
Trườngencoding_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn float | Mặc địnhfloat |
Trườngdimensions | Loạiinteger | Yêu cầuKhông hỗ trợ | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườnguser | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngsession_id | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngtrace | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối | Mặc định— |
Tổ hợp tư liệu đầu vào
text_to_embedding
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input |
Tham sốinput_shapes | Hợp đồngstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Tham sốencoding_format | Hợp đồngfloat |
Tham sốdimensions_override | Hợp đồngfalse |
Tham sốmax_input_budget_units | Hợp đồng512 |
Tham sốmultimodal_objects | Hợp đồngfalse |
Tham sốmaterial_types | Hợp đồngtext, token_ids |
Vòng đời: synchronous_json
Giữ lại chỉ mục và số chiều của mọi vector.
Việc mô hình mang tên đa phương thức không có nghĩa là đường dẫn cụ thể này chấp nhận đối tượng ảnh.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.00001 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Biểu diễn nhúng
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Nhận và lưu kết quả
Ailoot Ultra · Biểu diễn nhúng
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi vector kèm chỉ mục của nó. Số lượng vector phải bằng số lượng đầu vào; số chiều phải nhất quán.
Nếu cần kiểm tra phản hồi gốc
Không có điểm cuối tác vụ embedding nào được bổ sung.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngobject | Loạistring |
Trườngmodel | Loạistring |
Trườngdata[].index | Loạiinteger |
Trườngdata[].embedding | Loạifinite float[] |
Trườngusage | Loạiobject |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Bí danh
Bí danh mô hình
Ailoot Ultra intfloat/e5-base-v2
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Intfloat: E5-Base-v2
- Có những đầu vào và kết quả nào?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Yêu cầu sử dụng những trường nào?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Áp dụng những giới hạn nào?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(byte UTF8);input.min_items:1