BAAI: bge-base-en-v1.5
BAAI bge-base-en-v1.5 chuyển văn bản tiếng Anh thành vector 768 chiều cho tìm kiếm ngữ nghĩa và tác vụ tương đồng. Cửa sổ đầu vào 512 token cùng chỉ dẫn truy xuất dành riêng cho truy vấn phù hợp để xử lý các đoạn có nội dung tập trung trong chỉ mục tài liệu hoặc chỉ mục tìm kiếm kiến thức.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
bge-base-en-v1.5 là mô hình embedding dense tiếng Anh cỡ base của BAAI. Mô hình chuyển mỗi văn bản thành biểu diễn số 768 chiều để truy xuất và so sánh ngữ nghĩa. Mô hình thuộc dòng BGE v1.5, dòng này xử lý vấn đề phân bố điểm tương đồng của họ trước và cải thiện truy xuất khi không cung cấp chỉ dẫn. Đầu ra là vector dùng để so sánh văn bản hoặc tìm đoạn liên quan.
Chuẩn bị truy vấn và đoạn văn
Với truy vấn ngắn tìm các đoạn dài hơn, BAAI khuyến nghị thêm tiền tố “Represent this sentence for searching relevant passages:” vào truy vấn. Các đoạn trong kho không nhận chỉ dẫn này. Với tác vụ khác, có thể tạo embedding trực tiếp từ văn bản gốc. Nhà sản xuất lưu ý v1.5 cũng hoạt động khi không có chỉ dẫn, vì vậy nên chọn cách chuẩn bị theo nhiệm vụ thay vì coi tiền tố là đầu vào hợp lệ duy nhất.
Bộ sưu tập tìm kiếm thực tế có thể chứa bài trợ giúp, phần giải thích sản phẩm hoặc chỉ dẫn kỹ thuật. Truy vấn như “How do I change the export format?” nên truy xuất đoạn mô tả hành động đó. Giữ tiêu đề phần, điều kiện liên quan và văn bản nguồn thực tế cùng nhau. Lưu định danh và vị trí đoạn bên cạnh vector để kết quả tìm kiếm trả về nội dung người dùng đọc được hoặc giai đoạn trả lời sau có thể trích dẫn.
Định dạng vector và so sánh
Biểu diễn được tài liệu mô tả dùng trạng thái ẩn cuối cùng của token đầu tiên, hay token CLS, làm embedding câu. Các ví dụ của nhà sản xuất chuẩn hóa vector và so sánh embedding chuẩn hóa bằng tích vô hướng, tương đương độ tương đồng cosine. Có 768 chiều là kích thước biểu diễn đầu ra của mô hình này; đó không phải độ dài ngữ cảnh có thể chọn hay hạn mức sinh văn bản.
Dùng cùng một mô hình và quy ước chuẩn bị cho vector truy vấn và kho văn bản được so sánh. Một cách kiểm tra thực tế là truy xuất các đoạn đã biết có chứa câu trả lời cho tập nhỏ câu hỏi thực tế của người dùng, rồi xem văn bản trả về. Hình dạng vector tương thích cho phép chỉ mục lưu biểu diễn, còn đoạn nguồn xác định kết quả thực sự nói gì.
Độ dài đầu vào và chuẩn bị tài liệu
Độ dài chuỗi được tài liệu quy định cho mô hình là 512 token. Vì vậy, nên chia nguồn dài thành các đoạn mạch lạc có chứa câu trả lời trước khi tạo embedding. Giữ định nghĩa và ngoại lệ cùng phát biểu mà chúng làm rõ, đồng thời giữ liên kết từ đoạn đến tài liệu cha. Văn bản được tạo embedding bao gồm mọi chỉ dẫn hoặc tiêu đề được thêm vào, nên cách chuẩn bị gọn sẽ dành nhiều chỗ hơn cho nội dung nguồn hữu ích.
Với báo cáo hoặc sổ tay, chọn ranh giới theo phần hoặc nhóm nhỏ các đoạn liên quan. Đoạn chỉ có tiêu đề hoặc mảnh văn bản thiếu chủ thể có thể khó diễn giải khi truy xuất. Giữ văn bản gốc và phiên bản nguồn để lần cập nhật chỉ mục có thể thay thế tài liệu tương ứng khi tài liệu thay đổi.
Điểm và đầu ra hữu ích
BAAI lưu ý giá trị tương đồng tuyệt đối không phải ngưỡng phổ quát để quyết định hai văn bản có cùng nghĩa. Thứ hạng tương đối quan trọng và nên chọn ngưỡng lọc từ phân bố trên dữ liệu của chính nhiệm vụ. Độ tương đồng vector cao là tín hiệu truy xuất, thay vì xác minh nội dung thực tế của đoạn.
Sản phẩm hữu ích là chỉ mục đoạn tiếng Anh, tập vector truy vấn hoặc đặc trưng số để so sánh ngữ nghĩa. Bộ xếp hạng lại riêng có thể tinh chỉnh ứng viên được truy xuất và giai đoạn sinh riêng có thể viết câu trả lời từ văn bản của chúng. Mô hình base tiếng Anh v1.5 cụ thể này vẫn khác với BGE Large, các phiên bản tiếng Trung và các hồ sơ truy xuất đa ngôn ngữ, kết hợp của BGE-M3.
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings baai/bge-base-en-v1.5
baai/bge-base-en-v1.5Bắt đầu
BAAI bge-base-en-v1.5 chuyển văn bản tiếng Anh thành vector 768 chiều cho tìm kiếm ngữ nghĩa và tác vụ tương đồng. Cửa sổ đầu vào 512 token cùng chỉ dẫn truy xuất dành riêng cho truy vấn phù hợp để xử lý các đoạn có nội dung tập trung trong chỉ mục tài liệu hoặc chỉ mục tìm kiếm kiến thức.
- Đầu vào được chấp nhận
- Văn bản · token_ids
- Kết quả
- embedding
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Biểu diễn nhúng POST /v1/embeddings
- Đầu vào
text,token_ids- Đầu ra
embedding- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn baai/bge-base-en-v1.5 | Mặc định— |
Trườnginput | Loạistring|string[]|integer[]|integer[][] | Yêu cầuBắt buộc | Giá trị & giới hạn Số mục tối thiểu: 1 Điều kiện: Lô không rỗng và đồng nhất. ID token là số nguyên không âm. Ngân sách đầu vào: Tối đa: 512 · Đơn vị văn bản: byte UTF8 · Đơn vị token: phần tử của mảng token | Mặc định— |
Trườngencoding_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn float | Mặc địnhfloat |
Trườngdimensions | Loạiinteger | Yêu cầuKhông hỗ trợ | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườnguser | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngsession_id | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngtrace | Loạijson_value | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: Nguồn tài liệu cho phép trường siêu dữ liệu JSON này; ý nghĩa chính xác tại hệ thống nguồn phụ thuộc vào từng mô hình. | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Điều kiện: provider.options bị từ chối | Mặc định— |
Tổ hợp tư liệu đầu vào
text_to_embedding
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input |
Tham sốinput_shapes | Hợp đồngstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Tham sốencoding_format | Hợp đồngfloat |
Tham sốdimensions_override | Hợp đồngfalse |
Tham sốmax_input_budget_units | Hợp đồng512 |
Tham sốmultimodal_objects | Hợp đồngfalse |
Tham sốmaterial_types | Hợp đồngtext, token_ids |
Vòng đời: synchronous_json
Giữ lại chỉ mục và số chiều của mọi vector.
Việc mô hình mang tên đa phương thức không có nghĩa là đường dẫn cụ thể này chấp nhận đối tượng ảnh.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
| Cấu hình | Biểu mức phí | Phí |
|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Phí Đầu vào · Token đầu vào $0.00001 / 1K token Đầu ra · Token đầu ra $0 / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Biểu diễn nhúng
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "baai/bge-base-en-v1.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='baai/bge-base-en-v1.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Nhận và lưu kết quả
Ailoot Ultra · Biểu diễn nhúng
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi vector kèm chỉ mục của nó. Số lượng vector phải bằng số lượng đầu vào; số chiều phải nhất quán.
Nếu cần kiểm tra phản hồi gốc
Không có điểm cuối tác vụ embedding nào được bổ sung.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngobject | Loạistring |
Trườngmodel | Loạistring |
Trườngdata[].index | Loạiinteger |
Trườngdata[].embedding | Loạifinite float[] |
Trườngusage | Loạiobject |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, cách biểu diễn tài liệu hoặc giá trị tham số không hợp lệ | Bước tiếp theoSửa các trường được chỉ ra trước khi gửi yêu cầu tạo mới. |
Bí danh
Bí danh mô hình
Ailoot Ultra baai/bge-base-en-v1.5
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · BAAI: bge-base-en-v1.5
- Có những đầu vào và kết quả nào?
POST /v1/embeddings·baai/bge-base-en-v1.5:text,token_ids→embedding- Yêu cầu sử dụng những trường nào?
POST /v1/embeddings·baai/bge-base-en-v1.5:model,input,encoding_format,provider- Áp dụng những giới hạn nào?
POST /v1/embeddings·baai/bge-base-en-v1.5:input.budget.maximum:512(byte UTF8);input.min_items:1