Cohere: Rerank 4 Fast
Cohere Rerank 4 Fast sắp xếp tài liệu ứng viên theo mức độ liên quan đến truy vấn, tập trung vào truy xuất có độ trễ thấp và thông lượng cao. Mô hình hỗ trợ ngữ cảnh 32K, hơn 100 ngôn ngữ và văn bản bán cấu trúc cho các quy trình tìm kiếm và tăng cường truy xuất.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Cohere Rerank 4 Fast là bản Rerank 4 nhẹ hơn, dành cho tác vụ truy xuất cần độ trễ thấp hơn và thông lượng cao hơn. Mô hình nhận truy vấn cùng tài liệu ứng viên rồi trả về thứ tự liên quan và điểm số. Nó hữu ích cho tìm kiếm tương tác, việc chọn bằng chứng lặp lại và các ứng dụng cần sắp xếp lại danh sách kết quả hiện có. Fast vẫn là bản riêng biệt với Rerank 4 Pro, vốn dành cho trường hợp phức tạp hơn ưu tiên chất lượng truy xuất.
Mã của nhà phát triển là rerank-v4.0-fast. Giống Pro, mô hình có ngữ cảnh 32.768 token và hỗ trợ đa ngôn ngữ với hơn 100 ngôn ngữ. Truy vấn và một tài liệu dùng chung ngữ cảnh; đây không phải số chiều vector hay ngân sách cho toàn bộ kho đã lập chỉ mục. Cung cấp các văn bản ứng viên cần so sánh, thay vì mong mô hình truy xuất tài liệu từ nguồn chưa được cung cấp.
Kết quả được mô tả gồm chỉ số ban đầu của tài liệu và relevance_score. top_n chọn số kết quả được trả về, còn khi bỏ tham số này, toàn bộ danh sách đã xếp hạng được trả về. Giữ mã định danh nguồn cạnh đầu vào để có thể nối thứ tự mới với các đoạn thực tế. Với tìm kiếm sản phẩm, mô tả các thuộc tính cần có trong truy vấn rồi xếp hạng lại mô tả ứng viên; thứ hạng cao hơn cần luôn gắn với bản ghi sản phẩm đã tạo ra nó.
Mô hình có thể xử lý tài liệu tiếng Anh, các ngôn ngữ khác và bản ghi bán cấu trúc. Trong quy trình V2, đầu vào tài liệu là chuỗi và Cohere khuyến nghị biểu diễn dữ liệu có cấu trúc bằng YAML. Đặt các trường quan trọng trước và giữ thứ tự để việc cắt không loại bỏ nội dung cần thiết cho đánh giá mức độ liên quan. Bản ghi hỗ trợ có thể chứa tiêu đề, sản phẩm và văn bản quy trình; tin nhắn có thể chứa tiêu đề và nội dung. Những mối quan hệ rõ ràng này cung cấp cho bộ xếp hạng nhiều thông tin hơn một danh sách từ khóa trùng khớp.
Giới hạn truy vấn riêng của mô hình trong hướng dẫn chuẩn bị của Cohere là 16.384 token, với truy vấn và tài liệu cùng sử dụng ngữ cảnh chung. Hướng dẫn mô tả xử lý theo đoạn cho tài liệu dài hơn, còn tài liệu tham chiếu V2 quy định riêng mức cắt tài liệu mặc định 4096 token qua max_tokens_per_doc. Kiểm tra thiết lập tài liệu thực tế đó, thay vì giả định toàn bộ cửa sổ 32K của mô hình luôn được sử dụng. Chuẩn bị các đoạn liên quan hoặc ngân sách tài liệu phù hợp với tác vụ truy xuất thực tế.
Để đạt hiệu năng được khuyến nghị, Cohere khuyên không gửi quá 1.000 tài liệu trong một yêu cầu. Chia tập ứng viên lớn thành các nhóm dễ xử lý và vẫn giữ mã định danh của chúng. Điểm đầu ra được chuẩn hóa từ 0 đến 1 và phụ thuộc vào truy vấn cùng các đoạn trích. Thứ tự của chúng là kết quả cốt lõi; điểm số không phải bội số tuyến tính của mức độ liên quan hay bằng chứng cho thấy một đoạn là đúng. Xác lập mọi ngưỡng lọc bằng truy vấn tiêu biểu và những đoạn sát ranh giới liên quan trong lĩnh vực.
Kết quả Fast hữu ích là danh sách đã xếp hạng có thể dùng ngay để hiển thị tìm kiếm hoặc chọn bằng chứng cho bước viết câu trả lời. Giữ văn bản nguồn cùng điểm số và xem xét liệu các kết quả đầu có thực sự đáp ứng các điều kiện được yêu cầu hay không. Vai trò của Fast là xếp hạng truy xuất, thay vì tạo lời giải thích mới hay vector embedding. Giữ nhất quán bản được chỉ định và cách chuẩn bị đầu vào khi tinh chỉnh cách đánh giá mức độ liên quan.
Ailoot Ultra · Xếp hạng lại POST /v1/rerank cohere/rerank-4-fast
cohere/rerank-4-fastBắt đầu
Cohere Rerank 4 Fast sắp xếp tài liệu ứng viên theo mức độ liên quan đến truy vấn, tập trung vào truy xuất có độ trễ thấp và thông lượng cao. Mô hình hỗ trợ ngữ cảnh 32K, hơn 100 ngôn ngữ và văn bản bán cấu trúc cho các quy trình tìm kiếm và tăng cường truy xuất.
- Đầu vào được chấp nhận
- Văn bản
- Kết quả
- Kết quả đã xếp hạng
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Xếp hạng lại POST /v1/rerank
- Đầu vào
text- Đầu ra
rerank- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngdocuments | Loạiarray | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn cohere/rerank-4-fast | Mặc định— |
Trườngprovider | Loạischema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngquery | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngsession_id | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtop_n | Loạiinteger | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 1 | Mặc định— |
Trườngtrace | Loạischema | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườnguser | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngdocuments[].text | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngdocuments[].image | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Tổ hợp tư liệu đầu vào
text_rerank · Bắt buộc: query, documents array with minItems1
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, query, documents |
Tham sốmaterial_types | Hợp đồngtext |
Tham sốoptional_controls | Hợp đồngprovider, session_id, top_n, trace, user |
Tham sốmultimodal_input_binding | Hợp đồngnull |
Vòng đời: synchronous
Gửi ID mô hình chính xác và giữ lại toàn bộ phản hồi gốc.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Đơn vị tính phí | Phí |
|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Đơn vị tính phí— | Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhUltra | Biểu mức phí— | Đơn vị tính phímỗi đơn vị tìm kiếm | Phí total · Đơn vị tìm kiếm $0.004 mỗi đơn vị tìm kiếm |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Xếp hạng lại
{
"documents": [
"Paris is the capital of France.",
"Berlin is the capital of Germany."
],
"model": "cohere/rerank-4-fast",
"query": "What is the capital of France?",
"top_n": 3
}set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_REQUEST_FILE:?Set your actual JSON request file}"
export AILOOT_REQUEST_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads(Path(os.environ['AILOOT_REQUEST_FILE']).read_text(encoding='utf-8'))
if not isinstance(p,dict): raise SystemExit('Request must be a JSON object')
p['model']='cohere/rerank-4-fast'
Path('request.json').write_text(json.dumps(p,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/rerank \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path('result.json').read_text()),ensure_ascii=False,indent=2))
PY_RESULT
Nhận và lưu kết quả
Ailoot Ultra · Xếp hạng lại
json
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại mọi chỉ số kết quả thực tế, relevance_score hữu hạn và đối tượng tài liệu gốc. Các chỉ số liên kết với mảng tài liệu gốc. Toàn bộ JSON gốc chỉ được lưu và trả về sau khi quyết toán.
Nếu cần kiểm tra phản hồi gốc
Giữ nguyên thao tác ban đầu và phản hồi đầy đủ/một phần; không gửi lại POST.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngmodel | Loạistring |
Trườngid | Loạistring |
Trườngprovider | Loạistring |
Trườngresults[].index | Loạiinteger |
Trườngresults[].relevance_score | Loạinumber |
Trườngresults[].document.text | Loạistring |
Trườngresults[].document.image | Loạistring |
Trườngusage.search_units | Loạiinteger |
Trườngusage.total_tokens | Loạiinteger |
Trườngusage.cost | Loạinumber |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnTrường bắt buộc, biểu diễn hoặc giá trị không hợp lệ | Bước tiếp theoSửa trường yêu cầu được chỉ ra. |
Bí danh
Bí danh mô hình
Ailoot Ultra cohere/rerank-4-fast
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Cohere: Rerank 4 Fast
- Có những đầu vào và kết quả nào?
POST /v1/rerank·cohere/rerank-4-fast:text→rerank- Yêu cầu sử dụng những trường nào?
POST /v1/rerank·cohere/rerank-4-fast:documents,model,provider,query,session_id,top_n,trace,user- Áp dụng những giới hạn nào?
POST /v1/rerank·cohere/rerank-4-fast:top_n.minimum:1