Mistral: Voxtral Mini Transcribe
Voxtral Mini Transcribe 2 chuyển bản ghi thành văn bản với phân đoạn theo người nói, mốc thời gian từng từ và ưu tiên từ vựng. Mistral mô tả 13 ngôn ngữ và bản ghi tối đa ba giờ cho phiên bản tập trung chép lời này, khác với Voxtral Realtime.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Voxtral Mini Transcribe 2 là phiên bản Voxtral của Mistral AI tập trung chép lời, được xác định trong thẻ mô hình của nhà sản xuất là voxtral-mini-2602. Mô hình được thiết kế cho chép lời theo lô từ bản ghi, thay vì vai trò hỏi đáp rộng hơn của mô hình Voxtral Mini 3B gốc. Đầu vào là âm thanh và kết quả là văn bản chép lời, tùy chọn bổ sung nhãn người nói và thông tin thời gian. Ứng dụng thực tế gồm bản chép cuộc họp, phân tích phỏng vấn, bản ghi cuộc gọi nhiều bên và văn bản căn chỉnh với phương tiện được ghi.
Nhà sản xuất mô tả phân đoạn theo người nói và thời gian bắt đầu/kết thúc để bản chép thể hiện ai nói và lúc nào. Mốc thời gian từng từ hỗ trợ phụ đề, tìm kiếm âm thanh và căn chỉnh đoạn văn bản với vị trí trong bản ghi. Hướng dẫn của nhà sản xuất cho phép độ chi tiết mốc thời gian theo đoạn hoặc từ. Với phỏng vấn, sản phẩm hữu ích là chuỗi đoạn có gán người nói và thời gian; với chuẩn bị phụ đề, thời gian theo từ hoặc đoạn có thể hướng dẫn bước tạo phụ đề về sau thay vì buộc phải suy ra thời gian từ văn bản chép lời thuần túy.
Ưu tiên ngữ cảnh nhận tối đa 100 từ hoặc cụm từ hướng mô hình tới cách viết dự định của tên, thuật ngữ kỹ thuật và từ vựng chuyên lĩnh vực. Mistral cho biết tính năng được tối ưu cho tiếng Anh và hỗ trợ ngôn ngữ khác còn thử nghiệm. Chuẩn bị danh sách từ vựng có trọng tâm từ chủ đề bản ghi thay vì bảng thuật ngữ không liên quan. Một ví dụ riêng có thể cung cấp tên dự án và thuật ngữ chuyên môn có khả năng xuất hiện trong thảo luận kỹ thuật, rồi kiểm tra cách viết đó trong bản chép hoàn chỉnh.
Phiên bản này hỗ trợ mười ba ngôn ngữ: tiếng Anh, Trung, Hindi, Tây Ban Nha, Ả Rập, Pháp, Bồ Đào Nha, Nga, Đức, Nhật, Hàn, Ý và Hà Lan. Nhà sản xuất cũng mô tả khả năng chịu nhiễu và bản ghi tối đa ba giờ trong một yêu cầu. Những tính năng này thuộc quy trình bản ghi của Mini Transcribe 2; tuyên bố ngữ cảnh và thời lượng của mô hình hiểu âm thanh 2507 gốc mô tả bản phát hành khác. Nhận diện ngôn ngữ tự động sẵn có, và hướng dẫn nói rằng cung cấp rõ ngôn ngữ âm thanh đã biết có thể cải thiện độ chính xác chép lời.
Trong quy trình được nhà sản xuất mô tả, âm thanh có thể được cung cấp bằng tệp tải lên, mã định danh tệp đã tải lên trước đó hoặc bản ghi được tham chiếu. Minh họa tải lên kèm theo chấp nhận bản ghi MP3, WAV, M4A, FLAC và OGG; hãy chọn một trong các định dạng này cho quy trình tải lên được minh họa. Giữ bản ghi giải mã được và chứa lời nói liên quan. Với tài liệu dài, giữ mã định danh và gốc thời gian để mọi trích đoạn hoặc chỉnh sửa về sau vẫn truy được về nguồn.
Tài liệu tham chiếu chép lời trả văn bản và ngôn ngữ phát hiện, kèm các đoạn khi được yêu cầu, đồng thời mô tả riêng các sự kiện chép lời truyền theo luồng. Phân đoạn theo người nói là tùy chọn và mặc định false. Hướng dẫn lưu ý timestamp_granularities hiện không tương thích với thiết lập language rõ ràng, nên chọn quy trình thời gian mong muốn hoặc gợi ý ngôn ngữ thủ công thay vì kết hợp chúng. Chép lời gắn nhãn người nói, ưu tiên từ vựng và thời gian cần được chọn theo kết quả dự định, thay vì được giả định có trong yêu cầu cơ bản.
Lời nói chồng lấn là giới hạn thực chất: Mistral cho biết mô hình thường chép một người nói khi nhiều người nói chồng nhau. Vì vậy, bản chép có nhãn không nên được coi là bản ghi đầy đủ mọi lời nói đồng thời. Với bản ghi cuộc họp, hãy đối chiếu đoạn chồng lấn khó, tên hoặc số liệu quan trọng với âm thanh. Mục đích mô hình là chép lời; tóm tắt, dịch hoặc phân tích có thể là tác vụ riêng xây trên bản chép ấy. Voxtral Realtime có đặc điểm độ trễ chép lời trực tiếp riêng, còn tạo lời nói thuộc mô hình khác.
Chuẩn bị kết quả cho lần dùng tiếp theo. Quy trình cuộc họp có thể giữ bản chép, nhãn người nói và thời gian trước khi giai đoạn riêng trích xuất quyết định; quy trình phương tiện có thể dùng thời gian để xác định đoạn và soạn phụ đề; bản ghi nặng thuật ngữ có thể kèm danh sách ưu tiên ngữ cảnh có trọng tâm và đánh giá cách viết thu được. Sản phẩm hữu ích là văn bản gắn với bản ghi nguồn và siêu dữ liệu được cấu hình, với phiên bản chép lời đánh số này giữ tách biệt với mô hình Mini gốc và các tên latest thay đổi theo thời gian.
Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions mistralai/voxtral-mini-transcribe
mistralai/voxtral-mini-transcribe
mistralai/voxtral-mini-transcribeBắt đầu
Voxtral Mini Transcribe 2 chuyển bản ghi thành văn bản với phân đoạn theo người nói, mốc thời gian từng từ và ưu tiên từ vựng. Mistral mô tả 13 ngôn ngữ và bản ghi tối đa ba giờ cho phiên bản tập trung chép lời này, khác với Voxtral Realtime.
- Đầu vào được chấp nhận
- Âm thanh
- Kết quả
- Văn bản
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions
- Đầu vào
audio- Đầu ra
text
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn mistralai/voxtral-mini-transcribe | Mặc định— |
Trườnginput_audio | Loạiobject | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input_audio |
Tham sốmaterial_types | Hợp đồngaudio |
Tham sốmaterial_conditions | Hợp đồngVí dụ đọc tệp PCM WAV thực tế, không rỗng của bạn, mã hóa toàn bộ byte của tệp thành base64 và gửi input_audio.format với giá trị wav. |
Vòng đời: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · task_id chính xác từ bản ghi đa phương tiện hiện có thuộc quyền sở hữu
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Đơn vị tính phí | Phí |
|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Đơn vị tính phí— | Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhGiây âm thanh đầu vào | Biểu mức phí— | Đơn vị tính phímỗi giây âm thanh đầu vào | Phí Đầu vào · Giây âm thanh đầu vào $0.0001 mỗi giây âm thanh đầu vào |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Phiên âm
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'mistralai/voxtral-mini-transcribe', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.
Nhận và lưu kết quả
Ailoot Ultra · Phiên âm
Toàn bộ nội dung phản hồi gốc, trạng thái và các tiêu đề được chuyển tiếp. Trình xử lý này không bổ sung cấu trúc JSON chung, trường văn bản hoặc cấu trúc bao tác vụ.
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại toàn bộ phản hồi và các header, mọi đầu ra thực tế, các định danh gốc đã trả về và mọi trường usage. Khôi phục thao tác gốc mà không gửi lại yêu cầu tạo.
Nếu cần kiểm tra phản hồi gốc
Giữ lại X-Client-Request-ID thực tế và toàn bộ phản hồi. Đọc các tài sản gốc thuộc quyền sở hữu và URL nội dung đã ký chính xác của chúng; tuyệt đối không gửi lại yêu cầu tạo chưa rõ kết quả.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngtext (when present) | Loại |
Trườngusage (when present) | Loại |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnNội dung JSON hoặc ID mô hình chuẩn được chỉ định rõ không hợp lệ. | Bước tiếp theoGiữ lại phản hồi và sửa trường yêu cầu được chỉ ra. |
Phản hồi401 · authentication_error | Điều kiệnKhóa API Ailoot không hợp lệ. | Bước tiếp theoDùng khóa API Ailoot được cấp phép của bạn. |
Phản hồi403 · permission_error | Điều kiệnNhóm của khóa không được phép sử dụng phương thức này. | Bước tiếp theoGiữ lại chi tiết lỗi được trả về. |
Phản hồi404 · not_found_error | Điều kiệnPhương thức đã chọn chưa có tuyến được phép sử dụng. | Bước tiếp theoGiữ lại chi tiết lỗi được trả về. |
Phản hồi422 · price_unavailable | Điều kiệnBiểu giá đã chấp nhận không thể xác định số lượng đầu vào hoặc giới hạn cần thiết. | Bước tiếp theoGiữ lại phản hồi; dùng biểu diễn đầu vào mà biểu giá đã chấp nhận yêu cầu. |
Phản hồi503 · | Điều kiệnKho lưu trữ, tuyến, giá phương thức hoặc khoản tiền giữ trước cần thiết không khả dụng. | Bước tiếp theoGiữ lại toàn bộ phản hồi ban đầu. Khoản giữ trước chưa rõ trạng thái không cho phép gửi lại. |
Phản hồi502 · server_error | Điều kiệnKết quả, mức sử dụng hoặc quyết toán ban đầu cần được kiểm tra. | Bước tiếp theoGiữ lại ID yêu cầu thực tế và phản hồi ban đầu. Đọc bản ghi hiện có thuộc quyền sở hữu; không gửi lại yêu cầu tạo. |
Bí danh
Bí danh mô hình
Ailoot Ultra mistralai/voxtral-mini-transcribe
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Mistral: Voxtral Mini Transcribe
- Có những đầu vào và kết quả nào?
POST /v1/audio/transcriptions·mistralai/voxtral-mini-transcribe:audio→text- Yêu cầu sử dụng những trường nào?
POST /v1/audio/transcriptions·mistralai/voxtral-mini-transcribe:model,input_audio