Fish Audio: Transcribe 1
Transcribe 1 chuyển bản ghi âm ngắn thành văn bản, tự nhận diện ngôn ngữ và có tùy chọn dấu thời gian theo từ. Dùng bản chép lời cho ghi chú giọng nói, đoạn âm thanh có thể tìm kiếm hoặc chuẩn bị phụ đề, đồng thời tách các đoạn có thời gian khỏi toàn văn dễ đọc.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Transcribe 1 là mô hình chuyển giọng nói thành văn bản thông dụng của Fish Audio dành cho bản ghi ngắn. Mô hình nhận tệp âm thanh và trả các từ nhận diện được dưới dạng văn bản, cùng thời lượng bản ghi, các đoạn có thời gian tùy chọn và thông tin ngôn ngữ khi xác định được. Mô hình hữu ích cho ghi chú giọng nói ngắn, chỉ dẫn bằng lời, trích đoạn bản ghi hoặc clip âm thanh cần được biểu diễn thành văn bản dễ đọc.
Một quy trình ghi chú giọng nói minh họa giữ bản ghi cùng toàn bộ bản chép lời và mã định danh clip gốc. Bước ứng dụng sau có thể tìm kiếm văn bản, sắp xếp ghi chú hoặc tạo bản tóm tắt trong khi giữ nguồn lời nói. Với lệnh, bản chép cung cấp các từ nhận diện cho ứng dụng; mọi hành động là bước diễn giải và thực hiện riêng. Với trích đoạn phỏng vấn, ghi vị trí clip trong toàn bộ âm thanh để có thể kiểm tra trích dẫn đúng chỗ.
Nhà sản xuất chấp nhận WAV, MP3, AAC gồm M4A/MP4, FLAC và Ogg chứa Opus hoặc Vorbis. Với mô hình này, bản ghi WebM từ trình duyệt cần chuyển sang Ogg/Opus, MP3 hoặc WAV; tài liệu Pro mô tả hỗ trợ trực tiếp thêm các định dạng chứa khác. Gửi một tệp âm thanh mỗi yêu cầu. Ngân sách yêu cầu được ghi cho mô hình cơ sở tối đa 50 MiB, còn tệp MP3 và Opus phải nhỏ hơn 25 MiB. Kích thước tệp và độ dài bản ghi là hai yếu tố khác nhau: tệp nén có thể nằm trong giới hạn tải lên nhưng vẫn mất quá nhiều thời gian xử lý.
Transcribe 1 được thiết kế cho bản ghi ngắn. Nhà sản xuất khuyến nghị Pro cho âm thanh dài hơn vài phút; yêu cầu dài trên mô hình cơ sở có thể thất bại nếu vượt giới hạn thời gian xử lý. Khi chia nguồn dài thành clip ngắn để chép lời, giữ độ lệch thời điểm bắt đầu của từng clip và xác nhận bản chép trả về bao phủ toàn bộ clip trước khi ghép kết quả. Cộng độ lệch gốc vào thời gian cục bộ của đoạn để điều hướng vẫn gắn với toàn bộ bản ghi. Không nên hiểu hướng dẫn mô hình cơ sở thành ngân sách 60 phút riêng của Pro.
Phản hồi của nhà sản xuất gồm text, duration và segments. Thời lượng tính bằng giây, và toàn bộ bản chép dễ đọc nên được giữ làm lời văn chính của clip. Dấu thời gian là tùy chọn: ignore_timestamps mặc định là true trong API của nhà sản xuất, còn false yêu cầu các đoạn theo từ với văn bản, thời điểm bắt đầu và kết thúc tính bằng giây. Yêu cầu căn chỉnh làm tăng thời gian xử lý. Mảng segments rỗng có thể do bỏ qua thời gian, không có lời nói hoặc căn chỉnh tạm thời không khả dụng; vì vậy không nên tự động hiểu là toàn bộ bản chép rỗng.
Các đoạn thường là từ, hoặc một đến vài ký tự trong tiếng Trung và tiếng Nhật. Văn bản của chúng không có dấu câu và có thể chuẩn hóa một giá trị khác với toàn bộ bản chép; đó không phải bản sao từng ký tự của phản hồi dễ đọc. Một đoạn có thể có cùng thời điểm bắt đầu và kết thúc. Dùng các đoạn để tìm vị trí trong bản ghi hoặc chuẩn bị hiển thị theo thời gian; dùng toàn văn khi lời văn và dấu câu quan trọng. Giữ hai cách biểu diễn này riêng trong sản phẩm đầu ra.
Ngôn ngữ được nhận diện tự động, dù có cung cấp gợi ý ngôn ngữ tùy chọn hay không. Nhà sản xuất quy định mã ISO 639-1 viết thường cho gợi ý và trả mã ngôn ngữ phục vụ logic ứng dụng cùng tên ngôn ngữ để hiển thị khi biết. Phản hồi báo một ngôn ngữ thay vì tất cả ngôn ngữ trong bản ghi có sự chuyển đổi giữa các ngôn ngữ. Giữ lời văn nguồn và siêu dữ liệu ngôn ngữ có sẵn cùng kết quả, thay vì coi yêu cầu chép lời là thao tác dịch.
Trong quy trình phụ đề, nhóm các đoạn có thời gian liên tiếp thành dòng phụ đề dễ đọc thay vì hiện từng từ. Đầu ra hữu ích là tệp SRT hoặc WebVTT liên kết với clip gốc, có ranh giới phù hợp khoảng nghỉ và lượng chữ vừa phải trên màn hình. Kiểm tra thời gian bị thiếu và bảo đảm thời điểm kết thúc mỗi dòng sau thời điểm bắt đầu. Nhóm phụ đề và định dạng tệp là các bước ứng dụng xây dựng từ dữ liệu căn chỉnh trả về; lựa chọn hiển thị cần phù hợp trình phát và khán giả.
Các điều khiển được mô tả cho Transcribe 1 là âm thanh, gợi ý ngôn ngữ và lựa chọn dấu thời gian. Dấu người nói, lượt nói có cấu trúc, điều khiển sự kiện cảm xúc và gợi ý số người nói của Pro là tính năng riêng; chúng không thuộc hợp đồng phản hồi được ghi cho mô hình cơ sở này. Chọn sản phẩm cần nhận trước khi xử lý: văn bản dễ đọc cho ghi chú, hoặc văn bản kèm căn chỉnh để điều hướng phát lại và phụ đề. Giữ mã clip, bản chép và thời gian có sẵn giúp kết quả hữu ích cho bước ứng dụng tiếp theo.
Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions fish-audio/transcribe-1
fish-audio/transcribe-1Bắt đầu
Transcribe 1 chuyển bản ghi âm ngắn thành văn bản, tự nhận diện ngôn ngữ và có tùy chọn dấu thời gian theo từ. Dùng bản chép lời cho ghi chú giọng nói, đoạn âm thanh có thể tìm kiếm hoặc chuẩn bị phụ đề, đồng thời tách các đoạn có thời gian khỏi toàn văn dễ đọc.
- Đầu vào được chấp nhận
- Âm thanh
- Kết quả
- Văn bản
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions
- Đầu vào
audio- Đầu ra
text
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn fish-audio/transcribe-1 | Mặc định— |
Trườnginput_audio | Loạiobject | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_type | Hợp đồngapplication/json |
Tham sốrequired | Hợp đồngmodel, input_audio |
Tham sốmaterial_types | Hợp đồngaudio |
Tham sốmaterial_conditions | Hợp đồngVí dụ đọc tệp PCM WAV thực tế, không rỗng của bạn, mã hóa toàn bộ byte của tệp thành base64 và gửi input_audio.format với giá trị wav. |
Vòng đời: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · task_id chính xác từ bản ghi đa phương tiện hiện có thuộc quyền sở hữu
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Đơn vị tính phí | Phí |
|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Đơn vị tính phí— | Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhGiây âm thanh đầu vào | Biểu mức phí— | Đơn vị tính phímỗi giây âm thanh đầu vào | Phí Đầu vào · Giây âm thanh đầu vào $0.0002 mỗi giây âm thanh đầu vào |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Ví dụ yêu cầu
Ailoot Ultra · Phiên âm
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'fish-audio/transcribe-1', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.
Nhận và lưu kết quả
Ailoot Ultra · Phiên âm
Toàn bộ nội dung phản hồi gốc, trạng thái và các tiêu đề được chuyển tiếp. Trình xử lý này không bổ sung cấu trúc JSON chung, trường văn bản hoặc cấu trúc bao tác vụ.
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Giữ lại toàn bộ phản hồi và các header, mọi đầu ra thực tế, các định danh gốc đã trả về và mọi trường usage. Khôi phục thao tác gốc mà không gửi lại yêu cầu tạo.
Nếu cần kiểm tra phản hồi gốc
Giữ lại X-Client-Request-ID thực tế và toàn bộ phản hồi. Đọc các tài sản gốc thuộc quyền sở hữu và URL nội dung đã ký chính xác của chúng; tuyệt đối không gửi lại yêu cầu tạo chưa rõ kết quả.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngtext (when present) | Loại |
Trườngusage (when present) | Loại |
Lỗi và bước tiếp theo
| Phản hồi | Điều kiện | Bước tiếp theo |
|---|---|---|
Phản hồi400 · invalid_request_error | Điều kiệnNội dung JSON hoặc ID mô hình chuẩn được chỉ định rõ không hợp lệ. | Bước tiếp theoGiữ lại phản hồi và sửa trường yêu cầu được chỉ ra. |
Phản hồi401 · authentication_error | Điều kiệnKhóa API Ailoot không hợp lệ. | Bước tiếp theoDùng khóa API Ailoot được cấp phép của bạn. |
Phản hồi403 · permission_error | Điều kiệnNhóm của khóa không được phép sử dụng phương thức này. | Bước tiếp theoGiữ lại chi tiết lỗi được trả về. |
Phản hồi404 · not_found_error | Điều kiệnPhương thức đã chọn chưa có tuyến được phép sử dụng. | Bước tiếp theoGiữ lại chi tiết lỗi được trả về. |
Phản hồi422 · price_unavailable | Điều kiệnBiểu giá đã chấp nhận không thể xác định số lượng đầu vào hoặc giới hạn cần thiết. | Bước tiếp theoGiữ lại phản hồi; dùng biểu diễn đầu vào mà biểu giá đã chấp nhận yêu cầu. |
Phản hồi503 · | Điều kiệnKho lưu trữ, tuyến, giá phương thức hoặc khoản tiền giữ trước cần thiết không khả dụng. | Bước tiếp theoGiữ lại toàn bộ phản hồi ban đầu. Khoản giữ trước chưa rõ trạng thái không cho phép gửi lại. |
Phản hồi502 · server_error | Điều kiệnKết quả, mức sử dụng hoặc quyết toán ban đầu cần được kiểm tra. | Bước tiếp theoGiữ lại ID yêu cầu thực tế và phản hồi ban đầu. Đọc bản ghi hiện có thuộc quyền sở hữu; không gửi lại yêu cầu tạo. |
Bí danh
Bí danh mô hình
Ailoot Ultra fish-audio/transcribe-1
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Fish Audio: Transcribe 1
- Có những đầu vào và kết quả nào?
POST /v1/audio/transcriptions·fish-audio/transcribe-1:audio→text- Yêu cầu sử dụng những trường nào?
POST /v1/audio/transcriptions·fish-audio/transcribe-1:model,input_audio