AssemblyAI: Universal-3.5 Pro

Universal-3.5 Pro là mô hình chuyển giọng nói thành văn bản của AssemblyAI, biến clip âm thanh ngắn thành bản chép lời hoàn chỉnh trong một phản hồi. Hồ sơ Sync thêm độ tin cậy từng từ, dấu thời gian tùy chọn, gợi ý từ vựng và ngữ cảnh hội thoại trước cho đầu vào giọng nói, quy trình nhấn để nói.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions assemblyai/universal-3-5-pro

Về mô hình

Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.

Universal-3.5 Pro là mô hình nhận dạng lời nói của AssemblyAI để đổi lời nói đã ghi thành văn bản. Trong hồ sơ Sync, clip âm thanh ngắn tạo bản chép lời hoàn chỉnh trong một phản hồi. Điều này phù hợp tin nhắn thoại, đầu vào nhấn để nói và các lượt hội thoại riêng biệt khi ứng dụng đã biết lúc kết thúc ghi âm.

Chuẩn bị âm thanh thành clip có giới hạn. Yêu cầu Sync của AssemblyAI nhận thời lượng từ 80 mili giây đến 120 giây, dung lượng tệp tối đa 40 MB. Định dạng hỗ trợ là WAV hoặc PCM thô có dấu 16 bit little-endian. Âm thanh có thể mono hoặc stereo, stereo được trộn xuống nội bộ. Tần số lấy mẫu hỗ trợ là 8, 16, 22.05, 24, 32, 44.1 và 48 kHz. Phần đầu tệp WAV cung cấp tần số lấy mẫu và số kênh; PCM thô cần cung cấp riêng các giá trị ấy trong cấu hình chép lời.

Thu đầy đủ phát ngôn và giữ nguyên đầu, cuối lời nói. Nhiệm vụ mẫu hữu ích là tin nhắn thoại hỗ trợ sản phẩm ngắn có tên sản phẩm, mã đơn hàng và yêu cầu. Giữ clip nguồn để kiểm tra bản chép lời theo các chi tiết quan trọng. Với bản ghi dài hơn, chuẩn bị quy trình phù hợp chép lời dài thay vì coi giới hạn thời lượng clip ngắn là tuyên bố về năng lực âm thanh toàn mô hình.

Kết quả chứa toàn bộ bản chép lời, danh sách từ có độ tin cậy từng từ và độ tin cậy tổng từ không đến một. Nó còn cung cấp thời lượng âm thanh gửi cùng mã yêu cầu, giúp giữ liên kết văn bản với clip gốc. Dùng độ tin cậy từng từ để tìm đoạn cần nghe kiểm tra, nhất là tên, số và từ chuyên ngành quan trọng với ứng dụng.

Dấu thời gian từng từ là tùy chọn, mặc định tắt. Khi yêu cầu, mỗi từ được căn chỉnh có thể mang thời điểm bắt đầu và kết thúc tính bằng mili giây từ đầu clip. Theo hồ sơ của nhà phát triển, các giá trị đó không được trả về khi không thể căn chỉnh một từ, thay vì đưa ra thời gian xấp xỉ. Độ chính xác dấu thời gian tốt nhất cho âm thanh tiếng Anh. Giữ rõ thời gian bị thiếu khi chuẩn bị tô sáng từ, dạng sóng có thể tìm kiếm hoặc căn chỉnh phụ đề, và đối chiếu chữ với bản ghi trước khi dùng làm phụ đề hoàn chỉnh.

Lời nhắc ngữ cảnh mô tả nội dung bản ghi. Nó có thể nêu lĩnh vực, tình huống hoặc chi tiết cụ thể ứng dụng đã biết, độ dài tối đa 6000 ký tự. Bắt đầu bằng mô tả ngắn khớp âm thanh, như hội thoại hỗ trợ kỹ thuật về thiết bị cụ thể. Lời nhắc cung cấp ngữ cảnh nhận dạng, không yêu cầu viết lại thông điệp người nói thành tài liệu khác.

Danh sách keyterm riêng hướng nhận dạng về từ vựng cụ thể. Hồ sơ Sync nhận tối đa 100 thuật ngữ và tổng 8000 ký tự cho danh sách đó. Dùng cách viết chính xác cho tên lạ, chữ viết tắt hoặc thuật ngữ sản phẩm, bỏ các từ thông thường đã nhận dạng tốt. Danh sách lớn hoặc không cần thiết có thể gây sửa quá mức, nên tập trung vào từ quan trọng trong bản ghi. Mô tả ngữ cảnh và danh sách từ vựng có thể dùng cùng nhau.

Hội thoại trước cũng giúp diễn giải phản hồi ngắn. Cung cấp phát ngôn trước theo thời gian, từ cũ nhất đến mới nhất, còn âm thanh hiện tại vẫn là lượt đang chép lời. Hạn mức ngữ cảnh được ghi nhận là 500 lượt hoặc tổng 16,000 ký tự. Nếu vượt các mức đó hoặc ngữ cảnh mô hình còn có, mục cũ nhất bị bỏ trước. Điều này hữu ích khi câu trả lời ngắn chứa mã hoặc tham chiếu có nghĩa từ câu hỏi trước.

Chọn ngôn ngữ hướng nhận dạng về một hoặc nhiều ngôn ngữ dự kiến. Giao diện Sync hiện tại nhận 32 mã ngôn ngữ, mặc định tiếng Anh nếu không cung cấp lựa chọn. Với âm thanh chuyển đổi giữa ngôn ngữ, liệt kê các ngôn ngữ dự kiến. Lời nhắc ngữ cảnh tùy chỉnh thay mặc định được quản lý và ghi đè định hướng mã ngôn ngữ riêng, nên nêu ngôn ngữ dự kiến trong lời nhắc ấy khi cần cả ngữ cảnh ngôn ngữ lẫn tình huống. Giữ bản chép lời ở ngôn ngữ thực sự được nói thay vì coi chép lời là chỉ dẫn dịch.

Mô hình còn có trong các quy trình chép lời AssemblyAI khác, còn yêu cầu clip ngắn và trường kết quả của Sync thuộc giao diện cụ thể này. Quy trình Dictation của nhà phát triển thêm giai đoạn làm sạch văn bản riêng; bản chép lời và thông điệp viết lại là tạo phẩm khác nhau. Giữ lời nói đã nhận dạng nếu bước biên tập hoặc tóm tắt sau tạo bản sạch, để câu chữ gốc còn dùng đối chiếu.

Sản phẩm hữu ích gồm tin nhắn thoại đã chép, lượt hoàn chỉnh cho trợ lý, văn bản âm thanh ngắn có thể tìm kiếm hoặc danh sách từ có thời gian cho giao diện kiểm tra. Đối chiếu từ quyết định với bản ghi, giữ mọi căn chỉnh thiếu và liên kết clip với văn bản trả về. Kết quả nhận dạng cung cấp cho bước tiếp theo của ứng dụng một bản chép lời có căn cứ từ nguồn; trả lời yêu cầu hoặc biên tập thông điệp thuộc quy trình bao quanh.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions assemblyai/universal-3-5-pro

assemblyai/universal-3-5-pro

AssemblyAI /assemblyai/universal-3-5-pro

Bắt đầu

Đầu vào được chấp nhận: Âm thanh
Kết quả: Văn bản

Có trên Ailoot · đầu vào & phương thức

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions

Đầu vào: audio
Đầu ra: text

Trường	Loại	Yêu cầu	Giá trị & giới hạn	Mặc định
Trường`model`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn assemblyai/universal-3-5-pro	Mặc định—
Trường`input_audio`	Loại`object`	Yêu cầuBắt buộc	Giá trị & giới hạn	Mặc định—

Tham số phương thức và vòng đời

Tham số	Hợp đồng
Tham số`content_type`	Hợp đồngapplication/json
Tham số`required`	Hợp đồngmodel, input_audio
Tham số`material_types`	Hợp đồngaudio
Tham số`material_conditions`	Hợp đồngVí dụ đọc tệp PCM WAV thực tế, không rỗng của bạn, mã hóa toàn bộ byte của tệp thành base64 và gửi input_audio.format với giá trị wav.

Vòng đời: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · task_id chính xác từ bản ghi đa phương tiện hiện có thuộc quyền sở hữu

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Bảng giá

Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.

Chế độ nhanh: Chưa chỉ định Khi chọn chế độ nhanh
Chế độ Flex: Chưa chỉ định Khi chọn chế độ flex
Mức độ suy luận tối đa: Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa

Mức phí Ailoot

Giá theo cấu hình

Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.

Cấu hình	Biểu mức phí	Đơn vị tính phí	Phí
Cấu hìnhGiá cơ sở cho token	Biểu mức phíMức phí cơ bản	Đơn vị tính phí—	Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token
Cấu hìnhGiây âm thanh đầu vào	Biểu mức phí—	Đơn vị tính phímỗi giây âm thanh đầu vào	Phí Đầu vào · Giây âm thanh đầu vào $0.00025 mỗi giây âm thanh đầu vào

Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →

Ví dụ yêu cầu

Ailoot Ultra · Phiên âm

curl · tệp WAV thực tế và kết quả gốc đầy đủ

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'assemblyai/universal-3-5-pro', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

Nhận và lưu kết quả

Ailoot Ultra · Phiên âm

Toàn bộ nội dung phản hồi gốc, trạng thái và các tiêu đề được chuyển tiếp. Trình xử lý này không bổ sung cấu trúc JSON chung, trường văn bản hoặc cấu trúc bao tác vụ.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Lưu tất cả kết quả đã hoàn tất

Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.

Giữ lại toàn bộ phản hồi và các header, mọi đầu ra thực tế, các định danh gốc đã trả về và mọi trường usage. Khôi phục thao tác gốc mà không gửi lại yêu cầu tạo.

Nếu cần kiểm tra phản hồi gốc

Giữ lại X-Client-Request-ID thực tế và toàn bộ phản hồi. Đọc các tài sản gốc thuộc quyền sở hữu và URL nội dung đã ký chính xác của chúng; tuyệt đối không gửi lại yêu cầu tạo chưa rõ kết quả.

Trường phản hồi

Trường	Loại
Trường`text (when present)`	Loại
Trường`usage (when present)`	Loại

Lỗi và bước tiếp theo

Phản hồi	Điều kiện	Bước tiếp theo
Phản hồi400 · `invalid_request_error`	Điều kiệnNội dung JSON hoặc ID mô hình chuẩn được chỉ định rõ không hợp lệ.	Bước tiếp theoGiữ lại phản hồi và sửa trường yêu cầu được chỉ ra.
Phản hồi401 · `authentication_error`	Điều kiệnKhóa API Ailoot không hợp lệ.	Bước tiếp theoDùng khóa API Ailoot được cấp phép của bạn.
Phản hồi403 · `permission_error`	Điều kiệnNhóm của khóa không được phép sử dụng phương thức này.	Bước tiếp theoGiữ lại chi tiết lỗi được trả về.
Phản hồi404 · `not_found_error`	Điều kiệnPhương thức đã chọn chưa có tuyến được phép sử dụng.	Bước tiếp theoGiữ lại chi tiết lỗi được trả về.
Phản hồi422 · `price_unavailable`	Điều kiệnBiểu giá đã chấp nhận không thể xác định số lượng đầu vào hoặc giới hạn cần thiết.	Bước tiếp theoGiữ lại phản hồi; dùng biểu diễn đầu vào mà biểu giá đã chấp nhận yêu cầu.
Phản hồi503 ·	Điều kiệnKho lưu trữ, tuyến, giá phương thức hoặc khoản tiền giữ trước cần thiết không khả dụng.	Bước tiếp theoGiữ lại toàn bộ phản hồi ban đầu. Khoản giữ trước chưa rõ trạng thái không cho phép gửi lại.
Phản hồi502 · `server_error`	Điều kiệnKết quả, mức sử dụng hoặc quyết toán ban đầu cần được kiểm tra.	Bước tiếp theoGiữ lại ID yêu cầu thực tế và phản hồi ban đầu. Đọc bản ghi hiện có thuộc quyền sở hữu; không gửi lại yêu cầu tạo.

Bí danh

Bí danh mô hình

Ailoot Ultra assemblyai/universal-3-5-pro

Bí danh đường dẫn phương thức

Dùng các đường dẫn phương thức hiển thị ở trên.

ID gọi liên quan

assemblyai/universal-3-5-pro

FAQ · AssemblyAI: Universal-3.5 Pro

Có những đầu vào và kết quả nào?: POST /v1/audio/transcriptions · assemblyai/universal-3-5-pro: audio → text
Yêu cầu sử dụng những trường nào?: POST /v1/audio/transcriptions · assemblyai/universal-3-5-pro: model, input_audio

AssemblyAI: Universal-3.5 Pro