ElevenLabs: Scribe v2

ElevenLabs Scribe v2 chép lời âm thanh đã ghi bằng hơn 90 ngôn ngữ, có thời gian từng từ, phân tách người nói tùy chọn và thẻ sự kiện không phải lời nói. Mô hình được xây dựng cho bản ghi dài, phụ đề và bản chép lời có thể chỉnh sửa, với từ khóa theo ngữ cảnh cùng lựa chọn chép nguyên văn hoặc biên tập gọn.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions elevenlabs/scribe-v2

Về mô hình

Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.

ElevenLabs Scribe v2 là mô hình nhận dạng giọng nói theo lô dành cho âm thanh đã ghi, chép lời và tạo phụ đề. Mô hình phát triển từ Scribe v1 với khả năng xử lý tốt hơn bản ghi dài, khoảng dừng, thay đổi giọng điệu và khoảng im lặng kéo dài. Kết quả là lời nói được viết lại kèm thông tin thời gian và chú thích người nói, sự kiện âm thanh tùy chọn. Scribe v2 Realtime là phiên bản chép lời trực tiếp riêng; mục đích của mô hình này là xử lý bản ghi hoàn chỉnh.

Nhà sản xuất mô tả nhận dạng hơn 90 ngôn ngữ và tự động phát hiện ngôn ngữ, gồm bản ghi có chuyển đổi ngôn ngữ. Gợi ý ngôn ngữ đã biết có thể giúp mô hình diễn giải âm thanh. Chuẩn bị bản ghi rõ, giữ ngôn ngữ và tên gốc, tránh méo âm nghiêm trọng do vượt ngưỡng hoặc xử lý không cần thiết làm mất chi tiết lời nói. Các đầu vào phổ biến được tài liệu nêu gồm WAV, MP3, FLAC, M4A, AAC, OGG, Opus và WebM. Chọn cách biểu diễn đầu vào mà hệ thống chép lời hỗ trợ và giữ bản ghi nguồn để rà soát.

Phản hồi tiêu chuẩn gồm văn bản nhận dạng, thông tin ngôn ngữ phát hiện được và chuỗi từ có thời gian. Bản ghi từng từ có thể gồm thời điểm bắt đầu và kết thúc, định danh người nói và logarit xác suất nhận dạng. Nhờ đó kết quả hữu ích cho phụ đề, phỏng vấn có thể tìm kiếm hoặc trình biên tập chuyển lại đúng đoạn âm thanh liên quan. Giữ kết quả có thời gian cùng âm thanh nguồn. Ví dụ với podcast, sản phẩm bàn giao có thể là bản chép lời có thể chỉnh sửa và bản ghi căn chỉnh theo từ giúp tìm vị trí cần sửa trước khi sắp xếp phụ đề.

Phân tách người nói gắn nhãn ai nói vào lúc nào trong âm thanh nhiều người, với tối đa 32 người nói được nhà sản xuất ghi nhận. Bật khi lượt người nói có ý nghĩa và cung cấp số người nói hợp lý nếu biết. Phân biệt nhãn người nói được phát hiện với tên người đã xác minh. Với phỏng vấn hoặc cuộc họp, rà soát chuyển lượt với bản ghi, đặc biệt khi giọng chồng lấn hoặc tương tự nhau. Nhãn giúp sắp xếp bản chép lời; nó không tự xác lập danh tính người nói.

Bản ghi có một người nói trên mỗi kênh có cấu trúc khác với nhiều giọng trộn vào một kênh. Giao diện của nhà sản xuất có thể xử lý độc lập tối đa năm kênh và trả về các bản chép lời riêng hoặc bản kết hợp sắp theo thời gian, kèm chỉ số kênh. Giữ bố trí kênh khi có ý nghĩa. Gộp bản ghi cuộc gọi đã tách kênh trước khi chép lời có thể làm mất nguồn thông tin người nói hữu ích. Phân biệt quy thuộc theo kênh với phân tách người nói suy ra từ âm thanh trộn. Phản hồi kết hợp nhiều kênh cần dấu thời gian và không thể bao gồm phát hiện hoặc ẩn thực thể.

Gợi ý từ khóa hướng dẫn nhận dạng tên, thuật ngữ sản phẩm và từ vựng chuyên ngành theo ngữ cảnh. Tài liệu xử lý lô hiện tại cho phép tối đa 1.000 thuật ngữ, mỗi thuật ngữ dưới 50 ký tự và tối đa năm từ. Cung cấp cách viết liên quan thay vì danh mục rộng nhưng không liên quan. Với phỏng vấn kỹ thuật, cung cấp tên sản phẩm và chữ viết tắt có khả năng xuất hiện, rồi kiểm tra chúng tại mốc thời gian trong kết quả. Từ khóa định hướng nhận dạng; chúng không phải chỉ dẫn chèn thuật ngữ khi bản ghi không hỗ trợ điều đó.

Chọn mục đích bản chép lời trước khi biên tập. Bản nguyên văn giữ câu chữ được nói, còn tùy chọn no-verbatim trong tài liệu loại bỏ từ đệm, đoạn khởi đầu bỏ dở và chỗ nói vấp để kết quả dễ đọc hơn. Gắn thẻ âm thanh động có thể xác định sự kiện không phải lời nói như tiếng cười hoặc bước chân. Bản chép lời đã trau chuốt có thể hữu ích cho phụ đề hoặc việc đọc, nhưng không nên âm thầm thay bản ghi thô khi sự lặp lại, sửa lời hoặc âm thanh ngoài lời nói có ý nghĩa với nhiệm vụ.

Nhà sản xuất cũng mô tả phát hiện thực thể và chỉnh sửa bản chép lời thử nghiệm. Trong giao diện của nhà sản xuất, chỉnh sửa bản chép lời không thể kết hợp với phát hiện thực thể, ẩn thực thể hoặc chép lời đa kênh. Thực thể được phát hiện cung cấp vị trí có cấu trúc của một số thông tin trong bản chép lời. Ẩn thực thể tùy chọn che văn bản phát hiện được bằng nhãn thay thế; tính năng này phụ thuộc vào phát hiện thực thể, và danh sách thực thể không được trả về khi bật ẩn. Việc ẩn diễn ra trong lúc chép lời, dùng dấu thay thế chung, nhãn danh mục hoặc nhãn danh mục có số. Ẩn tự động có thể bỏ sót nội dung nhạy cảm, vì vậy hãy kiểm tra bản chép lời đã ẩn trước khi chia sẻ. Chỉnh sửa bằng ngôn ngữ tự nhiên trả về văn bản đã sửa bên cạnh kết quả gốc, giữ sẵn bản ghi thời gian và người nói ban đầu. Phân biệt các sản phẩm này: cách viết đã sửa hoặc câu đã đổi định dạng có thể cần kiểm tra lại trước khi căn chỉnh với âm thanh hoặc dùng trong bước trích xuất phía sau. Những tính năng này xử lý bản chép lời; chúng không xác lập rằng mọi chi tiết quan trọng đều được nhận dạng chính xác.

Để hoàn thiện bản chép lời, rà soát tên, số, phủ định và chuyển người nói bằng cách quay lại âm thanh tương ứng. Chú ý đoạn nhỏ tiếng, chồng lấn và chuyển ngôn ngữ thay vì chỉ đánh giá chất lượng qua văn bản trôi chảy. Giữ câu chữ chưa chắc chắn để sửa thay vì hoàn thành đoạn không nghe được bằng một câu có vẻ hợp lý. Kết quả hữu ích là bản ghi văn bản đã kiểm tra với thông tin thời gian và người nói cần cho mục đích sử dụng; sau đó bản chép lời có thể trở thành đầu vào cho bước tóm tắt, dịch hoặc phân tích riêng.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions elevenlabs/scribe-v2

elevenlabs/scribe-v2

ElevenLabs /elevenlabs/scribe-v2

Bắt đầu

Đầu vào được chấp nhận: Âm thanh
Kết quả: Văn bản

Có trên Ailoot · đầu vào & phương thức

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions

Đầu vào: audio
Đầu ra: text

Trường	Loại	Yêu cầu	Giá trị & giới hạn	Mặc định
Trường`model`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn elevenlabs/scribe-v2	Mặc định—
Trường`input_audio`	Loại`object`	Yêu cầuBắt buộc	Giá trị & giới hạn	Mặc định—

Tham số phương thức và vòng đời

Tham số	Hợp đồng
Tham số`content_type`	Hợp đồngapplication/json
Tham số`required`	Hợp đồngmodel, input_audio
Tham số`material_types`	Hợp đồngaudio
Tham số`material_conditions`	Hợp đồngVí dụ đọc tệp PCM WAV thực tế, không rỗng của bạn, mã hóa toàn bộ byte của tệp thành base64 và gửi input_audio.format với giá trị wav.

Vòng đời: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · task_id chính xác từ bản ghi đa phương tiện hiện có thuộc quyền sở hữu

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Bảng giá

Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.

Chế độ nhanh: Chưa chỉ định Khi chọn chế độ nhanh
Chế độ Flex: Chưa chỉ định Khi chọn chế độ flex
Mức độ suy luận tối đa: Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa

Mức phí Ailoot

Giá theo cấu hình

Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.

Cấu hình	Biểu mức phí	Đơn vị tính phí	Phí
Cấu hìnhGiá cơ sở cho token	Biểu mức phíMức phí cơ bản	Đơn vị tính phí—	Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token
Cấu hìnhGiây âm thanh đầu vào	Biểu mức phí—	Đơn vị tính phímỗi giây âm thanh đầu vào	Phí Đầu vào · Giây âm thanh đầu vào $0.0001222222222222 mỗi giây âm thanh đầu vào

Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →

Ví dụ yêu cầu

Ailoot Ultra · Phiên âm

curl · tệp WAV thực tế và kết quả gốc đầy đủ

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'elevenlabs/scribe-v2', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

Nhận và lưu kết quả

Ailoot Ultra · Phiên âm

Toàn bộ nội dung phản hồi gốc, trạng thái và các tiêu đề được chuyển tiếp. Trình xử lý này không bổ sung cấu trúc JSON chung, trường văn bản hoặc cấu trúc bao tác vụ.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Lưu tất cả kết quả đã hoàn tất

Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.

Giữ lại toàn bộ phản hồi và các header, mọi đầu ra thực tế, các định danh gốc đã trả về và mọi trường usage. Khôi phục thao tác gốc mà không gửi lại yêu cầu tạo.

Nếu cần kiểm tra phản hồi gốc

Giữ lại X-Client-Request-ID thực tế và toàn bộ phản hồi. Đọc các tài sản gốc thuộc quyền sở hữu và URL nội dung đã ký chính xác của chúng; tuyệt đối không gửi lại yêu cầu tạo chưa rõ kết quả.

Trường phản hồi

Trường	Loại
Trường`text (when present)`	Loại
Trường`usage (when present)`	Loại

Lỗi và bước tiếp theo

Phản hồi	Điều kiện	Bước tiếp theo
Phản hồi400 · `invalid_request_error`	Điều kiệnNội dung JSON hoặc ID mô hình chuẩn được chỉ định rõ không hợp lệ.	Bước tiếp theoGiữ lại phản hồi và sửa trường yêu cầu được chỉ ra.
Phản hồi401 · `authentication_error`	Điều kiệnKhóa API Ailoot không hợp lệ.	Bước tiếp theoDùng khóa API Ailoot được cấp phép của bạn.
Phản hồi403 · `permission_error`	Điều kiệnNhóm của khóa không được phép sử dụng phương thức này.	Bước tiếp theoGiữ lại chi tiết lỗi được trả về.
Phản hồi404 · `not_found_error`	Điều kiệnPhương thức đã chọn chưa có tuyến được phép sử dụng.	Bước tiếp theoGiữ lại chi tiết lỗi được trả về.
Phản hồi422 · `price_unavailable`	Điều kiệnBiểu giá đã chấp nhận không thể xác định số lượng đầu vào hoặc giới hạn cần thiết.	Bước tiếp theoGiữ lại phản hồi; dùng biểu diễn đầu vào mà biểu giá đã chấp nhận yêu cầu.
Phản hồi503 ·	Điều kiệnKho lưu trữ, tuyến, giá phương thức hoặc khoản tiền giữ trước cần thiết không khả dụng.	Bước tiếp theoGiữ lại toàn bộ phản hồi ban đầu. Khoản giữ trước chưa rõ trạng thái không cho phép gửi lại.
Phản hồi502 · `server_error`	Điều kiệnKết quả, mức sử dụng hoặc quyết toán ban đầu cần được kiểm tra.	Bước tiếp theoGiữ lại ID yêu cầu thực tế và phản hồi ban đầu. Đọc bản ghi hiện có thuộc quyền sở hữu; không gửi lại yêu cầu tạo.

Bí danh

Bí danh mô hình

Ailoot Ultra elevenlabs/scribe-v2

Bí danh đường dẫn phương thức

Dùng các đường dẫn phương thức hiển thị ở trên.

ID gọi liên quan

elevenlabs/scribe-v2

FAQ · ElevenLabs: Scribe v2

Có những đầu vào và kết quả nào?: POST /v1/audio/transcriptions · elevenlabs/scribe-v2: audio → text
Yêu cầu sử dụng những trường nào?: POST /v1/audio/transcriptions · elevenlabs/scribe-v2: model, input_audio

ElevenLabs: Scribe v2