Deepgram: Nova-3
Nova-3 là mô hình chuyển giọng nói thành văn bản đa dụng của Deepgram cho âm thanh đã ghi và truyền trực tiếp. Mô hình hỗ trợ nhận dạng đơn ngữ, chế độ chuyển đổi ngôn ngữ đa ngữ được xác định và keyterm prompting, trả về bản chép lời cùng thời gian từ và thông tin độ tin cậy.
Về mô hình
Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.
Nova-3 là mô hình nhận dạng giọng nói đa dụng của Deepgram để chuyển âm thanh thành văn bản. Nhà sản xuất khuyến nghị cho họp, phụ đề sự kiện, bản ghi nhiều người và điều kiện khó như tiếng ồn hoặc micro ở xa, dùng chép lời âm thanh đã ghi hoặc truyền trực tiếp. Kết quả hữu ích là lời nói được nhận dạng với thời gian và thông tin độ tin cậy vẫn liên kết với âm thanh nguồn.
Chọn quy trình ngôn ngữ
Ngôn ngữ mặc định được mô tả là tiếng Anh. Yêu cầu đơn ngữ chọn ngôn ngữ được nói hoặc locale được hỗ trợ. Bảng mô hình chung hiện tại gồm các biến thể vùng của tiếng Anh, tiếng Tây Ban Nha, Pháp, Đức, Nga, Bồ Đào Nha, Nhật, Ý, Hà Lan, Ả Rập, các hệ chữ tiếng Trung và nhiều ngôn ngữ khác, gồm tiếng Kazakh. Chọn trong các mã nhà sản xuất hỗ trợ thay vì giả định mọi tên locale đều được nhận.
Thiết lập đa ngôn ngữ là quy trình chuyển đổi ngôn ngữ riêng. Bảng Nova-3 hiện tại liệt kê mười ngôn ngữ cho chế độ này: tiếng Anh, Tây Ban Nha, Pháp, Đức, Hindi, Nga, Bồ Đào Nha, Nhật, Ý và Hà Lan. Tập này không giống danh sách đơn ngữ lớn hơn. Với bản ghi luân phiên giữa các ngôn ngữ được hỗ trợ, chuẩn bị chế độ đa ngôn ngữ thay vì ép cả hội thoại vào thiết lập một ngôn ngữ không liên quan. Giữ lời đã nói trước khi chuẩn bị mọi bản dịch hoặc tóm tắt.
Âm thanh đã ghi và chuẩn bị bản chép lời
Quy trình tệp của Deepgram nhận byte âm thanh tải lên hoặc tham chiếu tới tệp âm thanh. Lưu bản chép lời trả về khi yêu cầu hoàn tất; nhà sản xuất không giữ bản chép lời để lấy lại về sau. Các định dạng và mã hóa đầu vào thông dụng được mô tả gồm MP3, MP4, MP2, AAC, WAV, FLAC, PCM, M4A, Ogg, Opus và WebM. Giữ định dạng thực tế cùng thông tin kênh của bản ghi. Gán định danh ổn định cho bản ghi, giữ kết quả gắn với đúng nguồn và thông tin kênh. Với cuộc họp, kiểm tra tên người tham gia và thuật ngữ kỹ thuật khi nghe âm thanh gốc. Với bài giảng hoặc sự kiện, giữ thứ tự âm thanh để phụ đề hoặc kết quả tìm kiếm sau xác định được đoạn liên quan.
Hướng dẫn âm thanh đã ghi của nhà sản xuất nêu kích thước tệp tối đa 2 GB và khuyến nghị tách luồng âm thanh khỏi tệp video lớn. Hướng dẫn còn mô tả thời gian chờ xử lý tối đa mười phút cho yêu cầu Nova. Đây là thời gian xử lý yêu cầu, không phải thời lượng bản ghi tối đa mười phút. Kết quả hữu ích phải chứa phần cuối của bản ghi dự kiến; bản chép lời chỉ được giữ một phần không nên bị coi là toàn văn hoàn chỉnh.
Đọc từ, thời gian và độ tin cậy
Phản hồi JSON được mô tả chứa các phương án bản chép lời và từ được nhận dạng, với thời điểm bắt đầu, kết thúc của mỗi từ tính bằng giây từ đầu âm thanh cùng giá trị độ tin cậy. Với bản chép nhiều người, phân lượt người nói tùy chọn của nhà sản xuất gán nhãn người nói cho từng từ. Phân lượt ở âm thanh đã ghi còn trả về độ tin cậy người nói; ở truyền trực tiếp trả về nhãn người nói. Kiểm tra các nhãn theo giọng trong bản ghi. Độ tin cậy toàn bản chép cũng được báo trên thang 0–1. Khi yêu cầu định dạng thông minh, kết quả có thể chứa dấu câu và viết hoa dưới dạng từ có dấu câu, cùng thông tin đoạn văn dễ đọc.
Dùng những trường đó theo đúng ý nghĩa. Thời gian từ định vị lời nói được nhận dạng, còn độ tin cậy là chỉ báo của mô hình về mức đáng tin, không phải bằng chứng đã nghe đúng tên hoặc số lượng khó. Để chuẩn bị phụ đề, giữ thời gian cùng cách diễn đạt đã kiểm tra và đối chiếu ranh giới với âm thanh. Với bản biên tập dễ đọc, giữ thay đổi phân biệt được với bản chép nhận dạng thay vì âm thầm thay từ không chắc chắn bằng câu chuyện hợp lý.
Nhận dạng trực tiếp và các đoạn cuối
Quy trình truyền trực tiếp của Nova trả về văn bản khi âm thanh đến, với kết quả tạm thời và cuối. Chỉ báo is_final phân biệt văn bản còn có thể sửa với đoạn đã chốt. Chỉ báo speech_final liên quan đến xác định điểm kết thúc một đoạn lời nói. Phân biệt các tín hiệu này với việc chỉ nhận bản chép không rỗng, giữ các đoạn cuối theo thứ tự âm thanh khi chuẩn bị bản ghi hoàn chỉnh.
Nova-3 là ASR chung, khác mô hình hội thoại Flux riêng có phát hiện lượt nói gốc của mô hình. Nova đánh dấu mức chốt của bản chép và điểm kết thúc lời nói; Flux cung cấp các sự kiện trạng thái lượt hội thoại riêng. Chọn quy trình chép lời theo âm thanh đã ghi sẵn hay đang đến trực tiếp, đồng thời dùng đầu ra cuối thực tế làm sản phẩm cần giữ.
Keyterm cho từ vựng quan trọng
Keyterm Prompting được mô tả của Nova-3 hỗ trợ chép lời đơn ngữ và đa ngôn ngữ, điều chỉnh nhận dạng hướng đến thuật ngữ quan trọng mà không huấn luyện lại mô hình. Cung cấp tên liên quan, thuật ngữ sản phẩm, từ viết tắt hoặc cụm nhiều từ có thể thực sự được nói. Hướng dẫn giới hạn tổng đầu vào keyterm ở 500 token và khuyến nghị tập trung từ vựng quan trọng nhất thay vì thêm từ thông thường tùy tiện.
Cú pháp của nhà sản xuất dùng thuật ngữ thuần, với một mục keyterm riêng cho mỗi thuật ngữ. Cụm nhiều từ giữ nguyên một cụm. Trọng số keyword hoặc hệ số tăng cường kiểu cũ, cùng ghép các thuật ngữ riêng bằng dấu phẩy, chấm phẩy hoặc xuống dòng, không tương đương: giao diện có thể nhận chúng như một giá trị nguyên văn mà không cung cấp tác dụng tăng cường mong muốn. Dùng đúng viết hoa cho tên rồi kiểm tra bản chép vì ngữ cảnh âm thanh và định dạng thông minh vẫn có thể thay đổi hình thức chữ cuối.
Ranh giới họ mô hình và kết quả hữu ích
Hồ sơ Nova-3 chung khác các lựa chọn Medical và Pharma có tên riêng. Prompt từ vựng không biến nó thành phiên bản khác, không nên giả định phạm vi ngôn ngữ hoặc hành vi của mô hình chuyên biệt cho mô hình chung. Các tính năng xử lý bản chép bổ sung là lựa chọn trong quy trình giọng nói của nhà sản xuất, không phải bằng chứng nhận dạng đã tạo tóm tắt, bản dịch hoặc sản phẩm khác chưa từng được yêu cầu.
Sản phẩm Nova-3 hữu ích có thể là bản chép cuộc họp tìm kiếm được, cách diễn đạt sẵn cho phụ đề cùng thời gian từ hoặc bản ghi hội thoại đa ngôn ngữ. Giữ định danh âm thanh, quy trình ngôn ngữ đã chọn, văn bản cuối và mọi trường độ tin cậy hoặc thời gian hữu ích. Kiểm tra tên không rõ, số, giọng chồng lấn và đổi ngôn ngữ theo bản ghi gốc, giữ lời thực sự nhận dạng được cho bước xử lý nội dung tiếp theo.
Ailoot Ultra · Nhận dạng giọng nói POST /v1/audio/transcriptions deepgram/nova-3
deepgram/nova-3Bắt đầu
Nova-3 là mô hình chuyển giọng nói thành văn bản đa dụng của Deepgram cho âm thanh đã ghi và truyền trực tiếp. Mô hình hỗ trợ nhận dạng đơn ngữ, chế độ chuyển đổi ngôn ngữ đa ngữ được xác định và keyterm prompting, trả về bản chép lời cùng thời gian từ và thông tin độ tin cậy.
- Đầu vào được chấp nhận
- Âm thanh
- Kết quả
- transcription
Có trên Ailoot · đầu vào & phương thức
Ailoot Ultra · Nhận dạng giọng nói POST /v1/audio/transcriptions
- Đầu vào
audio- Đầu ra
transcription- Định dạng đầu ra
- json
| Trường | Loại | Yêu cầu | Giá trị & giới hạn | Mặc định |
|---|---|---|---|---|
Trườngmodel | Loạistring | Yêu cầuBắt buộc | Giá trị & giới hạn deepgram/nova-3 | Mặc định— |
Trườnginput_audio | Loạiobject | Yêu cầuBắt buộc | Giá trị & giới hạn | Mặc định— |
Trườnglanguage | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngtemperature | Loạinumber | Yêu cầuKhông bắt buộc | Giá trị & giới hạn Tối thiểu: 0 Tối đa: 1 | Mặc định— |
Trườngresponse_format | Loạistring | Yêu cầuKhông bắt buộc | Giá trị & giới hạn json, verbose_json | Mặc địnhjson |
Trườngtimestamp_granularities | Loạiarray | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Trườngprovider | Loạiobject | Yêu cầuKhông bắt buộc | Giá trị & giới hạn | Mặc định— |
Tổ hợp tư liệu đầu vào
speech_to_text · Bắt buộc: actual matching-format audio file
Tham số phương thức và vòng đời
| Tham số | Hợp đồng |
|---|---|
Tham sốcontent_types | Hợp đồngapplication/json, multipart/form-data |
Tham sốrequired | Hợp đồngmodel, input_audio |
Tham sốmaterial_types | Hợp đồngaudio |
Tham sốJSON_audio | Hợp đồngbyte âm thanh thô thực tế ở dạng base64 cùng định dạng phù hợp |
Tham sốmultipart_required | Hợp đồngmodel, file |
Tham sốmultipart_cap_bytes | Hợp đồng26214400 |
Tham sốoptional_controls | Hợp đồnglanguage, temperature, response_format, timestamp_granularities, provider |
Tham sốdefault_response_format | Hợp đồngjson |
Tham sốoptional_features | Hợp đồngĐầu ra chi tiết, diarize/keyterms và âm thanh qua URL hoặc âm thanh nội tuyến dung lượng lớn hơn yêu cầu đúng khả năng và biểu giá của mô hình/nhà cung cấp. |
Vòng đời: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Giá trị task_id thực tế đã trả về hoặc bản ghi trong thư viện nội dung đa phương tiện
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Dùng mô hình chính xác và các trường đầu vào theo tài liệu.
Giữ lại toàn bộ phản hồi, mọi đầu ra thực tế và các ID gốc được trả về.
Bảng giá
Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.
- Chế độ nhanh
- Chưa chỉ định Khi chọn chế độ nhanh
- Chế độ Flex
- Chưa chỉ định Khi chọn chế độ flex
- Mức độ suy luận tối đa
- Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa
Mức phí Ailoot
Giá theo cấu hình
Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.
| Cấu hình | Biểu mức phí | Đơn vị tính phí | Phí |
|---|---|---|---|
| Cấu hìnhGiá cơ sở cho token | Biểu mức phíMức phí cơ bản | Đơn vị tính phí— | Phí Đầu vào · Token đầu vào — / 1K token Đầu ra · Token đầu ra — / 1K token Đầu vào · Đọc bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ — / 1K token |
| Cấu hìnhUltra | Biểu mức phí— | Đơn vị tính phímỗi giây âm thanh đầu vào | Phí Đầu vào · Giây âm thanh đầu vào $0.0001433333333334 mỗi giây âm thanh đầu vào |
Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →
Chi tiết giá cước tham chiếu
Biểu tham chiếu cấp mô hình không thay đổi việc chọn phương thức, báo giá hoặc khoản phí. Khoản phí đang áp dụng dùng mức phí phương thức Ailoot đã chọn.
Deepgram: Nova-3
Giá theo cấu hình
| Cấu hình | Điều kiện tính phí | Phí |
|---|---|---|
| Cấu hìnhDeepgram: Nova-3 · Cấu hình mặc định | Điều kiện tính phíCấu hình mặc định | Phí Đầu vào · Giây âm thanh đầu vào ≈0,000143 US$ mỗi giây âm thanh đầu vào |
Ví dụ yêu cầu
Ailoot Ultra · Nhận dạng giọng nói
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'deepgram/nova-3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Nhận và lưu kết quả
Ailoot Ultra · Nhận dạng giọng nói
json
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Lưu tất cả kết quả đã hoàn tất
Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.
Toàn bộ JSON gốc, mọi văn bản/đoạn/từ/người nói/dấu thời gian và mức sử dụng hiện có.
Nếu cần kiểm tra phản hồi gốc
Giữ nguyên operation_id/X-Client-Request-ID và phản hồi ban đầu. Đọc các bản ghi tác vụ/tài sản thực tế thuộc quyền sở hữu mà không gửi lại; không dựng URL thăm dò âm thanh riêng.
Trường phản hồi
| Trường | Loại |
|---|---|
Trườngtext | Loạistring |
Trườngusage | Loạiobject |
Trườngsegments[] | Loạiobject |
Trườngwords[] | Loạiobject |
Bí danh
Bí danh mô hình
Ailoot Ultra deepgram/nova-3
Bí danh đường dẫn phương thức
Dùng các đường dẫn phương thức hiển thị ở trên.
ID gọi liên quan
FAQ · Deepgram: Nova-3
- Có những đầu vào và kết quả nào?
POST /v1/audio/transcriptions·deepgram/nova-3:audio→transcription- Yêu cầu sử dụng những trường nào?
POST /v1/audio/transcriptions·deepgram/nova-3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Áp dụng những giới hạn nào?
POST /v1/audio/transcriptions·deepgram/nova-3:temperature.minimum:0;temperature.maximum:1