NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B của NVIDIA chép lời nói thành văn bản có dấu câu bằng bộ mã hóa dạng luồng có cơ chế bộ nhớ đệm. Mô hình hỗ trợ chỉ định ngôn ngữ rõ ràng hoặc tự động phát hiện, với 32 biến thể ngôn ngữ sẵn sàng cho chép lời và tám biến thể cần được thích ứng.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Về mô hình

Mô tả này trình bày khả năng của mô hình. Đầu vào, đầu ra và tùy chọn có trên Ailoot được liệt kê bên dưới cho phương thức đã chọn.

Nemotron 3.5 ASR Streaming Multilingual 0.6B là mô hình nhận dạng giọng nói có 600 triệu tham số của NVIDIA, dành cho chép lời trực tiếp và xử lý âm thanh đã ghi. Mô hình mở rộng dòng xử lý luồng tiếng Anh bằng khả năng điều kiện hóa theo mã ngôn ngữ. Lời nói được chuyển thành văn bản trong ngôn ngữ đầu vào, với dấu câu và cách viết hoa được tích hợp vào đầu ra.

Phạm vi ngôn ngữ của nhà sản xuất có ba cấp. Mười chín biến thể sẵn sàng cho chép lời bao gồm tiếng Anh Mỹ và Anh, tiếng Tây Ban Nha Mỹ và Tây Ban Nha, tiếng Pháp tại Pháp và Canada, tiếng Ý, tiếng Bồ Đào Nha Brazil và Bồ Đào Nha, tiếng Hà Lan, Đức, Thổ Nhĩ Kỳ, Nga, Ả Rập, Hindi, Nhật, Hàn, Việt và Ukraina. Mười ba biến thể có độ bao phủ rộng bổ sung tiếng Ba Lan, Thụy Điển, Séc, Na Uy Bokmål, Đan Mạch, Bulgaria, Phần Lan, Croatia, Slovakia, Trung Quốc phổ thông, Hungary, Romania và Estonia. Tổng cộng 32 biến thể này tạo được bản chép lời mà không cần tinh chỉnh thêm.

Tám biến thể sẵn sàng cho thích ứng — tiếng Hy Lạp, Litva, Latvia, Malta, Slovenia, Hebrew, Thái và Na Uy Nynorsk — được bộ tách token nhận biết nhưng cần tinh chỉnh bằng dữ liệu trong lĩnh vực mục tiêu để có đầy đủ khả năng chép lời. Vì vậy, con số 40 biến thể ngôn ngữ của nhà sản xuất không có nghĩa cả bốn mươi đều có cùng khả năng ngay khi sử dụng bản gốc. Checkpoint đã tùy chỉnh là sản phẩm riêng, khác với mô hình cơ sở.

Kiến trúc kết hợp bộ mã hóa FastConformer 24 lớp có cơ chế bộ nhớ đệm với bộ giải mã RNN-T. Mô hình giữ trạng thái chú ý và tích chập của bộ mã hóa từ các khung trước, xử lý từng khối âm thanh mới mà không phải liên tục tính lại các cửa sổ chồng lấn. Tín hiệu mã ngôn ngữ được cung cấp cùng biểu diễn âm học để điều kiện hóa bản chép lời hoặc cho phép mô hình suy ra ngôn ngữ.

Cấu hình NeMo của NVIDIA quy định các kích thước khối 80, 160, 320, 560 và 1.120 mili giây. Thiết lập chú ý kiểm soát lượng âm thanh ở phía sau mà một khối tiếp nhận trước khi xuất văn bản, cho phép tác vụ cân bằng thời gian chờ với ngữ cảnh âm học. Đây là các cấu hình xử lý luồng của nhà sản xuất, không phải cam kết về thời gian phản hồi đầu cuối; một bản triển khai có thể chỉ cung cấp tập con mà nó hỗ trợ.

Chuẩn bị âm thanh WAV đơn kênh ở tần số lấy mẫu 16 kHz của bộ xử lý do nhà sản xuất cung cấp. Khi biết ngôn ngữ, hãy dùng điều kiện hóa theo biến thể tương ứng; chế độ tự động phát hiện ngôn ngữ đang được nói. Ví dụ quy trình cơ bản mặc định sử dụng lời nhắc tiếng Anh Mỹ, vì vậy cần chủ động cấu hình hành vi đa ngôn ngữ thay vì suy ra từ ví dụ đó.

Ở chế độ tự động, quy trình của nhà sản xuất có thể thêm thẻ ngôn ngữ sau dấu câu cuối cùng của bản chép lời. Giữ thẻ giúp ứng dụng xử lý lưu lượng nhiều ngôn ngữ biết được ngôn ngữ; loại bỏ thẻ sẽ trả về văn bản chép lời thuần. Khi hiển thị hoặc xử lý kết quả, giữ sự phân biệt giữa các từ được nhận dạng, dấu câu của chúng và siêu dữ liệu ngôn ngữ này.

Ứng dụng phụ đề có thể cung cấp âm thanh theo thứ tự, thu thập bản chép lời và dùng văn bản hoàn chỉnh để hiển thị hoặc xử lý tiếp. Ứng dụng giọng nói có thể chuyển lời nói đã nhận dạng sang giai đoạn hiểu ngôn ngữ. Công việc phân tích cuộc gọi có thể giữ bản ghi gốc cùng bản chép lời để tên, số và thuật ngữ chưa quen vẫn có thể được kiểm tra. Mô hình ASR cung cấp bản chép lời; tóm tắt, thực hiện hành động và tạo giọng nói là những giai đoạn riêng của ứng dụng.

NVIDIA huấn luyện mô hình trên hỗn hợp dữ liệu giọng nói công khai và độc quyền, với nhãn do con người và hệ thống tạo ra được chuẩn hóa thành văn bản có dấu câu, viết hoa đúng. Hướng dẫn thích ứng nhấn mạnh việc đồng bộ nhãn ngôn ngữ và phong cách văn bản, rồi đánh giá trên âm thanh được giữ riêng để kiểm tra ở thiết lập luồng dự kiến sử dụng. Hướng dẫn mô tả thích ứng theo ngôn ngữ, giọng địa phương và lĩnh vực mà không gán những kết quả tùy chỉnh đó cho checkpoint ban đầu.

Thẻ mô hình gắn độ dài bản ghi thực tế với bộ nhớ sẵn có, thay vì công bố một trần thời lượng chung. Phân biệt phiên bản đa ngôn ngữ với mô hình chỉ hỗ trợ tiếng Anh, đồng thời giữ ngôn ngữ và cấu hình luồng đã chọn cùng kết quả chép lời. Sản phẩm đầu ra là văn bản được nhận dạng, có thể kèm siêu dữ liệu ngôn ngữ của nhà sản xuất, thay vì một câu trả lời hội thoại tổng quát.

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

NVIDIA /nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Bắt đầu

Đầu vào được chấp nhận: Âm thanh
Kết quả: Văn bản

Có trên Ailoot · đầu vào & phương thức

Ailoot Ultra · Phiên âm POST /v1/audio/transcriptions

Đầu vào: audio
Đầu ra: text

Trường	Loại	Yêu cầu	Giá trị & giới hạn	Mặc định
Trường`model`	Loại`string`	Yêu cầuBắt buộc	Giá trị & giới hạn nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b	Mặc định—
Trường`input_audio`	Loại`object`	Yêu cầuBắt buộc	Giá trị & giới hạn	Mặc định—
Trường`language`	Loại`string`	Yêu cầuKhông bắt buộc	Giá trị & giới hạn	Mặc định—
Trường`temperature`	Loại`number`	Yêu cầuKhông bắt buộc	Giá trị & giới hạn Tối thiểu: 0 Tối đa: 1	Mặc định—
Trường`response_format`	Loại`string`	Yêu cầuKhông bắt buộc	Giá trị & giới hạn json, verbose_json	Mặc địnhjson
Trường`timestamp_granularities`	Loại`array`	Yêu cầuKhông bắt buộc	Giá trị & giới hạn	Mặc định—
Trường`provider`	Loại`object`	Yêu cầuKhông bắt buộc	Giá trị & giới hạn	Mặc định—

Tham số phương thức và vòng đời

Tham số	Hợp đồng
Tham số`content_type`	Hợp đồngapplication/json
Tham số`required`	Hợp đồngmodel, input_audio
Tham số`material_types`	Hợp đồngaudio
Tham số`material_conditions`	Hợp đồngĐọc tệp WAV thực tế và mã hóa các byte thật cho input_audio JSON đã khai báo; không quảng bá tuyến multipart cho khai báo chính xác chỉ dùng JSON này.

Vòng đời: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Giá trị task_id thực tế đã trả về hoặc bản ghi trong thư viện nội dung đa phương tiện

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Bảng giá

Cách tính phí cuối cùng

Các đơn giá hiển thị dùng để ước tính chi phí trước khi tạo. Khoản phí cuối cùng được tính dựa trên chi phí ghi nhận cho lượt tạo gốc. Thời lượng đầu ra đo được và số lượng dự kiến không phải là số lượng cuối cùng dùng để tính phí.

Thông tin biểu giá không bổ sung tùy chọn yêu cầu. Các tham số được hỗ trợ nằm trong phương thức đã chọn.

Chế độ nhanh: Chưa chỉ định Khi chọn chế độ nhanh
Chế độ Flex: Chưa chỉ định Khi chọn chế độ flex
Mức độ suy luận tối đa: Chưa chỉ định Khi áp dụng mức điều chỉnh mặc định (default) cho mức độ suy luận tối đa

Mức phí ước tính để so sánh

Giá theo cấu hình

Đối chiếu từng khoản phí với điều kiện hiển thị. Dùng một mức phí cho mỗi nhóm cấu hình thay thế.

Cấu hình	Biểu mức phí	Số lượng dự báo	Đơn vị tính phí	Phí
Cấu hìnhGiá cơ sở cho token	Biểu mức phíMức phí cơ bản	Số lượng dự báo—	Đơn vị tính phí—	Phí Đầu vào · Token đầu vào · Ước tính chỉ để so sánh — / 1K token Đầu ra · Token đầu ra · Ước tính chỉ để so sánh — / 1K token Đầu vào · Đọc bộ nhớ đệm · Ước tính chỉ để so sánh — / 1K token Đầu vào · Ghi bộ nhớ đệm · Ước tính chỉ để so sánh — / 1K token Đầu vào · Ghi bộ nhớ đệm, 1 giờ · Ước tính chỉ để so sánh — / 1K token
Cấu hìnhGiây âm thanh đầu vào	Biểu mức phí—	Số lượng dự báo—	Đơn vị tính phímỗi giây âm thanh đầu vào	Phí Đầu vào · Giây âm thanh đầu vào · Ước tính chỉ để so sánh $0.00000666 mỗi giây âm thanh đầu vào
Cấu hìnhChi phí tạo ước tính	Biểu mức phí—	Số lượng dự báoước tính cho một lần tạo	Đơn vị tính phí—	Phí Đầu ra · Chi phí tạo ước tính · Ước tính chỉ để so sánh $0.00000666 ước tính trước khi tạo Ước tính này không phải là khoản phí bổ sung hay mức giá cố định cho lượt tạo đã hoàn tất.

Ailoot tạm giữ một khoản ước tính trước yêu cầu. Sau khi có kết quả, phí cuối cùng được quyết toán theo mức sử dụng đo được. Việc quyết toán khi truyền luồng dùng bản ghi mức sử dụng cuối cùng. Cách hoạt động của cơ chế tạm giữ và quyết toán →

Ví dụ yêu cầu

Ailoot Ultra · Phiên âm

curl · nội dung yêu cầu nguyên bản chính xác và kết quả đầy đủ

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

Nhận và lưu kết quả

Ailoot Ultra · Phiên âm

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Lượt đọc nội dung khác

Đọc tài nguyên hiện có thuộc về bạn

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

Lưu tất cả kết quả đã hoàn tất

Lưu mọi phản hồi hoàn chỉnh, tệp và phần nội dung được trả về.

Giữ lại toàn bộ phản hồi và các header, mọi đầu ra thực tế, các định danh gốc đã trả về và mọi trường usage. Khôi phục thao tác gốc mà không gửi lại yêu cầu tạo.

Nếu cần kiểm tra phản hồi gốc

Giữ lại X-Client-Request-ID đã trả về để đối soát. Chỉ truy xuất theo các giá trị task_id/asset_id thực tế đã trả về hoặc từ thư viện nội dung đa phương tiện thuộc quyền sở hữu của bạn; tuyệt đối không tạo URL tác vụ từ ID thao tác và không gửi lại yêu cầu tạo.

Trường phản hồi

Trường	Loại
Trường`text`	Loại
Trường`usage`	Loại
Trường`segments[]`	Loại
Trường`words[]`	Loại
Trường`speaker fields`	Loại
Trường`timestamps`	Loại

Bí danh

Bí danh mô hình

Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

Bí danh đường dẫn phương thức

Dùng các đường dẫn phương thức hiển thị ở trên.

ID gọi liên quan

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Có những đầu vào và kết quả nào?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: audio → text
Yêu cầu sử dụng những trường nào?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
Áp dụng những giới hạn nào?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B