NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
NVIDIA:n Nemotron 3.5 ASR Streaming Multilingual 0.6B litteroi puheen välimerkittyyn tekstiin välimuistitietoisella suoratoistoenkooderilla. Se tukee nimenomaista kieliehdollistusta tai automaattista tunnistusta: 32 kielialueversiota on valmiita litterointiin ja kahdeksan vaatii mukauttamista.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Nemotron 3.5 ASR Streaming Multilingual 0.6B on NVIDIA:n 600 miljoonan parametrin puheentunnistusmalli reaaliaikaiseen litterointiin ja tallennetun äänen työkuormiin. Se laajentaa englanninkielistä suoratoistosarjaa kielitunniste-ehdollistuksella. Puhe muuttuu syötekieliseksi tekstiksi, jonka tulosteeseen kuuluvat sisäänrakennetusti välimerkit ja oikea kirjainkoko.
Valmistajan kielikattavuudessa on kolme tasoa. Yhdeksäntoista litterointivalmista kielialueversiota kattavat Yhdysvaltain ja Britannian englannin, Yhdysvaltain ja Espanjan espanjan, Ranskan ja Kanadan ranskan, italian, Brasilian ja Portugalin portugalin, hollannin, saksan, turkin, venäjän, arabian, hindin, japanin, korean, vietnamin ja ukrainan. Kolmetoista laajan kattavuuden kielialueversiota lisäävät puolan, ruotsin, tšekin, norjan bokmålin, tanskan, bulgarian, suomen, kroatian, slovakin, mandariinikiinan, unkarin, romanian ja viron. Yhdessä nämä 32 kielialueversiota tuottavat litteroinnin ilman lisähienosäätöä.
Kahdeksan mukauttamiseen valmista kielialueversiota — kreikka, liettua, latvia, malta, sloveeni, heprea, thai ja norjan nynorsk — ovat tokenisoijan tunnistamia mutta vaativat toimialan sisäistä hienosäätöä täyden litteroinnin käyttöönottoon. Valmistajan 40 kielialueversion luku ei siis väitä, että kaikilla neljälläkymmenellä olisi sama valmiina käytettävä kyvykkyys. Mukautettu tarkistuspiste on perusmallista erillinen tuotos.
Arkkitehtuuri yhdistää 24-kerroksisen välimuistitietoisen FastConformer-enkooderin RNN-T-dekooderiin. Se säilyttää enkooderin huomiomekanismin ja konvoluutioiden tilat aiemmista kehyksistä ja käsittelee kunkin uuden äänilohkon laskematta päällekkäisiä ikkunoita toistuvasti uudelleen. Akustisen esityksen rinnalle annetaan kielitunnistesignaali, joka ehdollistaa litteroinnin tai antaa mallin päätellä kielen.
NVIDIA:n NeMo-kokoonpano dokumentoi lohkokoot 80, 160, 320, 560 ja 1120 millisekuntia. Huomioasetus määrää, kuinka paljon tulevaa ääntä lohko saa ennen tekstin tuottamista, jolloin tehtävä voi tasapainottaa odotusajan ja akustisen kontekstin. Nämä ovat valmistajan suoratoistokokoonpanoja eivätkä taattuja päästä päähän -vasteaikoja; toteutus voi tarjota oman tuetun osajoukkonsa.
Valmistele mono-WAV-ääni valmistajan äänenkäsittelykomponentin käyttämällä 16 kHz:n näytteenottotaajuudella. Kun kieli tunnetaan, käytä vastaavaa kielialue-ehdollistusta; automaattitila tunnistaa puhutun kielen. Perusputkiesimerkki käyttää oletusarvoisesti Yhdysvaltain englannin kehotetta, joten monikielinen toiminta tulee määrittää tarkoituksella sen sijaan, että se oletettaisiin tämän esimerkin perusteella.
Automaattitilassa valmistajan työnkulku voi lisätä kielitunnisteen litteroinnin päättävän välimerkin jälkeen. Tunnisteen säilyttäminen antaa kielen sekakielistä liikennettä käsittelevän sovelluksen käyttöön; sen poistaminen palauttaa puhtaan litterointitekstin. Säilytä ero tunnistettujen sanojen, niiden välimerkkien ja tämän kielimetatiedon välillä tulosta näytettäessä tai käsiteltäessä.
Tekstityssovellus voi syöttää äänen järjestyksessä, kerätä litteroinnin ja käyttää valmistunutta tekstiä näytössään tai jatkokäsittelyssä. Puhekäyttöliittymä voi välittää tunnistetun puheen kielenymmärrysvaiheeseensa. Puheluanalyysityö voi säilyttää alkuperäisen tallenteen ja litteroinnin yhdessä, jotta nimet, luvut ja vieraat termit pysyvät tarkastettavina. ASR-malli tuottaa litteroinnin; tiivistäminen, toimenpiteet ja puheen tuottaminen ovat sovelluksen erillisiä vaiheita.
NVIDIA kouluttaa mallin julkisen ja omisteisen puheaineiston sekoituksella, jonka ihmisen tekemät ja synteettiset merkinnät normalisoidaan välimerkittyyn tekstiin oikealla kirjainkoolla. Sen mukauttamisopas korostaa kielimerkintöjen ja tekstityylin vastaavuutta ja sen jälkeen erillisen arviointiäänen testaamista käyttöön tarkoitetulla suoratoistoasetuksella. Se kuvaa kieli-, aksentti- ja toimialamukauttamista tekemättä näistä mukautetuista tuloksista alkuperäisen tarkistuspisteen ominaisuuksia.
Mallikortti sitoo tallenteen käytännön pituuden saatavilla olevaan muistiin yhden yleispätevän kestorajan julkaisemisen sijaan. Pidä monikielinen versio erillään vain englanninkielisestä mallista ja säilytä valittu kieli sekä suoratoistokokoonpano litterointituloksen yhteydessä. Tuloksena syntyy tunnistettu teksti valinnaisine valmistajan kielimetatietoineen, ei yleinen keskusteluvastaus.
Ailoot Ultra · Litterointi POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bAloitus
NVIDIA:n Nemotron 3.5 ASR Streaming Multilingual 0.6B litteroi puheen välimerkittyyn tekstiin välimuistitietoisella suoratoistoenkooderilla. Se tukee nimenomaista kieliehdollistusta tai automaattista tunnistusta: 32 kielialueversiota on valmiita litterointiin ja kahdeksan vaatii mukauttamista.
- Hyväksytyt syötteet
- Ääni
- Tulokset
- Teksti
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Litterointi POST /v1/audio/transcriptions
- Syötetyypit
audio- Tulostyypit
text
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | Oletus— |
Kenttäinput_audio | Tyyppiobject | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttälanguage | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätemperature | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 0 Enimmäismäärä: 1 | Oletus— |
Kenttäresponse_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat json, verbose_json | Oletusjson |
Kenttätimestamp_granularities | Tyyppiarray | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat | Oletus— |
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input_audio |
Parametrimaterial_types | Sopimusaudio |
Parametrimaterial_conditions | SopimusLue todellinen WAV-tiedosto ja koodaa sen todelliset tavut määriteltyyn JSON input_audio -syötteeseen; tälle täsmälliselle, vain JSON-muotoa käyttävälle määrittelylle ei ilmoiteta multipart-reittiä. |
Elinkaari: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · todellisuudessa palautettu task_id tai mediakirjaston tietue
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Hinnoittelu
Lopullisen veloituksen laskenta
Näytettyjen hintojen avulla arvioidaan kustannukset ennen generointia. Lopullinen veloitus lasketaan alkuperäiselle generoinnille kirjatun kustannuksen perusteella. Lopullisena laskutettavana määränä ei käytetä tulosteen mitattua kestoa eikä ennustettuja määriä.
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Arvioidut vertailuhinnat
Hinnat asetusten mukaan
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Ennustettu määrä | Laskutusyksikkö | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Ennustettu määrä— | Laskutusyksikkö— | Veloitus Syöte · Syötetokenit · Arvio vain vertailua varten — / 1K tokenia Tuloste · Tulostokenit · Arvio vain vertailua varten — / 1K tokenia Syöte · Välimuistin luku · Arvio vain vertailua varten — / 1K tokenia Syöte · Välimuistiin kirjoitus · Arvio vain vertailua varten — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti · Arvio vain vertailua varten — / 1K tokenia |
| Asetuksetäänisyötteen sekunti | Hinnasto— | Ennustettu määrä— | Laskutusyksikkösyöteäänen sekuntia kohden | Veloitus Syöte · äänisyötteen sekunti · Arvio vain vertailua varten $0.00000666 syöteäänen sekuntia kohden |
| AsetuksetArvioitu luontikustannus | Hinnasto— | Ennustettu määräyhden generoinnin arvio | Laskutusyksikkö— | Veloitus Tuloste · Arvioidut generointikustannukset · Arvio vain vertailua varten $0.00000666 arvio ennen generointia Tämä arvio ei ole lisämaksu eikä valmistuneen generoinnin kiinteä hinta. |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Litterointi
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Vastaanota ja tallenna tulokset
Ailoot Ultra · Litterointi
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Muut sisällön lukukerrat
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä koko vastaus ja otsakkeet, jokainen todellinen tuloste, alkuperäiset palautetut tunnisteet ja kaikki käyttötietokentät. Selvitä alkuperäisen operaation tila lähettämättä luontipyyntöä uudelleen.
Jos alkuperäinen vastaus on tarkistettava
Säilytä palautettu X-Client-Request-ID täsmäytystä varten. Tee lukukyselyt vain todellisuudessa palautetuilla task_id/asset_id-arvoilla tai käytä omistamaasi mediakirjastoa; älä koskaan rakenna tehtävän URL-osoitetta operaation ID:n perusteella äläkä lähetä luontipyyntöä uudelleen.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttätext | Tyyppi |
Kenttäusage | Tyyppi |
Kenttäsegments[] | Tyyppi |
Kenttäwords[] | Tyyppi |
Kenttäspeaker fields | Tyyppi |
Kenttätimestamps | Tyyppi |
Aliakset
Mallin aliakset
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- Mitä kenttiä pyyntö käyttää?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Mitä rajoja sovelletaan?
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1