NVIDIA: Parakeet TDT 0.6B v3
NVIDIA Parakeet TDT 0.6B v3 – 600M parametrų kalbos atpažinimo modelis, skirtas 25 Europos kalboms ir automatiškai aptinkantis kalbą. Jis pateikia transkripcijas su skyryba, palaiko žodžių bei segmentų laiko žymas, o ilgo garso režimai susieti su gamintojo dėmesio konfigūracija.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Parakeet TDT 0.6B v3 – NVIDIA daugiakalbis kalbos atpažinimo modelis, turintis 600 milijonų parametrų. Jis išplečia tik anglų kalbai skirtą v2 modelį iki 25 Europos kalbų ir automatiškai aptinka garso kalbą be atskiros kalbos užuominos. Rezultatas – kalbos transkripcija su skyryba ir didžiosiomis raidėmis.
Palaikomos kalbos yra bulgarų, kroatų, čekų, danų, olandų, anglų, estų, suomių, prancūzų, vokiečių, graikų, vengrų, italų, latvių, lietuvių, maltiečių, lenkų, portugalų, rumunų, slovakų, slovėnų, ispanų, švedų, rusų ir ukrainiečių. Šis sąrašas priklauso v3 versijai; kiti Parakeet dekoderių tipai ir kalbiniai variantai yra atskiri modeliai.
Architektūra sujungia FastConformer koduotuvą su žetonų ir trukmių transduktoriaus dekoderiu. Koduotuvas akustinį signalą paverčia reprezentacijomis; dekoderis prognozuoja teksto žetonus kartu su trukmėmis, reikalingomis judėti per garso kadrus. Šis TDT veikimas jį skiria nuo šeimos CTC ir įprastų RNN-T dekoderių.
Paruoškite vieno kanalo garsą, kurio diskretizavimo dažnis yra 16 kHz. Gamintojo tiesioginiai įvesties formatai yra WAV ir FLAC, o jo įgyvendinimo pavyzdžiuose procesorius paruošia garso bangos signalą atpažinimui. Įrašo identifikatorių ir pirminį garsą laikykite kartu su grąžintu tekstu, kad transkripciją būtų galima patikrinti arba susieti su šaltiniu pagal laiką.
Laiko žymos papildo atpažintą kalbą laiko informacija. NVIDIA NeMo pavyzdys, įjungus laiko žymų generavimą, grąžina simbolių, žodžių ir segmentų laikus. Subtitrų ar archyvo programa gali naudoti segmentų ribas ištraukai susieti su įrašu arba žodžių laikus konkrečiai frazei rasti. Transkripcija ir jos laiko laukai yra skirtingos rezultato dalys ir turi išlikti susietos.
Ilgiems įrašams svarbi dėmesio konfigūracija. Gamintojas aprašo iki 24 minučių su visu dėmesiu 80 GB A100 įrenginyje ir iki trijų valandų su vietiniu dėmesiu. Jo ilgos formos pavyzdys perjungia koduotuvą į vietinį dėmesį su apribotu kairiuoju ir dešiniuoju kontekstu. Šios trukmės apibūdina konkrečias gamintojo konfigūracijas, o ne vieną besąlyginę ribą kiekvienam diegimui.
Gamintojas taip pat skelbia dalimis atliekamos inferencijos darbo eigą srautiniam naudojimui. Jo pavyzdyje apibrėžiama dalies trukmė ir kairysis bei dešinysis garso kontekstas aplink kiekvieną dalį. Tai atskiras apdorojimo metodas, besiskiriantis nuo savąją podėlio būseną naudojančio Nemotron srautinio modelio. Rinkdama įrašo transkripciją per kelias dalis, programa turėtų išlaikyti pasirinktą metodą ir pirminį laiko atskaitos pagrindą.
Mokymo duomenų mišinys apima 10 000 valandų žmonių transkribuotos kalbos ir 660 000 valandų pseudopažymėtų Granary duomenų, išsaugant skyrybą ir didžiąsias raides. Gamintojas taip pat palaiko papildomą šio išleisto kontrolinio taško mokymą su kitu kalbos duomenų rinkiniu pagal dokumentuotą modelio darbo eigą; papildomai mokytas kontrolinis taškas išlieka atskiras nuo bazinio v3 modelio. Todėl modelio teksto išvestis tinka kaip kalbos pavertimo tekstu etapas didesnėje darbo eigoje. Susitikimų archyvas gali pridėti transkripciją prie įrašo; paieškos programa gali indeksuoti atpažintą ištrauką; subtitravimo įrankis gali naudoti grąžintus laiko metaduomenis.
Atpažinimo kokybė priklauso nuo kalbos, akcento, triukšmo ir kalbėjimo pobūdžio. Gamintojas konkrečiai pažymi, kad mokymo duomenyse nebuvęs žodynas gali būti neatpažintas, o pavieniai žodžiai ar neužbaigti sakiniai suteikia silpnesnį kontekstą. Išsaugokite pirminį garsą vardams ir specializuotiems terminams tikrinti, užuot nepatikimą atpažinimą pavertę patvirtintu faktu.
Naudingas rezultatas yra transkripcija su prašyta laiko informacija. Santraukos, vertimai, kalbėtojų analizė ir veiksmai yra atskiros programos užduotys, o ne funkcijos, kurias savaime reikštų kalbos atpažinimo modelio pavadinimas. Išlaikykite v3 tapatybę ir gamintojo dėmesio režimą atskirai nuo kitų kontrolinių taškų bei konvertuotų ar kvantizuotų artefaktų.
Ailoot Ultra · Transkribavimas POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3
nvidia/parakeet-tdt-0.6b-v3Pradžia
NVIDIA Parakeet TDT 0.6B v3 – 600M parametrų kalbos atpažinimo modelis, skirtas 25 Europos kalboms ir automatiškai aptinkantis kalbą. Jis pateikia transkripcijas su skyryba, palaiko žodžių bei segmentų laiko žymas, o ilgo garso režimai susieti su gamintojo dėmesio konfigūracija.
- Leidžiamos įvestys
- Garsas
- Rezultatai
- Tekstas
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Transkribavimas POST /v1/audio/transcriptions
- Įvestis
audio- Išvestis
text
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos nvidia/parakeet-tdt-0.6b-v3 | Numatyta— |
Laukasinput_audio | Tipasobject | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukaslanguage | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 0 Didžiausia reikšmė: 1 | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos json, verbose_json | Numatytajson |
Laukastimestamp_granularities | Tipasarray | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input_audio |
Parametrasmaterial_types | Specifikacijaaudio |
Parametrasmaterial_conditions | SpecifikacijaNuskaitykite tikrą WAV failą ir užkoduokite tikruosius jo baitus deklaruotai JSON input_audio įvesčiai; šiai tiksliai vien JSON skirtai deklaracijai multipart maršrutas nesiūlomas. |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Planai
Kaip apskaičiuojamas galutinis mokestis
Rodomi įkainiai leidžia įvertinti kainą prieš generavimą. Galutinė suma apskaičiuojama pagal užfiksuotą pradinio generavimo kainą. Išmatuota rezultato trukmė ir prognozuoti kiekiai nėra galutinis apmokestinamas kiekis.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Numatomi įkainiai palyginimui
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Numatomas kiekis | Apskaitos vienetas | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Numatomas kiekis— | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Išvestis · Išvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Įvestis · Talpyklos skaitymas · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val · Įvertis tik palyginimui — / 1K tokenų |
| Konfigūracijaįvesties garso sekundė | Įkainių lentelė— | Numatomas kiekis— | Apskaitos vienetasuž įvesties garso sekundę | Mokestis Įvestis · įvesties garso sekundė · Įvertis tik palyginimui $0.00005 už įvesties garso sekundę |
| KonfigūracijaNumatoma generavimo kaina | Įkainių lentelė— | Numatomas kiekisvieno generavimo įvertis | Apskaitos vienetas— | Mokestis Išvestis · Numatoma generavimo kaina · Įvertis tik palyginimui $0.00005 įvertis prieš generavimą Šis įvertis nėra papildomas mokestis ar fiksuotas užbaigto generavimo įkainis. |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Transkribavimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Transkribavimas
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Kito turinio skaitymas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visą atsakymą ir antraštes, visus faktiškai gautus rezultatus, pradinius grąžintus identifikatorius ir visus naudojimo apskaitos laukus. Atkurkite prieigą prie pradinės operacijos pakartotinai neteikdami kūrimo užklausos.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite grąžintą X-Client-Request-ID duomenims sutikrinti. Tikrinkite tik faktiškai grąžintas task_id/asset_id reikšmes arba jums priklausančią medijos biblioteką; niekada nekurkite užduoties URL iš operacijos ID ir niekada pakartotinai neteikite kūrimo užklausos.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukastext | Tipas |
Laukasusage | Tipas |
Laukassegments[] | Tipas |
Laukaswords[] | Tipas |
Laukasspeaker fields | Tipas |
Laukastimestamps | Tipas |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · NVIDIA: Parakeet TDT 0.6B v3
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:audio→text- Kokius laukus naudoja užklausa?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Kokie apribojimai taikomi?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:temperature.minimum:0;temperature.maximum:1