NVIDIA: Parakeet TDT 0.6B v3
Az NVIDIA Parakeet TDT 0.6B v3 egy 600 millió paraméteres beszédfelismerő modell 25 európai nyelvhez, automatikus nyelvfelismeréssel. Központozott átiratokat készít, és támogatja a szó- és szakaszszintű időbélyegeket; hosszú hanghoz használható módjai a fejlesztő figyelmi konfigurációjához kötődnek.
A modellről
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
A Parakeet TDT 0.6B v3 az NVIDIA 600 millió paraméteres, többnyelvű beszédfelismerő modellje. A kizárólag angol nyelvű v2 modellt 25 európai nyelvre bővíti, és külön nyelvi prompt nélkül automatikusan felismeri a hang nyelvét. Az eredmény a beszéd átirata, központozással és kis- és nagybetűk megfelelő használatával.
A támogatott nyelvek: bolgár, horvát, cseh, dán, holland, angol, észt, finn, francia, német, görög, magyar, olasz, lett, litván, máltai, lengyel, portugál, román, szlovák, szlovén, spanyol, svéd, orosz és ukrán. Ez a lista a v3 kiadáshoz tartozik; a Parakeet más dekódertípusai és nyelvi változatai külön modellek.
Az architektúra FastConformer kódolót és tokeneket és időtartamokat előrejelző transzducer dekódert kapcsol össze. A kódoló reprezentációkká alakítja az akusztikus jelet; a dekóder szövegtokeneket jelez előre a hangkereteken való előrehaladáshoz szükséges időtartamokkal együtt. Ez a TDT-működés különbözteti meg a család CTC és szokásos RNN-T dekódereitől.
Készítsen egycsatornás, 16 kHz mintavételű hangot. A gyártó közvetlen bemeneti formátumai a WAV és a FLAC, megvalósítási példái pedig feldolgozóegységgel készítik elő a hullámformát a felismeréshez. A felvétel azonosítóját és az eredeti hangot őrizze meg a visszaadott szöveg mellett, hogy az átirat ellenőrizhető vagy a forráshoz igazítható legyen.
Az időbélyegzés időzítési információval egészíti ki a felismert beszédet. Az NVIDIA NeMo-példája karakter-, szó- és szakaszszintű időzítést ad vissza, ha engedélyezve van az időbélyegek generálása. Egy feliratozó vagy archiváló alkalmazás a szakaszhatárokkal kapcsolhat egy szövegrészt a felvételhez, a szavak időzítésével pedig megkereshet egy adott kifejezést. Az átirat és az időzítési mezői az eredmény külön részei, ezért összekapcsolva kell őket megőrizni.
Hosszú felvételeknél számít a figyelmi konfiguráció. A gyártó egy 80 GB-os A100-on teljes figyelemmel legfeljebb 24 percet, lokális figyelemmel pedig legfeljebb három órát ír le. A hosszú felvételekre adott példája a kódolót korlátozott bal és jobb oldali kontextust használó lokális figyelemre állítja át. Ezek az időtartamok konkrét fejlesztői konfigurációkat írnak le, nem minden telepítésre feltétel nélkül érvényes közös korlátot.
A gyártó streaming használathoz blokkokra bontott inferencia-munkafolyamatot is közzétesz. Példája meghatározza a blokkhosszt, valamint az egyes blokkok előtti és utáni hangkontextust. Ez más feldolgozási eljárás, mint a natív, gyorsítótár-tudatos Nemotron streaming modellé. Az alkalmazásnak meg kell őriznie a választott eljárást és az eredeti időzítési referenciát, amikor egy felvétel átiratát több szakaszból gyűjti össze.
A tanítóadatok keveréke 10 000 órányi, emberek által átírt beszédet és 660 000 órányi, pszeudocímkézett Granary-adatot tartalmaz, a központozás és a kis- és nagybetűk használatának megőrzésével. A fejlesztő a dokumentált modell-munkafolyamaton keresztül azt is támogatja, hogy ezt a kiadott modellállapotot másik beszédadathalmazon finomhangolják; a hangolt modellállapot külön marad az alap v3 modelltől. A modell szöveges kimenete ezért alkalmas egy nagyobb munkafolyamat beszédet szöveggé alakító szakaszának. Egy megbeszélésarchívum a felvételhez csatolhatja az átiratot; egy keresőalkalmazás indexelheti a felismert szövegrészt; egy feliratozó eszköz felhasználhatja a visszaadott időzítési metaadatokat.
A felismerés minősége a nyelvtől, az akcentustól, a zajtól és a beszéd típusától függően változik. A fejlesztő külön megjegyzi, hogy a tanítás során nem szereplő szókincs felismerése elmaradhat, és az elszigetelt szavak vagy befejezetlen mondatok gyengébb kontextust adnak. Őrizze meg az eredeti hangot a nevek és szakkifejezések ellenőrzéséhez, ahelyett hogy egy bizonytalan felismerést igazolt tényként kezelne.
A hasznos eredmény az átirat a kért időzítési információkkal. Az összefoglalás, a fordítás, a beszélőelemzés és a műveletek külön alkalmazásfeladatok, nem a beszédfelismerő elnevezésből következő funkciók. A v3 azonosítóját és a fejlesztő figyelmi módját különítse el más modellállapotoktól, valamint az átalakított vagy kvantált változatoktól.
Ailoot Ultra · Hang átírása POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3
nvidia/parakeet-tdt-0.6b-v3Kezdő lépések
Az NVIDIA Parakeet TDT 0.6B v3 egy 600 millió paraméteres beszédfelismerő modell 25 európai nyelvhez, automatikus nyelvfelismeréssel. Központozott átiratokat készít, és támogatja a szó- és szakaszszintű időbélyegeket; hosszú hanghoz használható módjai a fejlesztő figyelmi konfigurációjához kötődnek.
- Elfogadott bemenetek
- Hang
- Eredmények
- Szöveg
Elérhető az Ailootban · bemenetek és metódusok
Ailoot Ultra · Hang átírása POST /v1/audio/transcriptions
- Bemenet
audio- Kimenet
text
| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok nvidia/parakeet-tdt-0.6b-v3 | Alapértelmezett— |
Mezőinput_audio | Típusobject | KövetelményKötelező | Értékek és korlátok | Alapértelmezett— |
Mezőlanguage | Típusstring | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőtemperature | Típusnumber | KövetelményOpcionális | Értékek és korlátok Minimum: 0 Maximum: 1 | Alapértelmezett— |
Mezőresponse_format | Típusstring | KövetelményOpcionális | Értékek és korlátok json, verbose_json | Alapértelmezettjson |
Mezőtimestamp_granularities | Típusarray | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőprovider | Típusobject | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Metódus paraméterei és életciklusa
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, input_audio |
Paramétermaterial_types | Szerződésaudio |
Paramétermaterial_conditions | SzerződésOlvasson be tényleges WAV-fájlt, és kódolja a valós bájtjait a deklarált JSON input_audio bemenethez; ehhez a pontosan csak JSON-t engedő deklarációhoz nem hirdetünk multipart útvonalat. |
Életciklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · A ténylegesen visszaadott task_id vagy a médiatár bejegyzése
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Díjcsomagok
A végső díj számítása
A megjelenített díjtételek a generálás előtti költségbecsléshez szolgálnak. A végleges díj az eredeti generáláshoz rögzített költségből számítódik. A kimenet mért időtartama és az előre jelzett mennyiségek nem azonosak a véglegesen elszámolandó mennyiséggel.
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
- Gyors mód
- Nincs megadva Ha a gyors mód van kiválasztva
- Flex mód
- Nincs megadva Ha a flex mód van kiválasztva
- Maximális gondolkodási ráfordítás
- Nincs megadva Ha a maximális gondolkodási ráfordításra a default beállításhoz tartozó korrekció vonatkozik
Becsült díjak összehasonlításhoz
Árak beállításonként
Minden díjat a megjelenített feltételekhez rendeljen. Az alternatív beállítások minden csoportjához egy díjtételt használjon.
| Beállítás | Díjtáblázat | Előre jelzett mennyiség | Elszámolási egység | Díj |
|---|---|---|---|---|
| BeállításTokenek alapdíjai | DíjtáblázatAlapdíj | Előre jelzett mennyiség— | Elszámolási egység— | Díj Bemenet · Bemeneti tokenek · Becslés, csak összehasonlításra — / 1K token Kimenet · Kimeneti tokenek · Becslés, csak összehasonlításra — / 1K token Bemenet · Gyorsítótár olvasása · Becslés, csak összehasonlításra — / 1K token Bemenet · Írás a gyorsítótárba · Becslés, csak összehasonlításra — / 1K token Bemenet · Írás a gyorsítótárba, 1 óra · Becslés, csak összehasonlításra — / 1K token |
| Beállításbemeneti hangmásodperc | Díjtáblázat— | Előre jelzett mennyiség— | Elszámolási egységbemeneti hangmásodpercenként | Díj Bemenet · bemeneti hangmásodperc · Becslés, csak összehasonlításra $0.00005 bemeneti hangmásodpercenként |
| BeállításA generálás becsült költsége | Díjtáblázat— | Előre jelzett mennyiségbecslés egy generálásra | Elszámolási egység— | Díj Kimenet · Becsült generálási költség · Becslés, csak összehasonlításra $0.00005 becslés a generálás előtt Ez a becslés nem jelent további díjat, és nem rögzített díjszabás az elkészült generálásra. |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
Példakérések
Ailoot Ultra · Hang átírása
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Eredmények fogadása és mentése
Ailoot Ultra · Hang átírása
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
További tartalomlekérések
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Őrizzen meg minden elkészült eredményt
Őrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizze meg a teljes választ és a fejléceket, minden tényleges kimenetet, az eredetileg visszaadott azonosítókat és az összes használati adatmezőt. Az eredeti műveletet állítsa helyre, a létrehozási kérés újbóli beküldése nélkül.
Ha az eredeti választ ellenőrizni kell
Őrizze meg a visszaadott X-Client-Request-ID értéket az egyeztetéshez. Csak a ténylegesen visszaadott task_id/asset_id értékekkel kérdezzen le, vagy használja a saját médiatárat; soha ne állítson össze feladat-URL-t a műveletazonosítóból, és soha ne küldje be újra a létrehozási kérést.
Válaszmezők
| Mező | Típus |
|---|---|
Mezőtext | Típus |
Mezőusage | Típus |
Mezősegments[] | Típus |
Mezőwords[] | Típus |
Mezőspeaker fields | Típus |
Mezőtimestamps | Típus |
Álnevek
Modell álnevei
Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3
Metódusútvonalak álnevei
Használja a fent látható metódusútvonalakat.
Kapcsolódó modellazonosítók
FAQ · NVIDIA: Parakeet TDT 0.6B v3
- Milyen bemenetek és eredmények érhetők el?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:audio→text- Mely mezőket használja a kérés?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Milyen korlátok érvényesek?
POST /v1/audio/transcriptions·nvidia/parakeet-tdt-0.6b-v3:temperature.minimum:0;temperature.maximum:1