A Nemotron 3.5 ASR Streaming Multilingual 0.6B az NVIDIA 600 millió paraméteres beszédfelismerő modellje élő átíráshoz és rögzített hanganyagok feldolgozásához. Az angol streaming modellvonalat nyelvazonosító alapján történő feltételes működéssel bővíti. A beszéd a bemenet nyelvén válik szöveggé, és a kimenet eleve tartalmazza a központozást, valamint a megfelelő kis- és nagybetűket.
A gyártó nyelvi lefedettsége három szintből áll. Tizenkilenc, átírásra kész nyelvi-területi változat fedi le az amerikai és brit angolt, az amerikai és spanyolországi spanyolt, a franciaországi és kanadai franciát, az olaszt, a brazíliai és portugáliai portugált, a hollandot, a németet, a törököt, az oroszt, az arabot, a hindit, a japánt, a koreait, a vietnámit és az ukránt. Tizenhárom széles körű lefedettségű változat adja hozzá a lengyelt, a svédet, a csehet, a norvég bokmålt, a dánt, a bolgárt, a finnt, a horvátot, a szlovákot, a mandarint, a magyart, a románt és az észtet. Ez a 32 nyelvi-területi változat együtt további finomhangolás nélkül készít átiratot.
Nyolc, adaptálásra kész nyelvi-területi változatot – a görögöt, a litvánt, a lettet, a máltait, a szlovént, a hébert, a thait és a norvég nynorskot – a tokenizáló felismer, de a teljes átírás lehetővé tételéhez célterületi finomhangolás szükséges. A fejlesztő 40 nyelvi-területi változatra vonatkozó száma tehát nem azt állítja, hogy mind a negyven ugyanazzal az azonnal használható képességgel rendelkezik. A testreszabott modellállapot az alapmodelltől különálló eredmény.
Az architektúra egy 24 rétegű, gyorsítótár-tudatos FastConformer kódolót kapcsol össze egy RNN-T dekóderrel. Megőrzi a kódoló korábbi keretekből származó figyelmi és konvolúciós állapotait, és minden új hangblokkot az átfedő ablakok ismételt újraszámítása nélkül dolgoz fel. Az akusztikus reprezentáció mellett nyelvazonosító jelet is kap, amely meghatározza az átirat nyelvi feltételét, vagy lehetővé teszi, hogy a modell következtesse ki a nyelvet.
Az NVIDIA NeMo-konfigurációja 80, 160, 320, 560 és 1120 milliszekundumos blokkméreteket dokumentál. A figyelmi beállítás szabályozza, mennyi későbbi hangot kap egy blokk a szöveg kiadása előtt, így a feladat egyensúlyt találhat a várakozási idő és az akusztikus kontextus között. Ezek fejlesztői streaming konfigurációk, nem garantált teljes válaszidők; egy megvalósítás a saját támogatott részhalmazukat teheti elérhetővé.
Készítsen monó WAV hangot a fejlesztő feldolgozóegységének 16 kHz-es mintavételi frekvenciájával. Ha a nyelv ismert, a megfelelő nyelvi-területi változatot adja meg feltételként; az automatikus mód felismeri a beszélt nyelvet. Az alap feldolgozási példa alapértelmezés szerint amerikai angol promptot használ, ezért a többnyelvű működést tudatosan be kell állítani, nem szabad a példából adottnak tekinteni.
Automatikus módban a fejlesztő munkafolyamata nyelvcímkét fűzhet az átirat mondatzáró írásjele után. A címke megőrzése elérhetővé teszi a nyelvet a vegyes nyelvű forgalmat kezelő alkalmazásnak; az eltávolítása tiszta átiratszöveget ad. Az eredmény megjelenítésekor vagy feldolgozásakor őrizze meg a felismert szavak, a központozásuk és e nyelvi metaadat közötti különbséget.
Egy feliratozó alkalmazás sorrendben adagolhatja a hangot, gyűjtheti az átiratot, és a lezárt szöveget felhasználhatja megjelenítéshez vagy további feldolgozáshoz. Egy hangalapú alkalmazás a felismert beszédet továbbadhatja a nyelvértelmezési szakaszának. A híváselemzés együtt őrizheti meg az eredeti felvételt és az átiratot, hogy a nevek, számok és ismeretlen kifejezések ellenőrizhetők maradjanak. Az ASR-modell az átiratot szolgáltatja; az összefoglalás, a műveletek és a beszédgenerálás az alkalmazás külön szakaszai.
Az NVIDIA a modellt nyilvános és saját beszédadatok keverékén tanítja, emberi és szintetikus címkékkel, amelyeket központozott, megfelelő kis- és nagybetűket használó szöveggé normalizáltak. Adaptálási útmutatója a nyelvcímkék és a szövegstílus egyeztetését hangsúlyozza, majd az elkülönített ellenőrző hanganyag értékelését a használatra szánt streaming beállítással. Nyelvi, akcentus- és szakterületi adaptálást ír le anélkül, hogy ezeket a testreszabott eredményeket az eredeti modellállapot tulajdonságainak tekintené.
A modellkártya a gyakorlatban feldolgozható felvételhosszt a rendelkezésre álló memóriához köti, nem ad meg egyetlen általános időtartamkorlátot. A többnyelvű kiadást különítse el a kizárólag angol nyelvű modelltől, és a kiválasztott nyelvet, valamint a streaming konfigurációt őrizze meg az átírási eredménnyel együtt. A kimeneti eredmény a felismert szöveg, a fejlesztő opcionális nyelvi metaadataival, nem pedig egy általános társalgási válasz.
", "aboutText": "A Nemotron 3.5 ASR Streaming Multilingual 0.6B az NVIDIA 600 millió paraméteres beszédfelismerő modellje élő átíráshoz és rögzített hanganyagok feldolgozásához. Az angol streaming modellvonalat nyelvazonosító alapján történő feltételes működéssel bővíti. A beszéd a bemenet nyelvén válik szöveggé, és a kimenet eleve tartalmazza a központozást, valamint a megfelelő kis- és nagybetűket.\n\nA gyártó nyelvi lefedettsége három szintből áll. Tizenkilenc, átírásra kész nyelvi-területi változat fedi le az amerikai és brit angolt, az amerikai és spanyolországi spanyolt, a franciaországi és kanadai franciát, az olaszt, a brazíliai és portugáliai portugált, a hollandot, a németet, a törököt, az oroszt, az arabot, a hindit, a japánt, a koreait, a vietnámit és az ukránt. Tizenhárom széles körű lefedettségű változat adja hozzá a lengyelt, a svédet, a csehet, a norvég bokmålt, a dánt, a bolgárt, a finnt, a horvátot, a szlovákot, a mandarint, a magyart, a románt és az észtet. Ez a 32 nyelvi-területi változat együtt további finomhangolás nélkül készít átiratot.\n\nNyolc, adaptálásra kész nyelvi-területi változatot – a görögöt, a litvánt, a lettet, a máltait, a szlovént, a hébert, a thait és a norvég nynorskot – a tokenizáló felismer, de a teljes átírás lehetővé tételéhez célterületi finomhangolás szükséges. A fejlesztő 40 nyelvi-területi változatra vonatkozó száma tehát nem azt állítja, hogy mind a negyven ugyanazzal az azonnal használható képességgel rendelkezik. A testreszabott modellállapot az alapmodelltől különálló eredmény.\n\nAz architektúra egy 24 rétegű, gyorsítótár-tudatos FastConformer kódolót kapcsol össze egy RNN-T dekóderrel. Megőrzi a kódoló korábbi keretekből származó figyelmi és konvolúciós állapotait, és minden új hangblokkot az átfedő ablakok ismételt újraszámítása nélkül dolgoz fel. Az akusztikus reprezentáció mellett nyelvazonosító jelet is kap, amely meghatározza az átirat nyelvi feltételét, vagy lehetővé teszi, hogy a modell következtesse ki a nyelvet.\n\nAz NVIDIA NeMo-konfigurációja 80, 160, 320, 560 és 1120 milliszekundumos blokkméreteket dokumentál. A figyelmi beállítás szabályozza, mennyi későbbi hangot kap egy blokk a szöveg kiadása előtt, így a feladat egyensúlyt találhat a várakozási idő és az akusztikus kontextus között. Ezek fejlesztői streaming konfigurációk, nem garantált teljes válaszidők; egy megvalósítás a saját támogatott részhalmazukat teheti elérhetővé.\n\nKészítsen monó WAV hangot a fejlesztő feldolgozóegységének 16 kHz-es mintavételi frekvenciájával. Ha a nyelv ismert, a megfelelő nyelvi-területi változatot adja meg feltételként; az automatikus mód felismeri a beszélt nyelvet. Az alap feldolgozási példa alapértelmezés szerint amerikai angol promptot használ, ezért a többnyelvű működést tudatosan be kell állítani, nem szabad a példából adottnak tekinteni.\n\nAutomatikus módban a fejlesztő munkafolyamata nyelvcímkét fűzhet az átirat mondatzáró írásjele után. A címke megőrzése elérhetővé teszi a nyelvet a vegyes nyelvű forgalmat kezelő alkalmazásnak; az eltávolítása tiszta átiratszöveget ad. Az eredmény megjelenítésekor vagy feldolgozásakor őrizze meg a felismert szavak, a központozásuk és e nyelvi metaadat közötti különbséget.\n\nEgy feliratozó alkalmazás sorrendben adagolhatja a hangot, gyűjtheti az átiratot, és a lezárt szöveget felhasználhatja megjelenítéshez vagy további feldolgozáshoz. Egy hangalapú alkalmazás a felismert beszédet továbbadhatja a nyelvértelmezési szakaszának. A híváselemzés együtt őrizheti meg az eredeti felvételt és az átiratot, hogy a nevek, számok és ismeretlen kifejezések ellenőrizhetők maradjanak. Az ASR-modell az átiratot szolgáltatja; az összefoglalás, a műveletek és a beszédgenerálás az alkalmazás külön szakaszai.\n\nAz NVIDIA a modellt nyilvános és saját beszédadatok keverékén tanítja, emberi és szintetikus címkékkel, amelyeket központozott, megfelelő kis- és nagybetűket használó szöveggé normalizáltak. Adaptálási útmutatója a nyelvcímkék és a szövegstílus egyeztetését hangsúlyozza, majd az elkülönített ellenőrző hanganyag értékelését a használatra szánt streaming beállítással. Nyelvi, akcentus- és szakterületi adaptálást ír le anélkül, hogy ezeket a testreszabott eredményeket az eredeti modellállapot tulajdonságainak tekintené.\n\nA modellkártya a gyakorlatban feldolgozható felvételhosszt a rendelkezésre álló memóriához köti, nem ad meg egyetlen általános időtartamkorlátot. A többnyelvű kiadást különítse el a kizárólag angol nyelvű modelltől, és a kiválasztott nyelvet, valamint a streaming konfigurációt őrizze meg az átírási eredménnyel együtt. A kimeneti eredmény a felismert szöveg, a fejlesztő opcionális nyelvi metaadataival, nem pedig egy általános társalgási válasz.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "9f1668364e092ea585d84c72078faea721fd775b143041488beb07b9bbe77b73", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "hu", "methods": [ { "html": "nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bAz NVIDIA Nemotron 3.5 ASR Streaming Multilingual 0.6B gyorsítótár-tudatos streaming kódolóval alakítja a beszédet központozott szöveggé. Támogatja a nyelv kifejezett megadását vagy automatikus felismerését; 32 nyelvi-területi változat készen áll az átírásra, további nyolc adaptálást igényel.
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
A Nemotron 3.5 ASR Streaming Multilingual 0.6B az NVIDIA 600 millió paraméteres beszédfelismerő modellje élő átíráshoz és rögzített hanganyagok feldolgozásához. Az angol streaming modellvonalat nyelvazonosító alapján történő feltételes működéssel bővíti. A beszéd a bemenet nyelvén válik szöveggé, és a kimenet eleve tartalmazza a központozást, valamint a megfelelő kis- és nagybetűket.
A gyártó nyelvi lefedettsége három szintből áll. Tizenkilenc, átírásra kész nyelvi-területi változat fedi le az amerikai és brit angolt, az amerikai és spanyolországi spanyolt, a franciaországi és kanadai franciát, az olaszt, a brazíliai és portugáliai portugált, a hollandot, a németet, a törököt, az oroszt, az arabot, a hindit, a japánt, a koreait, a vietnámit és az ukránt. Tizenhárom széles körű lefedettségű változat adja hozzá a lengyelt, a svédet, a csehet, a norvég bokmålt, a dánt, a bolgárt, a finnt, a horvátot, a szlovákot, a mandarint, a magyart, a románt és az észtet. Ez a 32 nyelvi-területi változat együtt további finomhangolás nélkül készít átiratot.
Nyolc, adaptálásra kész nyelvi-területi változatot – a görögöt, a litvánt, a lettet, a máltait, a szlovént, a hébert, a thait és a norvég nynorskot – a tokenizáló felismer, de a teljes átírás lehetővé tételéhez célterületi finomhangolás szükséges. A fejlesztő 40 nyelvi-területi változatra vonatkozó száma tehát nem azt állítja, hogy mind a negyven ugyanazzal az azonnal használható képességgel rendelkezik. A testreszabott modellállapot az alapmodelltől különálló eredmény.
Az architektúra egy 24 rétegű, gyorsítótár-tudatos FastConformer kódolót kapcsol össze egy RNN-T dekóderrel. Megőrzi a kódoló korábbi keretekből származó figyelmi és konvolúciós állapotait, és minden új hangblokkot az átfedő ablakok ismételt újraszámítása nélkül dolgoz fel. Az akusztikus reprezentáció mellett nyelvazonosító jelet is kap, amely meghatározza az átirat nyelvi feltételét, vagy lehetővé teszi, hogy a modell következtesse ki a nyelvet.
Az NVIDIA NeMo-konfigurációja 80, 160, 320, 560 és 1120 milliszekundumos blokkméreteket dokumentál. A figyelmi beállítás szabályozza, mennyi későbbi hangot kap egy blokk a szöveg kiadása előtt, így a feladat egyensúlyt találhat a várakozási idő és az akusztikus kontextus között. Ezek fejlesztői streaming konfigurációk, nem garantált teljes válaszidők; egy megvalósítás a saját támogatott részhalmazukat teheti elérhetővé.
Készítsen monó WAV hangot a fejlesztő feldolgozóegységének 16 kHz-es mintavételi frekvenciájával. Ha a nyelv ismert, a megfelelő nyelvi-területi változatot adja meg feltételként; az automatikus mód felismeri a beszélt nyelvet. Az alap feldolgozási példa alapértelmezés szerint amerikai angol promptot használ, ezért a többnyelvű működést tudatosan be kell állítani, nem szabad a példából adottnak tekinteni.
Automatikus módban a fejlesztő munkafolyamata nyelvcímkét fűzhet az átirat mondatzáró írásjele után. A címke megőrzése elérhetővé teszi a nyelvet a vegyes nyelvű forgalmat kezelő alkalmazásnak; az eltávolítása tiszta átiratszöveget ad. Az eredmény megjelenítésekor vagy feldolgozásakor őrizze meg a felismert szavak, a központozásuk és e nyelvi metaadat közötti különbséget.
Egy feliratozó alkalmazás sorrendben adagolhatja a hangot, gyűjtheti az átiratot, és a lezárt szöveget felhasználhatja megjelenítéshez vagy további feldolgozáshoz. Egy hangalapú alkalmazás a felismert beszédet továbbadhatja a nyelvértelmezési szakaszának. A híváselemzés együtt őrizheti meg az eredeti felvételt és az átiratot, hogy a nevek, számok és ismeretlen kifejezések ellenőrizhetők maradjanak. Az ASR-modell az átiratot szolgáltatja; az összefoglalás, a műveletek és a beszédgenerálás az alkalmazás külön szakaszai.
Az NVIDIA a modellt nyilvános és saját beszédadatok keverékén tanítja, emberi és szintetikus címkékkel, amelyeket központozott, megfelelő kis- és nagybetűket használó szöveggé normalizáltak. Adaptálási útmutatója a nyelvcímkék és a szövegstílus egyeztetését hangsúlyozza, majd az elkülönített ellenőrző hanganyag értékelését a használatra szánt streaming beállítással. Nyelvi, akcentus- és szakterületi adaptálást ír le anélkül, hogy ezeket a testreszabott eredményeket az eredeti modellállapot tulajdonságainak tekintené.
A modellkártya a gyakorlatban feldolgozható felvételhosszt a rendelkezésre álló memóriához köti, nem ad meg egyetlen általános időtartamkorlátot. A többnyelvű kiadást különítse el a kizárólag angol nyelvű modelltől, és a kiválasztott nyelvet, valamint a streaming konfigurációt őrizze meg az átírási eredménnyel együtt. A kimeneti eredmény a felismert szöveg, a fejlesztő opcionális nyelvi metaadataival, nem pedig egy általános társalgási válasz.
POST /v1/audio/transcriptionsaudiotext| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | Alapértelmezett— |
Mezőinput_audio | Típusobject | KövetelményKötelező | Értékek és korlátok | Alapértelmezett— |
Mezőlanguage | Típusstring | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőtemperature | Típusnumber | KövetelményOpcionális | Értékek és korlátok Minimum: 0 Maximum: 1 | Alapértelmezett— |
Mezőresponse_format | Típusstring | KövetelményOpcionális | Értékek és korlátok json, verbose_json | Alapértelmezettjson |
Mezőtimestamp_granularities | Típusarray | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőprovider | Típusobject | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, input_audio |
Paramétermaterial_types | Szerződésaudio |
Paramétermaterial_conditions | SzerződésOlvasson be tényleges WAV-fájlt, és kódolja a valós bájtjait a deklarált JSON input_audio bemenethez; ehhez a pontosan csak JSON-t engedő deklarációhoz nem hirdetünk multipart útvonalat. |
Életciklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · A ténylegesen visszaadott task_id vagy a médiatár bejegyzése
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
A megjelenített díjtételek a generálás előtti költségbecsléshez szolgálnak. A végleges díj az eredeti generáláshoz rögzített költségből számítódik. A kimenet mért időtartama és az előre jelzett mennyiségek nem azonosak a véglegesen elszámolandó mennyiséggel.
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
Minden díjat a megjelenített feltételekhez rendeljen. Az alternatív beállítások minden csoportjához egy díjtételt használjon.
| Beállítás | Díjtáblázat | Előre jelzett mennyiség | Elszámolási egység | Díj |
|---|---|---|---|---|
| BeállításTokenek alapdíjai | DíjtáblázatAlapdíj | Előre jelzett mennyiség— | Elszámolási egység— | Díj Bemenet · Bemeneti tokenek · Becslés, csak összehasonlításra — / 1K token Kimenet · Kimeneti tokenek · Becslés, csak összehasonlításra — / 1K token Bemenet · Gyorsítótár olvasása · Becslés, csak összehasonlításra — / 1K token Bemenet · Írás a gyorsítótárba · Becslés, csak összehasonlításra — / 1K token Bemenet · Írás a gyorsítótárba, 1 óra · Becslés, csak összehasonlításra — / 1K token |
| Beállításbemeneti hangmásodperc | Díjtáblázat— | Előre jelzett mennyiség— | Elszámolási egységbemeneti hangmásodpercenként | Díj Bemenet · bemeneti hangmásodperc · Becslés, csak összehasonlításra $0.00000666 bemeneti hangmásodpercenként |
| BeállításA generálás becsült költsége | Díjtáblázat— | Előre jelzett mennyiségbecslés egy generálásra | Elszámolási egység— | Díj Kimenet · Becsült generálási költség · Becslés, csak összehasonlításra $0.00000666 becslés a generálás előtt Ez a becslés nem jelent további díjat, és nem rögzített díjszabás az elkészült generálásra. |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\nGET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json\n# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.\nŐrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizze meg a teljes választ és a fejléceket, minden tényleges kimenetet, az eredetileg visszaadott azonosítókat és az összes használati adatmezőt. Az eredeti műveletet állítsa helyre, a létrehozási kérés újbóli beküldése nélkül.
Őrizze meg a visszaadott X-Client-Request-ID értéket az egyeztetéshez. Csak a ténylegesen visszaadott task_id/asset_id értékekkel kérdezzen le, vagy használja a saját médiatárat; soha ne állítson össze feladat-URL-t a műveletazonosítóból, és soha ne küldje be újra a létrehozási kérést.
| Mező | Típus |
|---|---|
Mezőtext | Típus |
Mezőusage | Típus |
Mezősegments[] | Típus |
Mezőwords[] | Típus |
Mezőspeaker fields | Típus |
Mezőtimestamps | Típus |
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
Használja a fent látható metódusútvonalakat.