Deepgram: Nova-3
Nova-3 yra Deepgram bendrosios paskirties kalbos konvertavimo į tekstą modelis įrašytam ir srautiniam garsui. Jis palaiko vienakalbį atpažinimą, apibrėžtą daugiakalbį kalbų kaitos režimą ir pagrindinių terminų užuominas, grąžindamas transkripcijas su žodžių laiko žymomis ir atpažinimo patikimumo informacija.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Nova-3 yra Deepgram bendrosios paskirties kalbos atpažinimo modelis garsui paversti tekstu. Gamintojas rekomenduoja jį susitikimams, renginių subtitrams, kelių kalbėtojų įrašams ir sudėtingoms sąlygoms, pavyzdžiui, triukšmui ar tolimiems mikrofonams, naudojant įrašų arba srautinę transkripciją. Naudingas jo rezultatas yra atpažinta kalba su laiko žymomis ir patikimumo informacija, išliekanti susieta su šaltinio garsu.
Pasirinkite darbo su kalba režimą
Dokumentuota numatytoji kalba yra anglų. Vienakalbėje užklausoje pasirenkama kalbama kalba arba palaikomas vietinis variantas. Dabartinė bendrojo modelio lentelė apima regioninius anglų kalbos variantus, ispanų, prancūzų, vokiečių, rusų, portugalų, japonų, italų, olandų, arabų kalbas, kinų rašto sistemas ir daugelį kitų kalbų, įskaitant kazachų. Rinkitės iš gamintojo palaikomų kodų, užuot manę, kad priimamas bet kuris vietinio varianto pavadinimas.
Daugiakalbis nustatymas yra atskiras kalbų kaitos procesas. Dabartinėje Nova-3 lentelėje jam nurodoma dešimt kalbų: anglų, ispanų, prancūzų, vokiečių, hindi, rusų, portugalų, japonų, italų ir olandų. Šis rinkinys nėra tapatus platesniam vienakalbio režimo sąrašui. Įrašui, kuriame kaitaliojamos palaikomos kalbos, paruoškite daugiakalbį režimą, užuot visam pokalbiui primetę netinkamą vienos kalbos nustatymą. Išsaugokite tai, kas buvo pasakyta, prieš ruošdami išverstą ar apibendrintą versiją.
Įrašytas garsas ir transkripcijos paruošimas
Deepgram failų procesas priima įkeltus garso baitus arba nuorodą į garso failą. Grąžintą transkripciją išsaugokite užklausai pasibaigus; gamintojas transkripcijų nesaugo vėlesniam gavimui. Dažni dokumentuoti įvesties formatai ir koduotės apima MP3, MP4, MP2, AAC, WAV, FLAC, PCM, M4A, Ogg, Opus ir WebM. Su įrašu išsaugokite tikrąjį formatą ir kanalų informaciją. Įrašui suteikite stabilų identifikatorių, o rezultatą išlaikykite susietą su tinkamu šaltiniu ir jo kanalais. Susitikime dalyvių vardus ir techninius terminus tikrinkite klausydamiesi originalaus garso. Paskaitoje ar renginyje išsaugokite garso seką, kad vėlesnis subtitras ar paieškos rezultatas galėtų nurodyti aktualią ištrauką.
Gamintojo įrašų vadove nurodytas didžiausias 2 GB failo dydis ir rekomenduojama iš didelio vaizdo failo išgauti garso srautą. Jame taip pat dokumentuotas dešimties minučių Nova užklausų apdorojimo laiko limitas. Šis limitas nusako užklausos apdorojimo trukmę, o ne didžiausią dešimties minučių įrašo ilgį. Naudingas rezultatas apima numatyto įrašo pabaigą; iš dalies išsaugotos transkripcijos nereikėtų laikyti visu tekstu.
Skaitykite žodžius, laikus ir patikimumo įverčius
Dokumentuotas JSON atsakas apima transkripcijos alternatyvas ir atpažintus žodžius su kiekvieno žodžio pradžios ir pabaigos laiku sekundėmis nuo garso pradžios bei patikimumo reikšme. Kelių kalbėtojų transkripcijoje gamintojo pasirenkamas kalbėtojų atskyrimas kiekvienam žodžiui priskiria kalbėtojo žymą. Įrašų kalbėtojų atskyrimas taip pat grąžina kalbėtojo priskyrimo patikimumą; srautinis atskyrimas grąžina kalbėtojo žymą. Šias žymas tikrinkite pagal balsus įraše. Taip pat pateikiamas bendras transkripcijos patikimumas 0–1 skalėje. Paprašius išmaniojo formatavimo, rezultatas gali turėti skyrybą ir didžiąsias raides žodžiuose su skyryba bei skaitomų pastraipų informaciją.
Laukus naudokite pagal jų reikšmę. Žodžio laikas nurodo atpažintos kalbos vietą, o patikimumas yra modelio įvertis, ne įrodymas, kad sudėtingas vardas ar kiekis buvo išgirstas teisingai. Ruošdami subtitrus išsaugokite laiko žymas su patikrintu tekstu ir ribas tikrinkite pagal garsą. Skaitomoje redaguotoje versijoje pakeitimus išlaikykite atskiriamus nuo atpažintos transkripcijos, užuot tyliai pakeitę neaiškius žodžius tikėtina istorija.
Srautinis atpažinimas ir galutiniai segmentai
Nova srautinis procesas tekstą grąžina atkeliaujant garsui, pateikdamas tarpinius ir galutinius rezultatus. is_final rodiklis skiria tekstą, kuris dar gali būti keičiamas, nuo užbaigto segmento. speech_final rodiklis susijęs su ištarto segmento pabaigos nustatymu. Šiuos signalus skirkite nuo vien netuščios transkripcijos gavimo, o ruošdami užbaigtą įrašą galutinius segmentus saugokite jų garso tvarka.
Nova-3 yra bendrasis ASR modelis, atskiras nuo konversacinio Flux modelio su pačiame modelyje integruotu pokalbio pasisakymų aptikimu. Nova pažymi transkripcijos galutinumą ir kalbos segmentų pabaigas; Flux pateikia savus pokalbio pasisakymų būsenų įvykius. Transkripcijos procesą rinkitės pagal tai, ar garsas jau įrašytas, ar atkeliauja gyvai, išsaugodami tikrąjį galutinį rezultatą kaip darbo išvestį.
Pagrindiniai terminai svarbiam žodynui
Nova-3 dokumentuotas Keyterm Prompting palaiko vienakalbę ir daugiakalbę transkripciją bei nukreipia atpažinimą į svarbius terminus, iš naujo nemokant modelio. Pateikite aktualius vardus, produktų terminus, santrumpas ar kelių žodžių frazes, kurios iš tikrųjų gali būti ištartos. Vadove bendra pagrindinių terminų įvestis ribojama iki 500 žetonų ir rekomenduojama sutelkti dėmesį į svarbiausią žodyną, o ne be atrankos pridėti įprastų žodžių.
Gamintojo sintaksė naudoja paprastus terminus su atskiru keyterm įrašu kiekvienam terminui. Kelių žodžių frazė lieka viena fraze. Senieji raktažodžių svoriai ar sustiprinimo modifikatoriai bei atskirų terminų jungimas kableliais, kabliataškiais ar eilučių lūžiais nėra lygiaverčiai: sąsaja gali priimti juos kaip vieną pažodinę reikšmę, nesuteikdama numatyto sustiprinimo. Vardams naudokite tinkamas didžiąsias ir mažąsias raides, tada tikrinkite transkripciją, nes garso kontekstas ir išmanusis formatavimas vis tiek gali pakeisti galutinę rašytinę formą.
Modelių šeimos ribos ir naudingi rezultatai
Bendrasis Nova-3 profilis yra atskiras nuo atskirai įvardytų Medical ir Pharma parinkčių. Žodyno užuominos nepaverčia jo kita versija, o specializuotų modelių kalbų aprėpties ar elgsenos nereikėtų numanyti bendrajam modeliui. Papildomos transkripcijos apdorojimo funkcijos yra pasirinkimai gamintojo kalbos procese, o ne įrodymas, kad atpažinimas pateikė santrauką, vertimą ar kitą rezultatą, kurio nebuvo prašyta.
Naudingas Nova-3 rezultatas gali būti paieškai tinkama susitikimo transkripcija, subtitrams paruoštas tekstas su žodžių laiko žymomis arba daugiakalbio pokalbio įrašas. Išsaugokite garso identifikatorių, pasirinktą kalbos režimą, galutinį tekstą ir naudingus patikimumo ar laiko laukus. Neaiškius vardus, skaičius, persidengiančius balsus ir kalbų kaitą tikrinkite pagal originalų įrašą, o tikrąją atpažintą kalbą palikite prieinamą kitam turinio apdorojimo veiksmui.
Ailoot Ultra · Kalbos atpažinimas POST /v1/audio/transcriptions deepgram/nova-3
deepgram/nova-3Pradžia
Nova-3 yra Deepgram bendrosios paskirties kalbos konvertavimo į tekstą modelis įrašytam ir srautiniam garsui. Jis palaiko vienakalbį atpažinimą, apibrėžtą daugiakalbį kalbų kaitos režimą ir pagrindinių terminų užuominas, grąžindamas transkripcijas su žodžių laiko žymomis ir atpažinimo patikimumo informacija.
- Leidžiamos įvestys
- Garsas
- Rezultatai
- transcription
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Kalbos atpažinimas POST /v1/audio/transcriptions
- Įvestis
audio- Išvestis
transcription- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos deepgram/nova-3 | Numatyta— |
Laukasinput_audio | Tipasobject | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukaslanguage | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 0 Didžiausia reikšmė: 1 | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos json, verbose_json | Numatytajson |
Laukastimestamp_granularities | Tipasarray | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Įvesties medžiagos deriniai
speech_to_text · Privaloma: actual matching-format audio file
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_types | Specifikacijaapplication/json, multipart/form-data |
Parametrasrequired | Specifikacijamodel, input_audio |
Parametrasmaterial_types | Specifikacijaaudio |
ParametrasJSON_audio | Specifikacijatikrieji neapdoroti garso baitai base64 formatu ir juos atitinkantis formatas |
Parametrasmultipart_required | Specifikacijamodel, file |
Parametrasmultipart_cap_bytes | Specifikacija26214400 |
Parametrasoptional_controls | Specifikacijalanguage, temperature, response_format, timestamp_granularities, provider |
Parametrasdefault_response_format | Specifikacijajson |
Parametrasoptional_features | SpecifikacijaIšsamiai išvesčiai, diarize/keyterms ir URL arba didesniam užklausoje įterptam garso įrašui reikia tikslios modelio ir teikėjo galimybės bei tarifo. |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Naudokite tikslų modelį ir dokumentacijoje nurodytus įvesties laukus.
Išsaugokite visą atsakymą, kiekvieną tikrą rezultatą ir pradinius grąžintus ID.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Apskaitos vienetas | Mokestis |
|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai — / 1K tokenų Išvestis · Išvesties tokenai — / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUltra | Įkainių lentelė— | Apskaitos vienetasuž įvesties garso sekundę | Mokestis Įvestis · garso įvesties sekundė $0.0001433333333334 už įvesties garso sekundę |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Informacinio tarifo duomenys
Modelio informacinės lentelės nekeičia metodo pasirinkimo, kainos įverčių ar mokesčių. Galiojantys mokesčiai nustatomi pagal pasirinkto Ailoot metodo įkainius.
Deepgram: Nova-3
Kainos pagal konfigūraciją
| Konfigūracija | Apmokestinimo sąlygos | Mokestis |
|---|---|---|
| KonfigūracijaDeepgram: Nova-3 · Numatytoji konfigūracija | Apmokestinimo sąlygosNumatytoji konfigūracija | Mokestis Įvestis · Įvesties garso sekundės ≈0,000143 USD už įvesties garso sekundę |
Užklausų pavyzdžiai
Ailoot Ultra · Kalbos atpažinimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'deepgram/nova-3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Kalbos atpažinimas
json
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Visas pradinis JSON, visas pasiekiamas tekstas, segmentai, žodžiai, kalbėtojai, laiko žymos ir naudojimo duomenys.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite pradinius operation_id/X-Client-Request-ID ir pradinį atsakymą. Skaitykite tikrus jums priklausančių užduočių ir išteklių įrašus neteikdami užklausos pakartotinai; atskiras garso būsenos tikrinimo URL nekuriamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukastext | Tipasstring |
Laukasusage | Tipasobject |
Laukassegments[] | Tipasobject |
Laukaswords[] | Tipasobject |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra deepgram/nova-3
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Deepgram: Nova-3
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/transcriptions·deepgram/nova-3:audio→transcription- Kokius laukus naudoja užklausa?
POST /v1/audio/transcriptions·deepgram/nova-3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Kokie apribojimai taikomi?
POST /v1/audio/transcriptions·deepgram/nova-3:temperature.minimum:0;temperature.maximum:1