OpenAI: Whisper Large V3
Whisper large-v3 je OpenAI-jeva večjezična različica modela za prepoznavanje govora z odprtimi utežmi za prepisovanje in prevajanje govora v angleščino. Posnet govor pretvori v besedilo z dokumentirano izbiro jezika, časovnimi oznakami in obdelavo dolgih posnetkov prek svojega 30-sekundnega akustičnega okna.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Whisper large-v3 je izdana različica OpenAI-jevega modela za prepoznavanje govora s približno 1,55 milijarde parametrov. Gre za večjezični model kodirnik-dekodirnik: zvok vstopi v kodirnik, dekodirnik pa napoveduje besedilo in žetone, povezane z nalogo. Glavni nalogi sta prepis govora v izvornem jeziku in prevod govora v angleščino. To je identiteta modela z odprtimi utežmi, ločena od identifikatorja modela gostovane storitve ter pravil te storitve za nalaganje in formate odgovorov.
Large-v3 ohranja arhitekturo predhodnih velikih različic Whisper z dvema navedenima spremembama: njegov spektrogramski vnos uporablja 128 frekvenčnih pasov Mel namesto 80 in doda jezikovni žeton za kantonščino. Proizvajalčeva kartica modela opisuje učenje na enem milijonu ur šibko označenega zvoka in štirih milijonih ur psevdooznačenega zvoka, pripravljenega z Whisper large-v2. Ta mešanica je bila uporabljena v dveh učnih epohah. Izdaja je konkretna različica large-v3, ne splošno ime za vsak model v družini Whisper.
Dokumentirani potek izvajanja privzeto opravlja prepisovanje in ohranja jezik, govorjen na posnetku. Izvorni jezik lahko zazna samodejno ali sprejme izbiro znanega jezika. Pri prevajanju večjezični veliki model iz neangleškega govora ustvari angleško besedilo. To nalogo izberite izrecno: prepis v istem jeziku in angleški prevod sta različna izdelka. Pri intervjuju ohranite besedilo v izvirnem jeziku; pri angleškem referenčnem dokumentu določite, da je želeni rezultat prevod govorjene vsebine.
Priprava zvoka je del vhodne poti. OpenAI-jev nalagalnik posnetek dekodira v mono valovno obliko in ga prevzorči na 16 kHz. Akustično sprejemno polje modela je 30 sekund. To je obdelovalno okno, ne največja dolžina celotnega intervjuja ali predavanja. Izvajanje za dolge posnetke lahko zaporedno napreduje skozi drseča okna ali razdeli dolg posnetek na prekrivajoče se dele in združi njihove prepise. Proizvajalčeva kartica modela opisuje zaporedno obdelavo, kadar je prednostna natančnost, in obdelavo po delih, kadar je pomembnejši čas obdelave enega dolgega posnetka.
Izdana konfiguracija navaja 448 položajev dekodirnika za posamezno zaporedje dekodiranja. Daljše posnetke obravnava postopek za dolge posnetke, namesto da bi to število veljalo kot univerzalna omejitev prepisa. Dokumentirani potek lahko poleg prepoznanega besedila vrne časovne oznake segmentov ali posameznih besed. Ti časovni izhodi so uporabni za navigacijo po posnetkih in pripravo podnapisov, končni podnapisni vsebnik ali format datoteke prepisa pa je ločena izbira oblikovanja izhoda. Če bo prepis poravnan z izvirnim gradivom, pri pripravi zvoka ohranite časovni potek posnetka.
Predvidena vloga Whisper je prepoznavanje in prevajanje govora. Praktičen izhod je prepis predavanja, zapis intervjuja ali zbirka govorjenega gradiva, po kateri je mogoče iskati; povzemanje ali razlaga lahko sledita kot drug korak nad besedilom. Kartica modela ne določa zanesljive samodejne klasifikacije ali razločevanja govorcev kot standardnega izhoda osnovne različice. Če naloga potrebuje oznake govorcev, je treba to zahtevo obravnavati ločeno od trditve o natančnem prepisu. Uporabno izhodišče določi izvorni jezik, potrebo po prepisu ali prevodu v angleščino in potrebo po časovnih podatkih.
Pomembne omejitve vključujejo izmišljeno besedilo, ki nikoli ni bilo izgovorjeno, in ponavljajoče se besedilo, povezano s šibko nadzorovanim učenjem na hrupnih podatkih in zasnovo zaporedje-v-zaporedje. Kakovost prepoznavanja se razlikuje med jeziki, naglasi in narečji, s slabšimi rezultati tam, kjer je manj učnega gradiva. Hrup, strokovno besedišče in prekrivajoči se govor naj bodo zato zastopani v vzorcu za presojo ustreznosti. Imena, količine in pomembne izjave primerjajte s posnetkom ter preverite odseke brez govora ali ponovljene vrstice, namesto da bi tekoč prepis obravnavali kot dokaz, da je bila vsaka beseda slišana.
Celoten rezultat ohrani prepoznano besedilo, njegov jezik in zahtevane časovne podatke s sklicem na izvirni posnetek. Prepisovanje ločite od poznejšega urejanja: popravljen prepis za objavo lahko odstrani mašila, prepoznani prepis pa ohranja dejanski rezultat modela. Identiteta in prevajalska zmožnost Large-v3 naj ostaneta ločeni tudi od hitrejše izdaje Turbo. Dejanska hitrost obdelave je odvisna od jezika, hitrosti govora, strojne opreme in metode izvajanja; iz samega imena različice ne sledi nobena določena zakasnitev gostovanja, največja velikost nalaganja ali omogočena pot aplikacije.
Ailoot Ultra · Prepoznavanje govora POST /v1/audio/transcriptions openai/whisper-large-v3
openai/whisper-large-v3Začetek
Whisper large-v3 je OpenAI-jeva večjezična različica modela za prepoznavanje govora z odprtimi utežmi za prepisovanje in prevajanje govora v angleščino. Posnet govor pretvori v besedilo z dokumentirano izbiro jezika, časovnimi oznakami in obdelavo dolgih posnetkov prek svojega 30-sekundnega akustičnega okna.
- Dovoljeni vhodi
- Zvok
- Rezultati
- transcription
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Prepoznavanje govora POST /v1/audio/transcriptions
- Vhod
audio- Izhod
transcription- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve openai/whisper-large-v3 | Privzeto— |
Poljeinput_audio | Vrstaobject | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljelanguage | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetemperature | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 0 Največ: 1 | Privzeto— |
Poljeresponse_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve json, verbose_json | Privzetojson |
Poljetimestamp_granularities | Vrstaarray | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Kombinacije vhodnih gradiv
speech_to_text · Obvezno: actual matching-format audio file
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_types | Specifikacijaapplication/json, multipart/form-data |
Parameterrequired | Specifikacijamodel, input_audio |
Parametermaterial_types | Specifikacijaaudio |
ParameterJSON_audio | Specifikacijadejanski surovi zvočni bajti v base64 in ustrezna oblika |
Parametermultipart_required | Specifikacijamodel, file |
Parametermultipart_cap_bytes | Specifikacija26214400 |
Parameteroptional_controls | Specifikacijalanguage, temperature, response_format, timestamp_granularities, provider |
Parameterdefault_response_format | Specifikacijajson |
Parameteroptional_features | SpecifikacijaPodroben izhod, diarize/keyterms in URL/večji vgrajeni zvok zahtevajo natančno podporo modela/ponudnika in ustrezno tarifo. |
Življenjski cikel: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Dejansko vrnjeni task_id ali zapis v medijski knjižnici
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Uporabite natančen model in dokumentirana vhodna polja.
Ohranite celoten odgovor, vsak dejanski izhod in prvotne vrnjene ID-je.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
Vsak strošek povežite s prikazanimi pogoji. Za vsak nabor alternativnih nastavitev uporabite eno ceno.
| Nastavitev | Cenovna lestvica | Obračunska enota | Strošek |
|---|---|---|---|
| NastavitevOsnovne cene žetonov | Cenovna lestvicaOsnovna cena | Obračunska enota— | Strošek Vhod · Vhodni žetoni — / 1K žetonov Izhod · Izhodni žetoni — / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
| NastavitevUltra | Cenovna lestvica— | Obračunska enotana sekundo vhodnega zvoka | Strošek Vhod · sekunda vhodnega zvoka $0.000015 na sekundo vhodnega zvoka |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Podrobnosti referenčne tarife
Referenčne lestvice modela ne spreminjajo izbire metode, ocen cen ali stroškov. Veljavni stroški uporabljajo cene izbrane metode Ailoot.
OpenAI: Whisper Large V3
Cene po nastavitvah
| Nastavitev | Obračunski pogoji | Strošek |
|---|---|---|
| NastavitevOpenAI: Whisper Large V3 · Privzeta konfiguracija | Obračunski pogojiPrivzeta konfiguracija | Strošek Vhod · Sekunde vhodnega zvoka 0,000015 $ na sekundo vhodnega zvoka |
Primeri zahtev
Ailoot Ultra · Prepoznavanje govora
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'openai/whisper-large-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Prejmi in shrani rezultate
Ailoot Ultra · Prepoznavanje govora
json
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Celoten izvirni JSON, vse razpoložljivo besedilo/segmenti/besede/govorci/časovne oznake in poraba.
Če je treba preveriti izvirni odgovor
Ohranite prvotni operation_id/X-Client-Request-ID in prvotni odgovor. Berite dejanske zapise opravil/sredstev v vaši lasti brez ponovne oddaje; namenski URL za preverjanje zvoka se ne sestavlja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljetext | Vrstastring |
Poljeusage | Vrstaobject |
Poljesegments[] | Vrstaobject |
Poljewords[] | Vrstaobject |
Druga imena
Druga imena modelov
Ailoot Ultra openai/whisper-large-v3
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · OpenAI: Whisper Large V3
- Kateri vhodi in rezultati so na voljo?
POST /v1/audio/transcriptions·openai/whisper-large-v3:audio→transcription- Katera polja uporablja zahteva?
POST /v1/audio/transcriptions·openai/whisper-large-v3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- Katere omejitve veljajo?
POST /v1/audio/transcriptions·openai/whisper-large-v3:temperature.minimum:0;temperature.maximum:1