OpenAI: GPT Transcribe

A GPT Transcribe az OpenAI beszédből szöveget készítő modellje elkészült hangfájlokhoz, folyamatosan visszaadott fájlátiratokhoz és Realtime munkamenetek véglegesített hangfordulóihoz. Hangot fogad opcionális szöveges kontextussal, és felismert szöveget ad vissza. A készítő rögzített beszéd eredeti nyelvű pontos átírására szánja, szakterületi szókinccsel, többnyelvű felvételekkel és nyelvváltással együtt. Hasznos kimenete a felvételhez kötött átirat, felismert nyelvi metaadatokkal, amikor a modell megbízható előrejelzést tud adni.

Elkészült felvétel előkészítése

Az OpenAI fájlátírási munkafolyamata legfeljebb 25 MB-os feltöltéseket fogad. A jelenlegi végpontreferencia FLAC, MP3, MP4, MPEG, MPGA, M4A, OGG, WAV és WebM bemeneti formátumokat sorol fel, és a formátum azonosításához elegendő fájlmetaadatot ajánl, megfelelő fájlnévkiterjesztéssel és tartalomtípussal együtt. Nagyobb felvételnél az útmutató tömörítést vagy legfeljebb 25 MB-os fájlokra bontást javasol. Ne vágjon mondat közben, mert a környező beszéd eltávolítása pontatlanabb felismeréshez vezethet. Tartsa sorrendben a részeket, és őrizze meg az eredeti felvételen elfoglalt helyüket.

Megbeszéléshez, interjúhoz vagy rögzített prezentációhoz adja meg a tényleges hangot, és nevezze meg a témát, valamint a várhatóan elhangzó szakkifejezéseket. A hasznos eredmény a felismert megfogalmazás, nem a beszélgetésből kikövetkeztetett összefoglaló. A felvétel azonosítóját őrizze meg a visszaadott szöveggel együtt, hogy egy név, szám vagy bizonytalan mondatrész ellenőrzője visszatérhessen a megfelelő forráshoz. Az átirat ezután külön összefoglalási, fordítási vagy szerkesztési munkafolyamat anyaga lehet.

Kontextus, kulcsszó-támpontok és várható nyelvek

A készítő háromféle útmutatást különít el. Az utasítás szabad formájú kontextust ad a felvétel témájáról vagy környezetéről. A kulcsszavak a beszédben várható szó szerinti szavakat vagy kifejezéseket adják meg. A languages lista a várható beszélt nyelveket azonosítja. Kétnyelvű termékmegbeszéléshez az utasításban írja le a környezetet, a releváns termékneveket sorolja fel kulcsszóként, és adja meg a várható nyelveket. Ezek felismerési támpontok, nem utasítások arra, hogy a modell senki által ki nem mondott szókincset illesszen be.

A GPT Transcribe a többes számú languages mezőt használja a régebbi, egyes számú language helyett; az OpenAI szerint a kettőt nem szabad együtt elküldeni. Útmutatója támogatott ISO 639-1 kódokat, kiválasztott ISO 639-3 kódokat és regionális kínai nyelvváltozat-kódokat fogad el; a nem támogatott vagy hibás alakú értékeket elutasítja. Minden kulcsszónak egy sorban kell maradnia, és nem tartalmazhat csúcsos zárójelet, kocsivissza-karaktert vagy soremelést. Az érvénytelen kulcsszó vagy túl hosszú utasítás a teljes kérés elutasítását okozhatja. A kontextus maradjon releváns, és ellenőrizze, ténylegesen előfordulnak-e a megadott nevek a hangban, ne kezelje a támpontlistát átiratként.

JSON kimenet és a felismert nyelv előrejelzései

A dokumentált fájleredmény az átiratot és a felismert nyelveket tartalmazó JSON. Ezek a nyelvi előrejelzések a modell kimenetei, nem a megadott nyelvi támpontok másolatai. Az üres nyelvlista érvényes eredmény, amikor a modell nem tud megbízható előrejelzést adni; nem igazolja, hogy a felvétel néma volt vagy az átírás sikertelen. A felismert szöveget és a nyelvi metaadatokat tartsa külön, hogy a későbbi feldolgozás mindkettőt a jelentésének megfelelően használhassa.

Fájlátirat folyamatos visszaadása

Az elkészült fájl feldolgozás közben fokozatosan adhat átírt szöveget. Az OpenAI transcript.text.delta eseményeket dokumentál a részleges szöveghez és transcript.text.done eseményt a teljes fájlátirathoz; a végső esemény a felismert nyelveket is tartalmazza. Ez egy már megadott felvétel kimenetét továbbítja folyamatosan. Hosszú feltöltés előrehaladásának megjelenítéséhez hasznos, míg a végső esemény határozza meg az elkészült eredményként megőrzendő szöveget.

Véglegesített fordulók Realtime munkamenetekben

A GPT Transcribe speciális Realtime munkafolyamattal is rendelkezik WebSocket kapcsolaton keresztül. A hang a bemeneti pufferhez kerül, majd az alkalmazás kifejezetten véglegesít egy hangfordulót. Az átírás ennél a véglegesített résznél kezdődik, és a befejezési esemény előtt részleges frissítéseket küldhet, felismert nyelvi információval együtt. Ebben a készítő által meghatározott munkamenet-folyamatban a modell automatikusan kontextusként használja a korábban átírt fordulókat. Ez különbözik az élő feliratszöveg folyamatos kibocsátásától, ahogyan a mikrofonhang megérkezik; az OpenAI erre a folyamatos munkafolyamatra a GPT Live Transcribe modellt nevezi meg.

Több fordulónál a bemeneti elem azonosítóját őrizze meg a hozzá tartozó átirattal együtt. Az OpenAI figyelmeztetése szerint a különböző fordulók befejezési eseményei nem feltétlenül a beszéd sorrendjében érkeznek, ezért minden végső eredményt a véglegesített bemenetéhez társítson, ne kizárólag befejezési idő alapján rendezze el a beszélgetést. A hasznos eredmény a megfelelő végső elemekből összeállított, sorrendbe rendezett átirat, a köztes szöveget előrehaladásként, nem külön befejezett megszólalásként kezelve.

Speciális kimenetek és érdemi korlátok

Ez a profil nem biztosít univerzális felirat-, időbélyeg-, fordítási vagy beszélőcímkézési specifikációt. Az OpenAI migrációs útmutatója megkülönbözteti ezeket a speciális képességeket: a natív feliratformátumok és a szószintű időzítés kompatibilis modellt és formátumot igényelnek, míg a beszélőcímkék a GPT-4o Transcribe Diarize modellt használják. A GPT Transcribe fájleredménye JSON, nem közvetlenül behelyettesíthető SRT, VTT vagy részletes időbélyeges válasz. Konkrét modellkártyája nem közöl számszerű kontextus- vagy maximális kimeneti keretet, ezért hangátíráshoz nem szabad csevegőmodell-tokenablakot feltételezni.

A nehéz szókincset, számokat, akcentusokat, háttérzajt és nyelvváltásokat ellenőrizze a felvétel alapján. Nézze meg, hogy a releváns támpontok javították-e a felismerést el nem hangzott szavak bevezetése nélkül, és a végső átirat tartalmazza-e a hang végét. Többnyelvű eredménynél a fordított változat elkészítése előtt őrizze meg az elhangzott megfogalmazást. Ezek az ellenőrzések forrásanyagként hasznossá teszik az átiratot, miközben a kontextuális támpontok, a felismert nyelvek és a felismert beszéd világosan elkülönülnek.