OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo — OpenAI компаниясының large-v3 негізінде жасалған, салмақтары ашық, сөйлеуді мәтінге тезірек айналдыратын нұсқасы. Оның төрт декодер қабаты және 809 миллион параметрі бар. Ол көптілді сөйлеуді мәтінге айналдыруға арналған; өндірушінің ресми құжаттамасына сай, Turbo сөйлеуді ағылшын тіліне аударуға үйретілмеген.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions openai/whisper-large-v3-turbo

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Whisper large-v3-turbo, Turbo деп те аталады, — OpenAI компаниясының Whisper large-v3 негізінде жасалған, сөйлеуді мәтінге айналдыруға оңтайландырылған моделі. Оның декодері 32 қабаттан төртке қысқартылған, ал энкодер 32 қабатты күйінде қалған. Шығарылған модельде шамамен 809 миллион параметр бар. Өндірушінің мақсаты — дәлдікті шамалы төмендету есебінен сөйлеуді тезірек тану, басқа дыбыс генерациясы режимін жасау емес. Кіріс — жазылған сөйлеу, нәтиже — танылған мәтін.

Шығарылым хабарландыруы Turbo-ны дайындау тәсілін бөлек дистилляцияланған Whisper моделін дайындау тәсілінен ажыратады: Turbo аударма деректерін қоспай, көптілді сөйлеуді мәтінге түсіру деректерінде қосымша екі оқыту айналымы бойы жетілдірілген. Бұл айырма жұмыс үшін маңызды. OpenAI репозиторийі Turbo ағылшынша емес сөйлеуді ағылшын тіліне аударуға үйретілмегенін және аударма сұралса да бастапқы тілде нәтиже беруі мүмкін екенін айтады. Бұл нұсқаны жазба тіліндегі мәтін үшін пайдаланыңыз; аударма талабын басқа тиісті модель немесе сөйлеуді мәтінге түсіргеннен кейінгі бөлек қадам орындайды.

Бастапқы тілді анықтау және тілді нақты таңдау сөйлеуді мәтінге түсірудің пайдалы баптаулары болып қалады. Жазба тілі белгілі болса, тапсырмада көрсетіңіз; әйтпесе құжатталған жұмыс барысы оны анықтай алады. Редакторлық өңдеуді сұрамас бұрын есімдерді, мөлшерлерді және айтылған сөздерді сақтаңыз. Одан кейін жиналыс хаттамасынан, сұхбат мәтінінен немесе дәріс мәтінінен іздеуге, белгі қосуға не қысқаша мазмұн жасауға болады. Turbo-ның тану міндетін дауыс синтезімен, сөйлеушіге еліктеумен немесе жазбадағы адамдарды мағыналық тұрғыдан бағалаумен шатастырмау керек.

OpenAI компаниясының аудио жүктегіші кіріс файлдарын 16 kHz жиілігіндегі моно үлгілерге декодтайды, ал модель 128 Mel жиілік жолағы бар 30 секундтық акустикалық терезені пайдаланады. Ұзағырақ жазбалар үшін ұзақ аудиоға арналған инференс қажет. Тізбекті өңдеу терезелерден ретімен өтеді; бөліктерге бөліп өңдеу қабаттасатын үзінділерді мәтінге түсіріп, олардың шекараларын біріктіреді. Модель карточкасы екінші тәсілді бір ұзақ файлды өңдеуде нәтижені алу уақыты басты басымдық болғанда пайдалы деп, ал тізбекті өңдеуді дәлдікке бағытталған балама деп көрсетеді. Терезе де, модель атауы да серверде орналастырылған қызметке жүктелетін файлдың тұрақты ең үлкен көлемін белгілемейді.

Turbo-ның нақты конфигурациясында бір декодтау тізбегіне арналған 448 декодер позициясы көрсетілген. Құжатталған инференс барысы мәтінмен бірге сегменттердің немесе сөздердің уақыт белгілерін де қамти алады; уақыт белгілері шарлауға және кейін субтитрлерді пішімдеуге көмектеседі. Олар субтитр файлының пішімін немесе сөйлеушілердің сенімді белгілерін автоматты түрде қоспайды. Жай мәтін немесе уақыт белгілері бар сегменттер керек екенін көрсетіп, даулы үзінділерді тексеру үшін бастапқы жазбаны қолжетімді сақтаңыз. Ұзақ жазбаларды өңдеу және соңғы пішімдеу салмақтардың бекітілген нұсқасының идентификаторынан бөлек.

Turbo декодтау жұмысын азайтады, бірақ нақты уақыт жабдыққа, жазба ұзақтығына, тілге, сөйлеу қарқынына және инференс баптауларына байланысты. Өндіруші сапаның төмендеуі барлық тілде бірдей емес екенін, кей тілдерде, соның ішінде тай және кантон тілдерінде көбірек байқалатынын атап өтеді. Жылдамдыққа басымдық беретін бұл ымыраны барлық материалға жарамды деп қабылдамас бұрын қажетті тілдегі материалға тән үзіндіні салыстырыңыз. Мұрағат өңдеу тапсырмасында тек анық бастапқы сөйлемді емес, күрделі лексиканы, үзілістерді, шулы немесе қатар сөйлеген тұстарды да тексеру үлгісіне қосыңыз.

Жарияланған карточка Whisper тануының елеулі шектеулерін қамтиды: болжанған мәтінде айтылмаған сөздер немесе қайталанған мәтін болуы мүмкін. Нәтижелер тілдер, акценттер және диалектілер арасында, әсіресе оқыту деректерінің қамтуы шектеулі жерде, өзгереді. Карточка сөйлеушілер бойынша уақыттық бөліктерге бөлуді немесе сөйлеушілерді жіктеуді базалық модельдің сенімді стандартты мүмкіндіктері ретінде бекітпейді. Практикалық тексеру бастапқы жазбаға сәйкестікке назар аударады: маңызды есімдер мен сандарға, түсіп қалған сөйлеуге, тыныштықтағы күтпеген мәтінге және қайталауларға. Оқуға ыңғайлы мәтін дәл тану кепілдігі емес, жазбамен салыстырылатын нәтиже болып қалады.

Пайдалы дайын материал — сұралған уақыт белгілері болса, солармен және жазбасымен анық байланысы бар бастапқы тілдегі мәтін. Өзгерістерді қадағалау үшін танылған нұсқаны жариялауға өңделген нұсқадан бөлек сақтаңыз. Нұсқаларды салыстырғанда large-v3-turbo атауын сақтаңыз: ол толық large-v3 моделі емес және large-v3-тің ағылшын тіліне аудару міндетін байқатпай мұраламауы керек. Салмақтары ашық бұл модель идентификаторы серверде орналастырылған whisper-1 қызметінің жүктеу шектерін, жауап құрылымдарын немесе тікелей ағынмен жұмыс істеу уәделерін де қамтымайды. Құжатталған сөйлеуді мәтінге түсіру ымырасы нақты материалға және қажетті нәтижені алу уақытына сәйкес келгенде Turbo-ны таңдаңыз.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions openai/whisper-large-v3-turbo

openai/whisper-large-v3-turbo

OpenAI /openai/whisper-large-v3-turbo

Бастау

Қабылданатын кіріс деректері: Аудио
Нәтижелер: Мәтін

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions

Кіріс: audio
Шығыс: text

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер openai/whisper-large-v3-turbo	Әдепкі—
Өріс`input_audio`	Түрі`object`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input_audio
Параметр`material_types`	Параметр талаптарыaudio
Параметр`material_conditions`	Параметр талаптарыМысал сіздің нақты, бос емес PCM WAV файлыңызды оқып, файлдың барлық байтын base64 пішіміне кодтайды және input_audio.format өрісін wav мәнімен жібереді.

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · иелігіңіздегі бар медиа жазбасынан алынған дәл task_id

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері — / 1K токен Шығыс · Шығыс токендері — / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен
Баптаукіріс аудио секунды	Мөлшерлемелер кестесі—	Есептеу бірлігікіріс аудионың секунды үшін	Төлем Кіріс · кіріс аудио секунды $0.00000666 кіріс аудионың секунды үшін

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Дыбысты мәтінге түсіру

curl · нақты WAV файлы және бастапқы толық нәтиже

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'openai/whisper-large-v3-turbo', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

Нәтижелерді алу және сақтау

Ailoot Ultra · Дыбысты мәтінге түсіру

Бастапқы жауаптың толық денесі, күйі және әрі қарай берілген тақырыптары. Бұл өңдегіш әмбебап JSON құрылымын, мәтін өрісін немесе тапсырманың сыртқы құрылымын қоспайды.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Толық жауапты және тақырыптарды, алынған әрбір нәтижені, бастапқыда қайтарылған идентификаторларды және пайдалану туралы барлық өрістерді сақтаңыз. Жасау сұрауын қайта жібермей, бастапқы операцияны қалпына келтіріңіз.

Бастапқы жауапты тексеру қажет болса

Нақты X-Client-Request-ID мәнін және толық жауапты сақтаңыз. Иелігіңіздегі бастапқы ресурстарды және олардың қолтаңбасы бар дәл мазмұн URL мекенжайларын оқыңыз; нәтижесі белгісіз жасау сұрауын ешқашан қайта жібермеңіз.

Жауап өрістері

Өріс	Түрі
Өріс`text (when present)`	Түрі
Өріс`usage (when present)`	Түрі

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартJSON денесі немесе нақты канондық модель ID мәні жарамсыз.	Келесі қадамЖауапты сақтап, сұраудың көрсетілген өрісін түзетіңіз.
Жауап401 · `authentication_error`	ШартAiloot API кілті жарамсыз.	Келесі қадамПайдалануға рұқсат етілген Ailoot API кілтіңізді қолданыңыз.
Жауап403 · `permission_error`	ШартКілттің тобына бұл әдісті пайдалануға рұқсат берілмеген.	Келесі қадамҚайтарылған қатенің толық мәліметін сақтаңыз.
Жауап404 · `not_found_error`	ШартТаңдалған әдісте пайдалануға рұқсат етілген маршрут жоқ.	Келесі қадамҚайтарылған қатенің толық мәліметін сақтаңыз.
Жауап422 · `price_unavailable`	ШартҚабылданған тариф өзіне қажетті кіріс мөлшерін немесе шегін ала алмайды.	Келесі қадамЖауапты сақтаңыз; қабылданған тариф талап ететін кіріс пішімін пайдаланыңыз.
Жауап503 ·	ШартҚажетті қойма, маршрут, әдіс бағасы немесе қаражат резерві қолжетімді емес.	Келесі қадамБастапқы жауапты толық сақтаңыз. Нәтижесі белгісіз қаражат резерві сұрауды қайта жіберуге рұқсат бермейді.
Жауап502 · `server_error`	ШартБастапқы нәтижені, пайдалану деректерін немесе есеп айырысуды тексеру қажет.	Келесі қадамНақты сұрау ID мәнін және бастапқы жауапты сақтаңыз. Иелігіңіздегі бар жазбаны оқыңыз; жасау сұрауын қайта жібермеңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra openai/whisper-large-v3-turbo

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

openai/whisper-large-v3-turbo

FAQ · OpenAI: Whisper Large V3 Turbo

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/transcriptions · openai/whisper-large-v3-turbo: audio → text
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/transcriptions · openai/whisper-large-v3-turbo: model, input_audio

OpenAI: Whisper Large V3 Turbo