OpenAI: Whisper Large V3

Whisper large-v3 — транскрипцияға және сөйлеуді ағылшын тіліне аударуға арналған OpenAI-дың ашық салмақты көптілді сөйлеуді тану бақылау нүктесі. Ол жазылған сөйлеуді мәтінге айналдырады; тіл таңдау, уақыт белгілері және 30 секундтық акустикалық терезеден ұзын материалды өңдеу құжатталған.

Ailoot Ultra · Сөйлеуді тану POST /v1/audio/transcriptions openai/whisper-large-v3

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Whisper large-v3 — шамамен 1.55 миллиард параметрі бар, OpenAI жариялаған сөйлеуді тану бақылау нүктесі. Бұл — көптілді encoder-decoder моделі: аудио кодтағышқа түседі, ал декодтағыш мәтін мен міндетке қатысты токендерді болжайды. Негізгі міндеттері — сөйлеуді бастапқы тілде транскрипциялау және сөйлеуді ағылшын тіліне аудару. Бұл — орналастырылған қызметтің модель идентификаторынан немесе сол қызметтің жүктеу және жауап пішімі ережелерінен бөлек ұсталатын ашық салмақты модель сәйкестігі.

Large-v3 бұрынғы үлкен Whisper бақылау нүктелерінің архитектурасын аталған екі өзгеріспен сақтайды: спектрограмма кірісі 80 орнына 128 Mel-жиілік ұяшығын қолданады және кантон тілі токенін қосады. Өндірушінің модель картасы әлсіз таңбаланған бір миллион сағат аудиода және Whisper large-v2 көмегімен псевдотаңбаланған төрт миллион сағат аудиода оқытуды сипаттайды. Бұл қоспа екі оқыту эпохасы бойы қолданылған. Шығарылым — Whisper тобындағы барлық модельдің жалпы атауы емес, нақты large-v3 бақылау нүктесі.

Құжатталған инференс үдерісі әдепкі бойынша транскрипция жасап, жазбада сөйленген тілді сақтайды. Ол бастапқы тілді автоматты анықтай алады немесе белгілі тіл таңдауын қабылдайды. Аудару үшін көптілді үлкен модель ағылшын емес сөйлеуден ағылшынша мәтін береді. Міндетті анық таңдаңыз: бастапқы тілдегі транскрипт пен ағылшын аудармасы — бөлек материалдар. Сұхбат үшін бастапқы тілдегі тұжырымды сақтаңыз; ағылшынша анықтамалық құжат үшін қажетті нәтиже айтылған мазмұнның аудармасы екенін көрсетіңіз.

Аудионы дайындау — кіріс жолының бөлігі. OpenAI жүктеушісі жазбаны моно толқын пішініне декодтап, 16 kHz жиілікке қайта дискреттейді. Модельдің акустикалық қабылдау өрісі — 30 секунд. Бұл — өңдеу терезесі, толық сұхбаттың немесе дәрістің ең үлкен ұзақтығы емес. Ұзын материал инференсі жылжымалы терезелермен ретімен жүре алады немесе ұзын жазбаны қабаттасқан бөліктерге бөліп, транскрипттерін біріктіре алады. Өндірушінің модель картасы дәлдік басым болса ретті өңдеуді, ал бір ұзын жазбаны тез аяқтау маңыздырақ болса бөліктермен өңдеуді сипаттайды.

Жарияланған конфигурация жеке декодтау тізбегі үшін 448 декодтағыш орнын көрсетеді. Ұзынырақ жазбалар бұл санды әмбебап транскрипт шегі деп қабылдау арқылы емес, ұзын материал үдерісімен өңделеді. Құжатталған үдеріс танылған мәтінмен қатар сегмент немесе сөз деңгейіндегі уақыт белгілерін қайтара алады. Бұл уақыт нәтижелері жазбада навигация жасауға және субтитр дайындауға пайдалы, ал соңғы субтитр контейнері немесе транскрипт файлының пішімі — бөлек нәтиже пішімдеу таңдауы. Транскрипт бастапқы материалмен сәйкестендірілетін болса, аудионы дайындағанда жазбаның уақытын сақтаңыз.

Whisper-дің көзделген рөлі — сөйлеуді тану және аудару. Дәріс транскрипті, сұхбат жазбасы немесе іздеуге болатын ауызша материал жинағы — практикалық нәтижелер; қысқаша мазмұндау немесе түсіндіру кейін мәтінмен жұмыс істейтін басқа қадам болуы мүмкін. Модель картасы сөйлеушілерді сенімді автоматты жіктеуді немесе диаризацияны негізгі бақылау нүктесінің стандартты нәтижесі ретінде бекітпейді. Міндетке сөйлеуші белгілері керек болса, бұл талапты дәл транскрипт бар деп мәлімдеуден бөлек орындау қажет. Пайдалы тапсырма бастапқы тілді, транскрипция ма әлде ағылшын аудармасы ма керегін және уақыт деректері қажет пе екенін көрсетеді.

Елеулі шектеулерге айтылмаған ойдан шығарылған мәтін және қайталанатын мәтін кіреді; олар шулы деректерде әлсіз бақылаумен оқытуға және sequence-to-sequence құрылымына байланысты. Тану сапасы тілдерге, акценттерге және диалектілерге қарай өзгереді; оқыту материалы аз жерде нәтиже әлсіздеу. Сондықтан жарамдылықты бағалау үлгісінде шу, арнайы сөздік және қабаттасқан сөйлеу болуы тиіс. Есімдерді, мөлшерлерді және маңызды тұжырымдарды жазбамен салыстырып, жатық транскриптті әр сөз естілді деген дәлел деп қабылдамай, сөйлеу жоқ үзінділерді немесе қайталанған жолдарды тексеріңіз.

Толық нәтиже танылған мәтінді, оның тілін және сұралған уақыт деректерін бастапқы жазбаға сілтемемен бірге сақтайды. Транскрипцияны кейінгі редакциялаудан бөлек ұстаңыз: жариялауға түзетілген транскрипт қыстырма сөздерді алып тастауы мүмкін, ал танылған транскрипт модельдің нақты қайтарғанын сақтайды. Large-v3 сәйкестігі мен аудару мүмкіндігін жылдамырақ Turbo шығарылымынан да бөлек ұстау керек. Нақты өңдеу жылдамдығы тілге, сөйлеу қарқынына, жабдыққа және инференс әдісіне тәуелді; бақылау нүктесінің атауының өзі орналастырылған қызметтің нақты кідірісін, ең үлкен жүктеу көлемін немесе қосылған қолданба бағытын білдірмейді.

Ailoot Ultra · Сөйлеуді тану POST /v1/audio/transcriptions openai/whisper-large-v3

openai/whisper-large-v3

OpenAI /openai/whisper-large-v3

Бастау

Қабылданатын кіріс деректері: Аудио
Нәтижелер: transcription

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Сөйлеуді тану POST /v1/audio/transcriptions

Кіріс: audio
Шығыс: transcription
Шығыс пішімі: json

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер openai/whisper-large-v3	Әдепкі—
Өріс`input_audio`	Түрі`object`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—
Өріс`language`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`temperature`	Түрі`number`	ТалапМіндетті емес	Мәндер мен шектеулер Ең азы: 0 Ең көбі: 1	Әдепкі—
Өріс`response_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер json, verbose_json	Әдепкіjson
Өріс`timestamp_granularities`	Түрі`array`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер	Әдепкі—

Кіріс материалдарының үйлесімдері

speech_to_text · Міндетті: actual matching-format audio file

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_types`	Параметр талаптарыapplication/json, multipart/form-data
Параметр`required`	Параметр талаптарыmodel, input_audio
Параметр`material_types`	Параметр талаптарыaudio
Параметр`JSON_audio`	Параметр талаптарыbase64 пішіміндегі нақты өңделмеген аудио байттары және оларға сәйкес пішім
Параметр`multipart_required`	Параметр талаптарыmodel, file
Параметр`multipart_cap_bytes`	Параметр талаптары26214400
Параметр`optional_controls`	Параметр талаптарыlanguage, temperature, response_format, timestamp_granularities, provider
Параметр`default_response_format`	Параметр талаптарыjson
Параметр`optional_features`	Параметр талаптарыКеңейтілген шығыс, diarize/keyterms және URL арқылы берілетін не көлемді кірістірілген аудио үшін нақты модель мен жеткізушінің тиісті мүмкіндігі және тарифі қажет.

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · Нақты қайтарылған task_id немесе медиатека жазбасы

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Дәл модельді және құжатталған кіріс өрістерін қолданыңыз.

Толық жауапты, әрбір нақты шығыс нәтижесін және бастапқы қайтарылған ID мәндерін сақтаңыз.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері — / 1K токен Шығыс · Шығыс токендері — / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен
БаптауUltra	Мөлшерлемелер кестесі—	Есептеу бірлігікіріс аудионың секунды үшін	Төлем Кіріс · кіріс аудио секунды $0.000015 кіріс аудионың секунды үшін

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Анықтамалық тариф мәліметтері

Модельдің анықтамалық кестелері әдіс таңдауын, баға есебін не төлемді өзгертпейді. Қолданыстағы төлемдер таңдалған Ailoot әдісінің мөлшерлемелерімен есептеледі.

OpenAI: Whisper Large V3

Баптаулар бойынша бағалар

Баптау	Төлемді есептеу шарттары	Төлем
БаптауOpenAI: Whisper Large V3 · Әдепкі конфигурация	Төлемді есептеу шарттарыӘдепкі баптау	Төлем Кіріс · Кіріс аудио секундтары 0,000015 $ кіріс аудионың секунды үшін

Сұрау мысалдары

Ailoot Ultra · Сөйлеуді тану

curl · төл пішімдегі дәл сұрау денесі және толық нәтиже

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'openai/whisper-large-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

Нәтижелерді алу және сақтау

Ailoot Ultra · Сөйлеуді тану

json

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Бастапқы JSON толық, барлық қолжетімді мәтін, сегменттер, сөздер, сөйлеушілер, уақыт белгілері және пайдалану деректері.

Бастапқы жауапты тексеру қажет болса

Бастапқы operation_id/X-Client-Request-ID мәндерін және бастапқы жауапты сақтаңыз. Қайта жібермей, иелігіңіздегі нақты тапсырма немесе ресурс жазбаларын оқыңыз; аудио күйін сұрауға арналған бөлек URL құрастырылмайды.

Жауап өрістері

Өріс	Түрі
Өріс`text`	Түріstring
Өріс`usage`	Түріobject
Өріс`segments[]`	Түріobject
Өріс`words[]`	Түріobject

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra openai/whisper-large-v3

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

openai/whisper-large-v3

FAQ · OpenAI: Whisper Large V3

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/transcriptions · openai/whisper-large-v3: audio → transcription
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/transcriptions · openai/whisper-large-v3: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
Қандай шектеулер қолданылады?: POST /v1/audio/transcriptions · openai/whisper-large-v3: temperature.minimum: 0; temperature.maximum: 1

OpenAI: Whisper Large V3