Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 — Meta компаниясының диктовкаға, анықталған сөйлеу кезектеріне және сөйлеушілерді ескеретін транскрипттерге арналған сөйлеуді мәтінге айналдыру моделі. Ол тіл мен сөздікке қатысты нұсқауларды, тілдерді алмастырып сөйлеуді және кезек деңгейіндегі уақыт белгілерін қолдайды; жазылған үзінді мен тікелей аудио үшін бөлек жұмыс үдерістері бар.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

Muse Voice Transcribe 1.0 — сөйлеуді мәтінге түсіруге, айтылым шекараларын анықтауға және сөйлеу кезектерін сөйлеушілерге телуге арналған Meta компаниясының аудионы қабылдау моделі. Ол Muse Spark модельдер тобына кіреді және сөйлеуді тануды, сөйлеушілерге бөлуді және сөйлеудің аяқталғанын анықтауды модельдің өзінде біріктіреді. Нәтижесі — таңдалған режимде қолжетімді уақыт және сөйлеуші ақпаратымен бірге берілетін танылған мәтін.

Модель аудионы 80 миллисекундтық бөліктермен өңдеп, тыңдауды жалғастыру немесе мәтінді шығару уақытын шешеді. Оның бейімделетін кідірісі сөзді ажырату қиындағанда қосымша аудионы күтуге мүмкіндік береді. Соның арқасында сөйлеу келіп жатқанда аралық мәтін, одан кейін аяқталған транскрипция нәтижелері беріледі. Аралық болжам мен аяқталған сөйлеу кезегін тыңдау тәжірибесінің әртүрлі кезеңдері ретінде қарастырыңыз.

Үш режимнің бірін таңдаңыз. Push-to-talk — дауыстық сұрау немесе қысқа диктовка сияқты бір басқарылатын айтылымға арналған әдепкі режим. Endpointing режимінде модель сөйлеу кезектерінің шекараларын өзі анықтап, әр анықталған сегментке бір аяқталған транскрипт қайтарады. Diarization режимі танылған сөйлеуді сөйлеуші белгілеріне телиді және ең жылдам дауыстық пәрмен алмасуына емес, бірнеше сөйлеуші бар жазбаларға арналған.

Жазылған үзінді үшін файлды транскрипциялау үдерісі бір сұрауда толық транскрипт қайтарады. Әдепкі нәтиже — транскрипт пен аудио ұзақтығы бар JSON; endpointing және diarization режимдерінде turns массиві де болады. Әр кезекте идентификатор, миллисекундпен берілген басталу және аяқталу уақыты, сондай-ақ танылған мәтін болуы мүмкін. Сөйлеуші белгілері diarization режимінде беріледі. Push-to-talk толық транскрипт жасайды, бірақ бұл массивте анықталған кезектер болмайды. Өндірушінің жазылған файлға арналған интерфейсі жай мәтінді немесе транскрипция оқиғаларының ағынын да қайтара алады. Жай мәтінде анықталған кезектер бөлек жолдарға жазылады және сөйлеуші белгілері болуы мүмкін; оқиғалар ағыны соңғы оқиғадан кейін бөлек JSON қорытындысынсыз аяқталады. Оның delta аралық режимі мәтінді біртіндеп толықтыратын бөліктермен қайтарады, ал соңғы транскрипт оқиғасы толық мәтінді қамтиды.

16 немесе 24 kHz жиіліктегі бір арналы, 16 биттік бүтін санды PCM аудиосы бар RIFF/WAVE файлын дайындаңыз. Модельдің төл жиілігі — 24 kHz, ал интерфейс 16 kHz жиілігін де қабылдайды. Жазбаны бермес бұрын басқа контейнерлерді немесе кодтауларды осы қолдау көрсетілетін WAV пішіміне түрлендіріңіз. Файлды транскрипциялау профилі ұзақтығы 10 минутқа дейінгі аудиоға және жалпы көлемі 32 MB-қа дейінгі сұрау денесіне рұқсат береді. Кейін тыңдап тексеру үшін түпнұсқа жазбаны және кез келген түрлендірілген нұсқаны қайтарылған транскриптпен байланыстырып сақтаңыз.

Тікелей аудио үдерісі 16 немесе 24 kHz жиіліктегі, шамамен нақты уақыт қарқынымен берілетін таңбалы 16 биттік little-endian бір арналы шикі PCM деректерін қолданады. Оның құжатталған сессия терезесі — 60 минут. Meta төл аудио кірісінің бір сағаттан аса алатынын сипаттайды; құжатталған файл және тікелей сессия шектері интерфейстің бөлек шекаралары болып қалады. Аудио толық жазылып біткеніне немесе әлі түсіріліп жатқанына қарай жазылған файл не тікелей аудио үдерісін таңдаңыз және бөлек сессия нәтижелерін өздерінің кіріс сегменттерімен байланыстырып сақтаңыз.

Muse Voice Transcribe 70-тен астам тілмен оқытылған, ал құжатталған тану интерфейсінде қолдау көрсетілетін 25 тіл аталған. Олардың арасында ағылшын, француз, неміс, испан, араб, мандарин қытай, хинди, жапон, корей, итальян және португал тілдері бар. Ол сөйлем ішінде немесе сөйлемдер арасында тілді алмастырып сөйлеуді таниды. Тілге қатысты нұсқауда аудиода күтілетін тілдерді атауға болады, бірақ ол транскриптті бір тілге күштеп ауыстырмай, тануды бағыттайды.

Сөздікке қатысты нұсқаулар жазбадағы маңызды өнім терминдерін, аббревиатураларды, есімдерді немесе жер атауларын тануға көмектеседі. Естіледі деп күткен нақты сөздер мен олардың жазылуын беріңіз. Түйінді сөздер тізімі тануды соларға бейімдейді, бірақ дәл жазылуына кепілдік бермейді, сондықтан шешуші терминдерді аудиомен салыстырыңыз. Тіл нұсқаулары мен түйінді сөздер транскрипция басында таңдалады; сессия жүріп жатқанда олардың мағынасын өзгертудің орнына, сол жазбаға сай ұстаңыз.

Модель 20-дан астам сөйлеушісі бар әңгімелерді сөйлеушілерге бөлуді қолдайды. A және B сияқты белгілер бір транскрипция ішіндегі сөйлеушілерді ажыратады. Олар расталған есімдер емес және басқа сессиядағы сондай белгі дәл сол адамды білдіретінін анықтамайды. Жиналыстың бастапқы жазбасын талдау тапсырмасы үшін сөйлеушілерге телінген кезектерді сұраңыз, жазбаны сақтаңыз және айналасындағы жұмыс үдерісінде қатысушылардың нақты есімдерін тағайындамас бұрын талқылауды осы белгілермен ұйымдастырыңыз.

Тікелей аудионың аралық транскрипттері жаңа сөйлеу келіп түскен сайын өзгеруі мүмкін. Cumulative режимінде әр аралық нәтиже алдыңғы болжамға тағы бір көшірме қоспай, оны алмастырады. Сөйлеудің аяқталуы анықталғанда шекара белгіленеді, ал аяқталған кезек нәтижесі соңғы мәтінді береді және ол соңғы аралық нұсқадан өзгеше болуы мүмкін. Қабаттасқан кезектерді өздерінің идентификаторларымен байланыстырып сақтаңыз және транскриптті аяқталды деп есептемес бұрын аяқталған нәтижелерді қабылдаңыз. Тікелей кіріс аяқталғанда кірістің біткенін хабарлап, нәтижелерді беретін жүйе кезекте тұрған нәтижелерді толық шығарып болғанша қабылдауды жалғастырыңыз. Қосылымды бірден жабу бұл нәтижелерді жоғалтуы мүмкін; анықталған сөйлеу шекарасы бүкіл сессияны емес, бір кезекті аяқтайды.

Уақыт белгілері кезек деңгейінде беріледі. Бұл профиль сөз деңгейіндегі уақыт белгілерін немесе сенімділік бағаларын бермейді, ал аудионы өңдеу барысы белгілі бір сөздің уақыт белгісі емес. Дыбыс оқиғаларын анықтау, эмоцияны анықтау және транскриптті қайта пішімдеу де құжатталған нәтиже профиліне кірмейді. Сөйлеушілердің уақыт шкаласы немесе сегмент деңгейіндегі тексеру үшін қайтарылған кезек аралықтарын пайдаланыңыз; кейін бөлек өңдеу қадамы таза жазбалар жасаса, бастапқы танылған сөздерді сақтаңыз.

Пайдалы артефакттарға аяқталған диктовка мәтіні, дауыстық сұраудың транскрипті, сөйлеушілерге телінген әңгіме немесе айтылымдардың уақыт шкаласы жатады. Есімдерді, сандарды және техникалық терминдерді түпнұсқа жазбамен салыстырыңыз, режим мен уақыт байланыстарын сақтаңыз және тексеру үшін толық кезектерді қолжетімді ұстаңыз. Транскрипция аудиодан не танылғанын көрсетеді; айтылған сұраққа жауап беру, оны аудару немесе жиналыс жазбаларына айналдыру қолданбаның кейінгі қадамына жатады.

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

meta/muse-voice-transcribe-1.0

Meta /meta/muse-voice-transcribe-1.0

Бастау

Қабылданатын кіріс деректері: Аудио
Нәтижелер: Мәтін

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Дыбысты мәтінге түсіру POST /v1/audio/transcriptions

Кіріс: audio
Шығыс: text

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер meta/muse-voice-transcribe-1.0	Әдепкі—
Өріс`input_audio`	Түрі`object`	ТалапМіндетті	Мәндер мен шектеулер	Әдепкі—

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input_audio
Параметр`material_types`	Параметр талаптарыaudio
Параметр`material_conditions`	Параметр талаптарыМысал сіздің нақты, бос емес PCM WAV файлыңызды оқып, файлдың барлық байтын base64 пішіміне кодтайды және input_audio.format өрісін wav мәнімен жібереді.

Өмірлік цикл: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · иелігіңіздегі бар медиа жазбасынан алынған дәл task_id

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.

Баптау	Мөлшерлемелер кестесі	Есептеу бірлігі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Есептеу бірлігі—	Төлем Кіріс · Кіріс токендері — / 1K токен Шығыс · Шығыс токендері — / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен
Баптаукіріс аудио секунды	Мөлшерлемелер кестесі—	Есептеу бірлігікіріс аудионың секунды үшін	Төлем Кіріс · кіріс аудио секунды $0.0001 кіріс аудионың секунды үшін

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Дыбысты мәтінге түсіру

curl · нақты WAV файлы және бастапқы толық нәтиже

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'meta/muse-voice-transcribe-1.0', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

Нәтижелерді алу және сақтау

Ailoot Ultra · Дыбысты мәтінге түсіру

Бастапқы жауаптың толық денесі, күйі және әрі қарай берілген тақырыптары. Бұл өңдегіш әмбебап JSON құрылымын, мәтін өрісін немесе тапсырманың сыртқы құрылымын қоспайды.

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Толық жауапты және тақырыптарды, алынған әрбір нәтижені, бастапқыда қайтарылған идентификаторларды және пайдалану туралы барлық өрістерді сақтаңыз. Жасау сұрауын қайта жібермей, бастапқы операцияны қалпына келтіріңіз.

Бастапқы жауапты тексеру қажет болса

Нақты X-Client-Request-ID мәнін және толық жауапты сақтаңыз. Иелігіңіздегі бастапқы ресурстарды және олардың қолтаңбасы бар дәл мазмұн URL мекенжайларын оқыңыз; нәтижесі белгісіз жасау сұрауын ешқашан қайта жібермеңіз.

Жауап өрістері

Өріс	Түрі
Өріс`text (when present)`	Түрі
Өріс`usage (when present)`	Түрі

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартJSON денесі немесе нақты канондық модель ID мәні жарамсыз.	Келесі қадамЖауапты сақтап, сұраудың көрсетілген өрісін түзетіңіз.
Жауап401 · `authentication_error`	ШартAiloot API кілті жарамсыз.	Келесі қадамПайдалануға рұқсат етілген Ailoot API кілтіңізді қолданыңыз.
Жауап403 · `permission_error`	ШартКілттің тобына бұл әдісті пайдалануға рұқсат берілмеген.	Келесі қадамҚайтарылған қатенің толық мәліметін сақтаңыз.
Жауап404 · `not_found_error`	ШартТаңдалған әдісте пайдалануға рұқсат етілген маршрут жоқ.	Келесі қадамҚайтарылған қатенің толық мәліметін сақтаңыз.
Жауап422 · `price_unavailable`	ШартҚабылданған тариф өзіне қажетті кіріс мөлшерін немесе шегін ала алмайды.	Келесі қадамЖауапты сақтаңыз; қабылданған тариф талап ететін кіріс пішімін пайдаланыңыз.
Жауап503 ·	ШартҚажетті қойма, маршрут, әдіс бағасы немесе қаражат резерві қолжетімді емес.	Келесі қадамБастапқы жауапты толық сақтаңыз. Нәтижесі белгісіз қаражат резерві сұрауды қайта жіберуге рұқсат бермейді.
Жауап502 · `server_error`	ШартБастапқы нәтижені, пайдалану деректерін немесе есеп айырысуды тексеру қажет.	Келесі қадамНақты сұрау ID мәнін және бастапқы жауапты сақтаңыз. Иелігіңіздегі бар жазбаны оқыңыз; жасау сұрауын қайта жібермеңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra meta/muse-voice-transcribe-1.0

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

meta/muse-voice-transcribe-1.0

FAQ · Meta: Muse Voice Transcribe 1.0

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: audio → text
Сұрау қандай өрістерді пайдаланады?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: model, input_audio

Meta: Muse Voice Transcribe 1.0