Fish Audio: S2 Pro
Fish Audio S2 Pro сөз деңгейіндегі нұсқаулармен мәнерлі көптілді сөйлеуді және бірнеше сөйлеушінің кірістірілген диалогын жасайды. Тік жақшадағы нұсқаулар сценарий ішіндегі орындалуды басқарады, дауыс үлгілері сөйлеушілерді анықтайды, ал шығыс баптаулары аудио артефактты қалыптастырады.
Модель туралы
Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.
S2 Pro — мәнерлі дикторлық оқуға, кейіпкерлер диалогына және әңгімелесу дауыстық шығысына арналған Fish Audio екінші буын мәтінді сөйлеуге айналдыру моделі. Ол жазбаша сценарийді аудиоға айналдырып, сөз не тіркес деңгейіндегі табиғи тіл нұсқауларын қолдайды. Алдыңғы S1 буыны дөңгелек жақшадағы ишараларды қолданады, ал S2 Pro тік жақшаны табиғи түрде пайдаланып, бір синтез сұрауында бірнеше сөйлеушіні қолдайды. Өндіруші S2 Pro салмақтары мен қосымша баптау кодын бөлек бейімдеу жұмысына шығарады; кәдімгі сөйлеу сұрауы жаңа модельді оқытпай, таңдалған модельді қолданады.
Алдымен айтылатын мазмұнды жазып, орындау нұсқауын әсер етуі тиіс сөздің не тіркестің дәл алдына қойыңыз. Нұсқаулар сыбырды, реакцияны, кідірісті, эмоция өзгерісін немесе еркін сөйлеу мәнерін сипаттай алады. Қысқа өнім түсіндірмесінде деректік сөйлемді анық сақтап, тыңдаушы айырмашылықты байқауы тиіс жерге ғана екпін қойыңыз. Кейіпкер репликасында бүкіл үзіндіні бір көңіл күйге бекітудің орнына эмоциялық өзгерісті дәл сол сәтте сипаттаңыз.
Тік жақшадағы тегтер — жабық мәзір емес, еркін сипаттамалар. Мысалдар: [whispering], [sigh], [long pause] және [speaking slowly, almost hesitant] сияқты тіркес. Тегтер сөйлем ортасында тұрып, кейінгі сөйлеуге әсер ете алады. Сипаттамалық тегтен кейін нақты мәтін қажет; жалғыз нұсқау күтпеген нәтиже беруі мүмкін. Қосымша қабаттар қоспас бұрын бір-екі пайдалы нұсқаудан бастаңыз, өйткені бәсекелес тегтер көзделген орындауды көмескілеуі мүмкін. Әртүрлі дауыс үлгілері бір нұсқауға әртүрлі күшпен жауап беруі мүмкін.
S2 шығарылымы шамамен 80 тілді сипаттап, орындау нұсқауларын сценариймен бір тілде жазу мысалдарын береді. Мәтінді айтылуы тиіс тілде дайындап, нақты оқылуы қажет есімдерді, өлшем бірліктерін және қысқартуларды сақтаңыз. Көптілді дикторлық оқу сценарий тілі ауысса да көзделген дауысты сақтай алады, бірақ дайын артефакттағы айтылу мен бірізділікті тыңдап тексеру бәрібір қажет. Синтез қолданба қандай ақпарат айтуы керегін шешпей, берілген мазмұнды сөйлеу түрінде шығарады.
Бір сөйлеуші үшін сақталған дауыс идентификаторын таңдаңыз немесе сәйкес транскриптімен бірге үлгі аудио беріңіз. Өндіруші бірден бейімдеу үшін таза 10–30 секундтық үлгіні ұсынады. Диалог үшін сөйлеушілердің реттелген дауыс идентификаторлары тізімімен немесе бөлек үлгі топтарымен бірге <|speaker:0|> және <|speaker:1|> сияқты маркерлерді пайдаланыңыз. Сандық маркер тиісті дауыс жазбасын таңдайды; әңгіме дамыған сайын ретті өзгертпеңіз. Табиғи тілдегі орындау нұсқаулары мен сөйлеушіні таңдау сценарийде әртүрлі міндет атқарады.
Аудио шығыс MP3, WAV, өңделмеген PCM немесе Opus болуы мүмкін. MP3 әдепкіде 128 кбит/с, сондай-ақ 64 не 192 кбит/с ұсынады; Opus 48 кГц қолданады, ал WAV пен PCM құжатталған дискреттеу жиіліктерін 16 биттік моно түрінде қолдайды. Пішімді нақты қолданылатын жерге қарай таңдаңыз: дикторлық оқу үшін сақталатын файл немесе ойнатуға қолайлы аудио бөліктері. Өндіруші сөйлеу үдерісі сценарий біртіндеп келетін кездегі тікелей мәтін ағынын да сипаттайды. Генерация нәтижесі толық сценариймен және таңдалған дауыстармен байланысты қалуы тиіс.
Жылдамдықты 0,5–2,0 аралығында, дыбыс деңгейі және шығыс қаттылығын қалыпқа келтіру тетіктерімен бірге реттеуге болады. Мәтінді қалыпқа келтіру ағылшын және қытай тілдеріндегі сандардың оқылуын жақсартады. Өңдеу 100–300 аралығындағы бөліктерді және әр бөлікке арналған аудио токендер бюджетін қолданады, сондықтан бұл баптауларды бүкіл дикторлық оқудың бекітілген ең ұзын ұзақтығы деп түсінбеңіз. Алдыңғы бөлік бойынша бейімдеу дауыс контекстін келесі сегментке жеткізе алады. temperature және top-p сияқты іріктеу тетіктері нұсқалардың өзгергіштігіне әсер етеді; әдейі бағытталған жолға да көзделген дыбысты жеткізетін жеткілікті мәтін мен контекст қажет.
Пайдалы өндірістік тапсырма дикторлық оқуды, диалогты және орындау нұсқауларын бөліп, алынатын артефакттың дауысы мен пішімін көрсетеді. Түсіп қалған сөздерді, қайталанған аудионы, сандардың айтылуын, сөйлеуші ауысуын және реакция уақытын тыңдап тексеріңіз. Көбірек тег әр үзіндіні жақсартады деп болжамай, сәйкессіздікке себеп болған жолды немесе дауыс үлгісін түзетіңіз. S2 Pro алдыңғы S2 буынының жеке моделі болып қалады; S2.1 Pro — өз жақсартулары және модельге тән баптау әрекеті бар кейінгі нұсқа.
Ailoot Ultra · Сөйлеу POST /v1/audio/speech fish-audio/s2-pro
fish-audio/s2-proБастау
Fish Audio S2 Pro сөз деңгейіндегі нұсқаулармен мәнерлі көптілді сөйлеуді және бірнеше сөйлеушінің кірістірілген диалогын жасайды. Тік жақшадағы нұсқаулар сценарий ішіндегі орындалуды басқарады, дауыс үлгілері сөйлеушілерді анықтайды, ал шығыс баптаулары аудио артефактты қалыптастырады.
- Қабылданатын кіріс деректері
- Мәтін
- Нәтижелер
- Аудио
Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер
Ailoot Ultra · Сөйлеу POST /v1/audio/speech
- Кіріс
text- Шығыс
audio
| Өріс | Түрі | Талап | Мәндер мен шектеулер | Әдепкі |
|---|---|---|---|---|
Өрісmodel | Түріstring | ТалапМіндетті | Мәндер мен шектеулер fish-audio/s2-pro | Әдепкі— |
Өрісinput | Түріstring | ТалапМіндетті | Мәндер мен шектеулер Ең аз ұзындық: 1 | Әдепкі— |
Өрісvoice | Түріstring | ТалапМіндетті | Мәндер мен шектеулер b347db033a6549378b48d00acb0d06cd Ең аз ұзындық: 1 | Әдепкі— |
Өрісresponse_format | Түріstring | ТалапМіндетті емес | Мәндер мен шектеулер mp3, pcm | Әдепкіpcm |
Өрісprovider | Түріobject | ТалапМіндетті емес | Мәндер мен шектеулер | Әдепкі— |
Әдіс параметрлері мен өмірлік циклі
| Параметр | Параметр талаптары |
|---|---|
Параметрcontent_type | Параметр талаптарыapplication/json |
Параметрrequired | Параметр талаптарыmodel, input, voice |
Параметрmaterial_types | Параметр талаптарыtext |
Өмірлік цикл: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Нақты қайтарылған task_id немесе медиатека жазбасы
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Тарифтер
Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.
- Жылдам режим
- Көрсетілмеген Жылдам режим таңдалғанда
- Икемді режим
- Көрсетілмеген flex режимі таңдалғанда
- Ой қорытудың ең жоғары деңгейі
- Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда
Ailoot мөлшерлемелері
Баптаулар бойынша бағалар
Әр төлемді көрсетілген шарттармен салыстырыңыз. Балама баптаулардың әр жиыны үшін бір мөлшерлемені қолданыңыз.
| Баптау | Мөлшерлемелер кестесі | Есептеу бірлігі | Төлем |
|---|---|---|---|
| БаптауТокендердің базалық тарифтері | Мөлшерлемелер кестесіНегізгі мөлшерлеме | Есептеу бірлігі— | Төлем Кіріс · Кіріс токендері — / 1K токен Шығыс · Шығыс токендері — / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен |
| Баптаукіріс UTF-8 байты | Мөлшерлемелер кестесі— | Есептеу бірлігіUTF-8 кіріс байты үшін | Төлем Кіріс · кіріс UTF-8 байты $0.00003 UTF-8 кіріс байты үшін |
Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →
Сұрау мысалдары
Ailoot Ultra · Сөйлеу
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_TEXT:?Set the actual documented input value}"
export AILOOT_INPUT_TEXT
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'fish-audio/s2-pro', 'input': '${ACTUAL_INPUT_TEXT}', 'voice': 'b347db033a6549378b48d00acb0d06cd', 'response_format': 'mp3'}
request['input']=os.environ['AILOOT_INPUT_TEXT']
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
Нәтижелерді алу және сақтау
Ailoot Ultra · Сөйлеу
Толық бинарлық аудио немесе бастапқы audio_url жауабы, тақырыптар және иелігіңіздегі әрбір ресурс.
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Басқа мазмұнды оқу
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
Барлық дайын нәтижені сақтау
Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.
Толық жауапты және тақырыптарды, алынған әрбір нәтижені, бастапқыда қайтарылған идентификаторларды және пайдалану туралы барлық өрістерді сақтаңыз. Жасау сұрауын қайта жібермей, бастапқы операцияны қалпына келтіріңіз.
Бастапқы жауапты тексеру қажет болса
Есептерді салыстырып тексеру үшін қайтарылған X-Client-Request-ID мәнін сақтаңыз. Тек нақты қайтарылған task_id/asset_id мәндері арқылы немесе өзіңізге тиесілі медиатекадан оқыңыз; операция ID мәнінен тапсырманың URL мекенжайын ешқашан құрастырмаңыз және жасау сұрауын ешқашан қайта жібермеңіз.
Балама атаулар
Модельдердің балама атаулары
Ailoot Ultra fish-audio/s2-pro
Әдіс жолдарының балама атаулары
Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.
Шақыруға арналған байланысты ID
FAQ · Fish Audio: S2 Pro
- Қандай кіріс деректері мен нәтижелер қолжетімді?
POST /v1/audio/speech·fish-audio/s2-pro:text→audio- Сұрау қандай өрістерді пайдаланады?
POST /v1/audio/speech·fish-audio/s2-pro:model,input,voice,response_format,provider