Fish Audio: S1
Fish Audio S1 paverčia daugiakalbius tekstus išraiškingu vieno kalbėtojo garsu, naudodamas balso etalonus ir emocijų žymas skliaustuose. Naudokite jį pasakojimams, trumpoms sakytinėms instrukcijoms ar veikėjų frazėms; formato ir prozodijos valdikliai padeda paruošti galutinį garsą.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
S1 yra ankstesnės kartos Fish Audio teksto įgarsinimo modelis išraiškingam pasakojimui ir vieno kalbėtojo balso išvesčiai. Jis skaito pateiktą tekstą ir grąžina garsą, naudodamas pasirinktą arba etalonu sąlygojamą balsą. Pilnas S1 modelis skiriasi nuo S1-mini, mažesnio distiliuoto modelio; gamintojas juos pristato atitinkamai kaip 4 milijardų ir 0,5 milijardo parametrų atmainas. Šis profilis apima konkretų S1 modelį.
Pasakojimui paruoškite žodžius, kurie iš tikrųjų turi būti ištarti, ir pažymėkite vietas, kur turi keistis kalbėjimas. Naudingas aiškinamasis tekstas pirmiausia pateikia pagrindinę mintį, vienu metu plėtoja vieną idėją ir skyryba atskiria frazes, kurioms reikia natūralios pauzės. Trumpos instrukcijos formuluotę išlaikykite aiškią klausant be ekrano. Išsaugokite numatytą vardų, santrumpų bei vienetų skaitymą ir skaičius patikrinkite sakytinėje išvestyje, užuot manę, kad vizualiai skaitoma eilutė turi tik vieną tarimą.
S1 naudoja emocijos ir kalbėjimo žymas skliaustuose, pavyzdžiui, (angry), (sad), (in a hurry) arba (chuckling). Žymą dėkite prieš sakinį ar frazę, kurią ji turi paveikti, o po jos – faktinę kalbą. Kalbėjimo maniera taikoma toliau einančiam tekstui, todėl nuotaikos pokytis turi atsirasti ten, kur turi keistis atlikimas. Ši sintaksė skiriasi nuo S2 instrukcijų laužtiniuose skliaustuose; tekstą ruoškite pasirinktai kartai, užuot manę, kad abi žymėjimo formos pakeičiamos tarpusavyje.
Balsą galima pasirinkti pagal išsaugotą balso identifikatorių arba sąlygoti etaloniniu įrašu kartu su jo transkripcija. Momentiniam etaloniniam procesui bendras kalbos vadovas rekomenduoja švarų 10–30 sekundžių pavyzdį. Pasirinkite pavyzdį, kurio kalbėjimo stilius ir įrašo kokybė tinka numatytam rezultatui, ir suderinkite transkripciją su to pavyzdžio žodžiais. Pasikartojančiam pasakotojui skirtingose ištraukose pakartotinai naudokite tą patį balso etaloną, kad temos pasikeitimas netyčia netaptų charakterio pasikeitimu.
S1 leidime tarp palaikomų kalbų nurodomos anglų, kinų, japonų, vokiečių, prancūzų, ispanų, korėjiečių, arabų, rusų, nyderlandų, italų, lenkų ir portugalų kalbos bei aprašomas kalbų maišymas viename tekste. Pateikite tikslinės kalbos formuluotes, užuot kalbos sintezę laikę vertimo žingsniu. Ištraukoje su skolintu vardu ar kalbos kaita išlaikykite aiškią rašybą ir aplinkinio sakinio kontekstą bei patikrinkite, kaip pasirinktas balsas perteikia tą perėjimą.
S1 gamintojo sąsaja palaiko vieną kalbėtoją vienai sintezės užklausai. Dialogą galima paruošti kaip atskirus segmentus su savais balso etalonais, o tada surinkti programoje; savoji S2 šeimos kelių kalbėtojų sintezė yra atskira galimybė. Ruošdami veikėjų frazes su kiekvienu segmentu susiekite vaidmenį, balsą ir tekstą. Sintezės rezultatas yra garsinis teksto atlikimas, o pokalbio laiko derinimas ar jungimas su muzika ir vaizdu – vėlesnis redagavimo žingsnis.
Išvesties parinktys apima MP3, WAV, neapdorotą PCM ir Opus, numatytasis formatas – MP3. Dokumentuota išvestis yra mono; WAV ir PCM naudoja 16 bitų ėminius, o formatų diskretizavimo dažnių pasirinkimai skiriasi. MP3 palaiko 64, 128 ir 192 kbps, o Opus naudoja 48 kHz. Greitį galima reguliuoti nuo 0.5 iki 2.0 kartu su garsumo valdikliais. Įgarsinimo rezultatui pasirinkite koduotą failą arba atkūrimui tinkamą srautą ir kartu su rezultatu išsaugokite pasirinktą balsą bei tekstą.
Gamintojas ilgą tekstą apdoroja dalimis, dokumentuodamas dalių ilgio intervalą 100–300 ir garso žetonų biudžetą kiekvienai daliai, o ne garantuotą bendrą įrašo trukmę. Teksto normalizavimas gali paversti angliškus ir kiniškus skaičius natūraliu skaitymu, o S1 pasikartojimo bauda gali sumažinti pasikartojančius garso šablonus. Išvesties garsumo normalizavimas yra kitas nustatymas ir S1 neveikia. Prieš surinkdami galutinę ištrauką patikrinkite tarimą, frazių ribas, pasikartojančius garsus ir numatytą emocinį pokytį, tada pataisykite konkrečią frazę ar etaloną, kuriam reikia dėmesio.
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech fish-audio/s1
fish-audio/s1Pradžia
Fish Audio S1 paverčia daugiakalbius tekstus išraiškingu vieno kalbėtojo garsu, naudodamas balso etalonus ir emocijų žymas skliaustuose. Naudokite jį pasakojimams, trumpoms sakytinėms instrukcijoms ar veikėjų frazėms; formato ir prozodijos valdikliai padeda paruošti galutinį garsą.
- Leidžiamos įvestys
- Tekstas
- Rezultatai
- Garsas
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech
- Įvestis
text- Išvestis
audio- Išvesties formatas
- tikrieji deklaruoto dvejetainio garso duomenys
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos fish-audio/s1 | Numatyta— |
Laukasinput | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias ilgis: 1 | Numatyta— |
Laukasvoice | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: b347db033a6549378b48d00acb0d06cd | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos mp3, pcm | Numatytapcm |
Įvesties medžiagos deriniai
text_to_speech · Privaloma: actual UTF-8 script, exact supported voice
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input, voice |
Parametrasmaterial_types | Specifikacijatext |
Parametrasvoice_ids | Specifikacijab347db033a6549378b48d00acb0d06cd |
Parametrasvoice_list_exhaustive | Specifikacijafalse |
Parametrasresponse_format | Specifikacijamp3, pcm |
Parametrasdefault_response_format | Specifikacijapcm |
Parametrasquantity | SpecifikacijaVienos dekoduotos įvesties simbolių eilutės UTF-8 baitai; be tarpų šalinimo pradžioje ar pabaigoje ir be normalizavimo |
Parametrasnative_byte_quote_controls | SpecifikacijaŠis tikslus kainos nustatymo pagal baitus kelias atmeta netuščias instructions ir kelių kalbėtojų replikų įvestį, kol nedeklaruotas papildomas apmokestinamas tekstas. |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Naudokite tikslų modelį ir dokumentacijoje nurodytus įvesties laukus.
Išsaugokite visą atsakymą, kiekvieną tikrą rezultatą ir pradinius grąžintus ID.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Apskaitos vienetas | Mokestis |
|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai — / 1K tokenų Išvestis · Išvesties tokenai — / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUltra | Įkainių lentelė— | Apskaitos vienetasuž įvesties garso utf8 baitą | Mokestis Įvestis · garso įvesties UTF-8 baitas $0.00003 už įvesties garso utf8 baitą |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Informacinio tarifo duomenys
Modelio informacinės lentelės nekeičia metodo pasirinkimo, kainos įverčių ar mokesčių. Galiojantys mokesčiai nustatomi pagal pasirinkto Ailoot metodo įkainius.
Fish Audio: S1
Kainos pagal konfigūraciją
| Konfigūracija | Apmokestinimo sąlygos | Mokestis |
|---|---|---|
| KonfigūracijaFish Audio: S1 · Numatytoji konfigūracija | Apmokestinimo sąlygosNumatytoji konfigūracija | Mokestis Įvestis · Įvesties UTF-8 baitai 0,00003 USD už įvesties UTF-8 baitą |
Užklausų pavyzdžiai
Ailoot Ultra · Įgarsinimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'fish-audio/s1', 'input': 'Hello world', 'voice': 'b347db033a6549378b48d00acb0d06cd', 'response_format': 'mp3'}
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įgarsinimas
tikrieji deklaruoto dvejetainio garso duomenys
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus dvejetainius baitus ir visas pradines antraštes; jei grąžinamas JSON, išsaugokite jį visą. Tikrieji operacijų ir išteklių ID išsaugomi.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite pradinius operation_id/X-Client-Request-ID ir pradinį atsakymą. Skaitykite tikrus jums priklausančių užduočių ir išteklių įrašus neteikdami užklausos pakartotinai; atskiras garso būsenos tikrinimo URL nekuriamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasbinary audio | Tipasbytes |
Laukasresponse headers | Tipasheaders |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra fish-audio/s1
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Fish Audio: S1
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/speech·fish-audio/s1:text→audio- Kokius laukus naudoja užklausa?
POST /v1/audio/speech·fish-audio/s1:model,input,voice,response_format