S2 Pro – tai Fish Audio antrosios kartos teksto vertimo kalba modelis išraiškingam pasakojimui, veikėjų dialogams ir pokalbio balso išvesčiai. Rašytinį scenarijų jis paverčia garsu ir palaiko natūralios kalbos nurodymus žodžio ar frazės lygmeniu. Ankstesnė S1 karta naudoja nurodymus paprastuose skliaustuose, o S2 Pro natyviai naudoja laužtinius skliaustus ir palaiko kelis kalbėtojus vienoje sintezės užklausoje. Gamintojas atskiram pritaikymui išleidžia S2 Pro svorius ir papildomo mokymo kodą; įprasta kalbos užklausa naudoja pasirinktą modelį, o ne moko naują.
Pirmiausia parašykite sakytinį turinį, tada atlikimo instrukciją įdėkite iškart prieš žodį ar frazę, kurią ji turi paveikti. Nurodymai gali aprašyti šnabždesį, reakciją, pauzę, emocinį pokytį ar laisvai apibrėžtą kalbėjimo stilių. Trumpame produkto paaiškinime išlaikykite aiškų faktinį sakinį ir pabrėžkite tik vietą, kurioje klausytojas turėtų pastebėti skirtumą. Veikėjo replikoje emocinį pokytį aprašykite tada, kai jis įvyksta, užuot visai ištraukai taikę vieną nekintamą nuotaiką.
Žymos laužtiniuose skliaustuose yra laisvai formuluojami aprašymai, o ne uždaras pasirinkimų sąrašas. Pavyzdžiai: [whispering], [sigh], [long pause] ir frazė, tokia kaip [speaking slowly, almost hesitant]. Žymos gali būti sakinio viduryje ir veikia po jų einančią kalbą. Po aprašomosios žymos turi būti tikras tekstas; atskira instrukcija gali duoti nenuspėjamą išvestį. Prieš pridėdami daugiau sluoksnių pradėkite nuo vieno ar dviejų naudingų nurodymų, nes tarpusavyje konkuruojančios žymos gali užgožti numatytą atlikimą. Skirtingi balso pavyzdžiai į tą patį nurodymą gali reaguoti nevienodu intensyvumu.
S2 leidimo apraše nurodoma maždaug 80 kalbų ir pateikiami atlikimo instrukcijų rašymo scenarijaus kalba pavyzdžiai. Tekstą parenkite ta kalba, kuria turi būti kalbama, ir išsaugokite vardus, vienetus bei santrumpas, kuriems reikia konkretaus perskaitymo. Daugiakalbis pasakojimas gali išlaikyti numatytą balsą keičiant scenarijaus kalbą, tačiau galutinį rezultatą vis tiek reikia perklausyti, tikrinant tarimą ir nuoseklumą. Sintezė pateiktą turinį paverčia kalba, o ne nusprendžia, kokią informaciją programa turėtų pasakyti.
Vienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite garso pavyzdį su atitinkama transkripcija. Momentiniam balso pritaikymui gamintojas rekomenduoja švarų 10–30 sekundžių pavyzdį. Dialogui naudokite kalbėtojų žymas, tokias kaip <|speaker:0|> ir <|speaker:1|>, su išrikiuotu balso identifikatorių sąrašu arba atskiromis kalbėtojų pavyzdžių grupėmis. Skaitinė žyma pasirenka atitinkamą balso įrašą; tęsiantis pokalbiui išlaikykite tą pačią tvarką. Natūralios kalbos atlikimo nurodymai ir kalbėtojo pasirinkimas scenarijuje atlieka skirtingus vaidmenis.
Garso išvestis gali būti MP3, WAV, neapdorotas PCM arba Opus. MP3 numatytoji sparta yra 128 kbps, taip pat galima 64 arba 192 kbps; Opus išvestis naudoja 48 kHz, o WAV ir PCM palaiko dokumentuotus diskretizavimo dažnių pasirinkimus 16 bitų monofoniniu formatu. Formatą rinkitės pagal tikrąją paskirtį: išsaugomą pasakojimo failą arba atkūrimui tinkamus garso fragmentus. Gamintojo kalbos darbo eiga taip pat aprašo tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas palaipsniui. Sugeneruotas rezultatas turėtų likti susietas su visu scenarijumi ir pasirinktais balsais.
Greitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo ir išvesties garsumo normalizavimo valdikliai. Teksto normalizavimas pagerina angliškų ir kiniškų skaičių skaitymą. Apdorojimas naudoja fragmentus 100–300 diapazone ir kiekvieno fragmento garso žetonų biudžetą, todėl šių nustatymų nereikėtų laikyti fiksuota didžiausia viso pasakojimo trukme. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą kitam segmentui. Atrankos valdikliai, tokie kaip temperature ir top-p, veikia įvairovę; sąmoningai valdomai replikai vis tiek reikia pakankamai teksto ir konteksto numatytam skambesiui perteikti.
Naudinga gamybos užduotis atskiria pasakojimą, dialogą ir atlikimo nurodymus, tada nurodo gaunamo rezultato balsą ir formatą. Klausydami tikrinkite praleistus žodžius, pasikartojantį garsą, skaičių tarimą, kalbėtojų pasikeitimus ir reakcijos laiką. Pataisykite neatitikimą sukėlusią repliką ar balso pavyzdį, užuot manę, kad daugiau žymų pagerins kiekvieną ištrauką. S2 Pro lieka atskiru ankstesnės S2 kartos modeliu; S2.1 Pro yra vėlesnis leidimas su savo patobulinimais ir modeliui būdinga nustatymų elgsena.
", "aboutText": "S2 Pro – tai Fish Audio antrosios kartos teksto vertimo kalba modelis išraiškingam pasakojimui, veikėjų dialogams ir pokalbio balso išvesčiai. Rašytinį scenarijų jis paverčia garsu ir palaiko natūralios kalbos nurodymus žodžio ar frazės lygmeniu. Ankstesnė S1 karta naudoja nurodymus paprastuose skliaustuose, o S2 Pro natyviai naudoja laužtinius skliaustus ir palaiko kelis kalbėtojus vienoje sintezės užklausoje. Gamintojas atskiram pritaikymui išleidžia S2 Pro svorius ir papildomo mokymo kodą; įprasta kalbos užklausa naudoja pasirinktą modelį, o ne moko naują.\n\nPirmiausia parašykite sakytinį turinį, tada atlikimo instrukciją įdėkite iškart prieš žodį ar frazę, kurią ji turi paveikti. Nurodymai gali aprašyti šnabždesį, reakciją, pauzę, emocinį pokytį ar laisvai apibrėžtą kalbėjimo stilių. Trumpame produkto paaiškinime išlaikykite aiškų faktinį sakinį ir pabrėžkite tik vietą, kurioje klausytojas turėtų pastebėti skirtumą. Veikėjo replikoje emocinį pokytį aprašykite tada, kai jis įvyksta, užuot visai ištraukai taikę vieną nekintamą nuotaiką.\n\nŽymos laužtiniuose skliaustuose yra laisvai formuluojami aprašymai, o ne uždaras pasirinkimų sąrašas. Pavyzdžiai: [whispering], [sigh], [long pause] ir frazė, tokia kaip [speaking slowly, almost hesitant]. Žymos gali būti sakinio viduryje ir veikia po jų einančią kalbą. Po aprašomosios žymos turi būti tikras tekstas; atskira instrukcija gali duoti nenuspėjamą išvestį. Prieš pridėdami daugiau sluoksnių pradėkite nuo vieno ar dviejų naudingų nurodymų, nes tarpusavyje konkuruojančios žymos gali užgožti numatytą atlikimą. Skirtingi balso pavyzdžiai į tą patį nurodymą gali reaguoti nevienodu intensyvumu.\n\nS2 leidimo apraše nurodoma maždaug 80 kalbų ir pateikiami atlikimo instrukcijų rašymo scenarijaus kalba pavyzdžiai. Tekstą parenkite ta kalba, kuria turi būti kalbama, ir išsaugokite vardus, vienetus bei santrumpas, kuriems reikia konkretaus perskaitymo. Daugiakalbis pasakojimas gali išlaikyti numatytą balsą keičiant scenarijaus kalbą, tačiau galutinį rezultatą vis tiek reikia perklausyti, tikrinant tarimą ir nuoseklumą. Sintezė pateiktą turinį paverčia kalba, o ne nusprendžia, kokią informaciją programa turėtų pasakyti.\n\nVienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite garso pavyzdį su atitinkama transkripcija. Momentiniam balso pritaikymui gamintojas rekomenduoja švarų 10–30 sekundžių pavyzdį. Dialogui naudokite kalbėtojų žymas, tokias kaip <|speaker:0|> ir <|speaker:1|>, su išrikiuotu balso identifikatorių sąrašu arba atskiromis kalbėtojų pavyzdžių grupėmis. Skaitinė žyma pasirenka atitinkamą balso įrašą; tęsiantis pokalbiui išlaikykite tą pačią tvarką. Natūralios kalbos atlikimo nurodymai ir kalbėtojo pasirinkimas scenarijuje atlieka skirtingus vaidmenis.\n\nGarso išvestis gali būti MP3, WAV, neapdorotas PCM arba Opus. MP3 numatytoji sparta yra 128 kbps, taip pat galima 64 arba 192 kbps; Opus išvestis naudoja 48 kHz, o WAV ir PCM palaiko dokumentuotus diskretizavimo dažnių pasirinkimus 16 bitų monofoniniu formatu. Formatą rinkitės pagal tikrąją paskirtį: išsaugomą pasakojimo failą arba atkūrimui tinkamus garso fragmentus. Gamintojo kalbos darbo eiga taip pat aprašo tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas palaipsniui. Sugeneruotas rezultatas turėtų likti susietas su visu scenarijumi ir pasirinktais balsais.\n\nGreitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo ir išvesties garsumo normalizavimo valdikliai. Teksto normalizavimas pagerina angliškų ir kiniškų skaičių skaitymą. Apdorojimas naudoja fragmentus 100–300 diapazone ir kiekvieno fragmento garso žetonų biudžetą, todėl šių nustatymų nereikėtų laikyti fiksuota didžiausia viso pasakojimo trukme. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą kitam segmentui. Atrankos valdikliai, tokie kaip temperature ir top-p, veikia įvairovę; sąmoningai valdomai replikai vis tiek reikia pakankamai teksto ir konteksto numatytam skambesiui perteikti.\n\nNaudinga gamybos užduotis atskiria pasakojimą, dialogą ir atlikimo nurodymus, tada nurodo gaunamo rezultato balsą ir formatą. Klausydami tikrinkite praleistus žodžius, pasikartojantį garsą, skaičių tarimą, kalbėtojų pasikeitimus ir reakcijos laiką. Pataisykite neatitikimą sukėlusią repliką ar balso pavyzdį, užuot manę, kad daugiau žymų pagerins kiekvieną ištrauką. S2 Pro lieka atskiru ankstesnės S2 kartos modeliu; S2.1 Pro yra vėlesnis leidimas su savo patobulinimais ir modeliui būdinga nustatymų elgsena.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "fc35cf9abc117dd3312bfad5db173eed4c9fdd9bec65604e46c05b0d93b2831f", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "lt", "methods": [ { "html": "fish-audio/s2-proFish Audio S2 Pro kuria išraiškingą daugiakalbę kalbą su žodžių lygmens atlikimo nurodymais ir natyviais kelių kalbėtojų dialogais. Instrukcijos laužtiniuose skliaustuose valdo scenarijaus atlikimą, balso pavyzdžiai apibrėžia kalbėtojus, o išvesties nustatymai formuoja garso rezultatą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
S2 Pro – tai Fish Audio antrosios kartos teksto vertimo kalba modelis išraiškingam pasakojimui, veikėjų dialogams ir pokalbio balso išvesčiai. Rašytinį scenarijų jis paverčia garsu ir palaiko natūralios kalbos nurodymus žodžio ar frazės lygmeniu. Ankstesnė S1 karta naudoja nurodymus paprastuose skliaustuose, o S2 Pro natyviai naudoja laužtinius skliaustus ir palaiko kelis kalbėtojus vienoje sintezės užklausoje. Gamintojas atskiram pritaikymui išleidžia S2 Pro svorius ir papildomo mokymo kodą; įprasta kalbos užklausa naudoja pasirinktą modelį, o ne moko naują.
Pirmiausia parašykite sakytinį turinį, tada atlikimo instrukciją įdėkite iškart prieš žodį ar frazę, kurią ji turi paveikti. Nurodymai gali aprašyti šnabždesį, reakciją, pauzę, emocinį pokytį ar laisvai apibrėžtą kalbėjimo stilių. Trumpame produkto paaiškinime išlaikykite aiškų faktinį sakinį ir pabrėžkite tik vietą, kurioje klausytojas turėtų pastebėti skirtumą. Veikėjo replikoje emocinį pokytį aprašykite tada, kai jis įvyksta, užuot visai ištraukai taikę vieną nekintamą nuotaiką.
Žymos laužtiniuose skliaustuose yra laisvai formuluojami aprašymai, o ne uždaras pasirinkimų sąrašas. Pavyzdžiai: [whispering], [sigh], [long pause] ir frazė, tokia kaip [speaking slowly, almost hesitant]. Žymos gali būti sakinio viduryje ir veikia po jų einančią kalbą. Po aprašomosios žymos turi būti tikras tekstas; atskira instrukcija gali duoti nenuspėjamą išvestį. Prieš pridėdami daugiau sluoksnių pradėkite nuo vieno ar dviejų naudingų nurodymų, nes tarpusavyje konkuruojančios žymos gali užgožti numatytą atlikimą. Skirtingi balso pavyzdžiai į tą patį nurodymą gali reaguoti nevienodu intensyvumu.
S2 leidimo apraše nurodoma maždaug 80 kalbų ir pateikiami atlikimo instrukcijų rašymo scenarijaus kalba pavyzdžiai. Tekstą parenkite ta kalba, kuria turi būti kalbama, ir išsaugokite vardus, vienetus bei santrumpas, kuriems reikia konkretaus perskaitymo. Daugiakalbis pasakojimas gali išlaikyti numatytą balsą keičiant scenarijaus kalbą, tačiau galutinį rezultatą vis tiek reikia perklausyti, tikrinant tarimą ir nuoseklumą. Sintezė pateiktą turinį paverčia kalba, o ne nusprendžia, kokią informaciją programa turėtų pasakyti.
Vienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite garso pavyzdį su atitinkama transkripcija. Momentiniam balso pritaikymui gamintojas rekomenduoja švarų 10–30 sekundžių pavyzdį. Dialogui naudokite kalbėtojų žymas, tokias kaip <|speaker:0|> ir <|speaker:1|>, su išrikiuotu balso identifikatorių sąrašu arba atskiromis kalbėtojų pavyzdžių grupėmis. Skaitinė žyma pasirenka atitinkamą balso įrašą; tęsiantis pokalbiui išlaikykite tą pačią tvarką. Natūralios kalbos atlikimo nurodymai ir kalbėtojo pasirinkimas scenarijuje atlieka skirtingus vaidmenis.
Garso išvestis gali būti MP3, WAV, neapdorotas PCM arba Opus. MP3 numatytoji sparta yra 128 kbps, taip pat galima 64 arba 192 kbps; Opus išvestis naudoja 48 kHz, o WAV ir PCM palaiko dokumentuotus diskretizavimo dažnių pasirinkimus 16 bitų monofoniniu formatu. Formatą rinkitės pagal tikrąją paskirtį: išsaugomą pasakojimo failą arba atkūrimui tinkamus garso fragmentus. Gamintojo kalbos darbo eiga taip pat aprašo tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas palaipsniui. Sugeneruotas rezultatas turėtų likti susietas su visu scenarijumi ir pasirinktais balsais.
Greitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo ir išvesties garsumo normalizavimo valdikliai. Teksto normalizavimas pagerina angliškų ir kiniškų skaičių skaitymą. Apdorojimas naudoja fragmentus 100–300 diapazone ir kiekvieno fragmento garso žetonų biudžetą, todėl šių nustatymų nereikėtų laikyti fiksuota didžiausia viso pasakojimo trukme. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą kitam segmentui. Atrankos valdikliai, tokie kaip temperature ir top-p, veikia įvairovę; sąmoningai valdomai replikai vis tiek reikia pakankamai teksto ir konteksto numatytam skambesiui perteikti.
Naudinga gamybos užduotis atskiria pasakojimą, dialogą ir atlikimo nurodymus, tada nurodo gaunamo rezultato balsą ir formatą. Klausydami tikrinkite praleistus žodžius, pasikartojantį garsą, skaičių tarimą, kalbėtojų pasikeitimus ir reakcijos laiką. Pataisykite neatitikimą sukėlusią repliką ar balso pavyzdį, užuot manę, kad daugiau žymų pagerins kiekvieną ištrauką. S2 Pro lieka atskiru ankstesnės S2 kartos modeliu; S2.1 Pro yra vėlesnis leidimas su savo patobulinimais ir modeliui būdinga nustatymų elgsena.
POST /v1/audio/speechtextaudio| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos fish-audio/s2-pro | Numatyta— |
Laukasinput | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias ilgis: 1 | Numatyta— |
Laukasvoice | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos b347db033a6549378b48d00acb0d06cd Mažiausias ilgis: 1 | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos mp3, pcm | Numatytapcm |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input, voice |
Parametrasmaterial_types | Specifikacijatext |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Apskaitos vienetas | Mokestis |
|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai — / 1K tokenų Išvestis · Išvesties tokenai — / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| Konfigūracijaįvesties UTF-8 baitas | Įkainių lentelė— | Apskaitos vienetasuž įvesties UTF-8 baitą | Mokestis Įvestis · įvesties UTF-8 baitas $0.00003 už įvesties UTF-8 baitą |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_INPUT_TEXT:?Set the actual documented input value}"\nexport AILOOT_INPUT_TEXT\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nrequest={'model': 'fish-audio/s2-pro', 'input': '${ACTUAL_INPUT_TEXT}', 'voice': 'b347db033a6549378b48d00acb0d06cd', 'response_format': 'mp3'}\nrequest['input']=os.environ['AILOOT_INPUT_TEXT']\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.\nVisas dvejetainis garsas arba pradinis audio_url atsakymas, antraštės ir kiekvienas jums priklausantis išteklius.
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json\n# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.\nIšsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visą atsakymą ir antraštes, visus faktiškai gautus rezultatus, pradinius grąžintus identifikatorius ir visus naudojimo apskaitos laukus. Atkurkite prieigą prie pradinės operacijos pakartotinai neteikdami kūrimo užklausos.
Išsaugokite grąžintą X-Client-Request-ID duomenims sutikrinti. Tikrinkite tik faktiškai grąžintas task_id/asset_id reikšmes arba jums priklausančią medijos biblioteką; niekada nekurkite užduoties URL iš operacijos ID ir niekada pakartotinai neteikite kūrimo užklausos.
Ailoot Ultra fish-audio/s2-pro
Naudokite aukščiau nurodytus metodų kelius.