Canopy Labs: Orpheus 3B
Canopy Labs Orpheus 3B papildomai mokytas anglų kalbos modelis paverčia parašytas frazes išraiškingu garsu. Aštuoni iš anksto nustatyti balsai ir neverbalinės žymos tinka pasakojimui, dialogui bei sakytiniams programų atsakymams.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Orpheus 3B 0.1 Fine-Tuned yra Canopy Labs anglų kalbos teksto įgarsinimo modelis kasdienei sintezei. Jis priklauso Orpheus šeimai, sukurtai Llama 3B pagrindu, ir orientuojasi į natūralią intonaciją, ritmą bei išraiškingą kalbėjimą. Įvestis yra tekstas, kurį reikia ištarti, su pasirinktu kalbėtoju; išvestis – kalbos garsas. Gamintojas šiam konkrečiam papildomai mokytam modeliui taip pat nurodo balso klonavimą be papildomų mokymo pavyzdžių. Paskelbtame papildomai mokyto modelio sintezės pavyzdyje naudojami iš anksto nustatyti kalbėtojai, o tekstu ir kalba su etalonu sąlygojamos užklausos atskirai dokumentuojamos iš anksto mokytai versijai. Ši papildomai mokyta versija skiriasi nuo iš anksto mokyto modelio ir atskirai išleistų daugiakalbių tyrimų modelių.
Pasirinkite kalbėtoją ir paruoškite frazę
Gamintojas nurodo aštuonis iš anksto nustatytus angliškus balsus: tara, leah, jess, leo, dan, mia, zac ir zoe. Jo užklausos taisyklė kalbėtojo vardą deda prieš sakytinį tekstą, atskirdama dvitaškiu. Etaloninis kalbos generavimo procesas gali pridėti šį formatavimą, kai balsas pateikiamas atskirai. Pasirinkite kalbėtoją numatytam kūriniui ir tą pasirinkimą išlaikykite nuoseklų susijusiose ištraukose.
Trumpam paaiškinimui parašykite galutinį pasakojimo tekstą, o ne instrukciją, prašančią modelio sugalvoti paaiškinimą. Naudinga sakytinė frazė: „Pasirinkite aplanką, kuriuo norite dalytis, patikrinkite, kas gali jį atidaryti, ir išsaugokite pakeitimus.“ Dialogui aiškiai paruoškite kiekvieno kalbėtojo frazę ir išsaugokite kalbėjimui padedančią skyrybą. Santrumpą, datą ar produkto pavadinimą reikia rašyti tokia forma, kokią turi girdėti klausytojas, ypač kai rašytinė trumpinimo forma būtų dviprasmiška.
Išraiškingumo ir neverbalinės žymos
Orpheus dokumentuoja žymas <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> ir <gasp>. Jos atitinkamoje teksto vietoje aiškiai nurodo neverbalinį įvykį. Trumpoje pokalbio ištraukoje prieš lengvą pastabą galima įterpti sukrizenimą, o prieš apmąstantį sakinį – atodūsį. Žymą naudokite ten, kur ji priklauso atlikime, ir išlaikykite aiškius faktinius frazės žodžius.
Tai kalbos generavimo žymos, o ne bendroji instrukcijų kalba esamam įrašui redaguoti. Įgarsinimui pradėkite nuo skaitomo teksto ir pridėkite tik scenai reikalingus išraiškingus įvykius. Perklausykite visą frazę, kad įvertintumėte, ar įvykis, akcentavimas ir tempas padeda perteikti prasmę. Pasakojimo užduočiai gali reikėti tolygaus balso, o veikėjo frazei gali būti naudinga konkreti neverbalinė žyma.
Srautinis perdavimas ir garso rezultatas
Gamintojas pateikia ir nesrautinę užrašinę, ir srautinės kalbos pavyzdį. Srautinis perdavimas grąžina nuoseklias garso dalis generuojant ištrauką. Paskelbtame pavyzdyje šios dalys įrašomos į mono WAV failą 24 000 Hz dažniu su 16 bitų ėminiais. Šie failo nustatymai aprašo etaloninį procesą; naudingas rezultatas yra atkuriamas įrašas, kurio žodžius, kalbėtoją ir kalbėjimo manierą galima palyginti su tekstu.
Ilgesniam pasakojimui paruoškite nuoseklias ištraukas su aiškiomis sakinių ribomis ir galutinio teksto kopiją saugokite šalia garso. Patikrinkite kiekvienos ištraukos pradžią bei pabaigą, svarbių vardų tarimą ir perėjimą tarp gretimų įrašų. Gamintojo atrankos gairėse stabiliam generavimui etaloninėje realizacijoje nurodoma bent 1.1 pasikartojimo bauda ir pažymima, kad atrankos pasirinkimai gali paveikti kalbėjimo greitį. Pavyzdyje sukonfigūruotas modelio ilgis yra vykdymo nustatymas, o ne patvirtinta didžiausia pasakojimo trukmė.
Versijų ribos
Šis profilis apima papildomai mokytą anglišką modelį su dokumentuotais iš anksto nustatytais kalbėtojais. Iš anksto mokytas modelis turi savą tekstu ir kalba sąlygojamą procesą; daugiakalbiai leidimai turi konkrečioms kalboms skirtus kalbėtojus ir žymas. Pasirinkus šią anglišką versiją atskiri profiliai nesujungiami. Praktinis rezultatas yra sakytinis tekstas, tikslingai pasirinktas iš anksto nustatytas balsas ir garsas, patikrintas pagal kūriniui reikalingas formuluotes bei atlikimą.
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech canopylabs/orpheus-3b-0.1-ft
canopylabs/orpheus-3b-0.1-ftPradžia
Canopy Labs Orpheus 3B papildomai mokytas anglų kalbos modelis paverčia parašytas frazes išraiškingu garsu. Aštuoni iš anksto nustatyti balsai ir neverbalinės žymos tinka pasakojimui, dialogui bei sakytiniams programų atsakymams.
- Leidžiamos įvestys
- Tekstas
- Rezultatai
- Garsas
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įgarsinimas POST /v1/audio/speech
- Įvestis
text- Išvestis
audio- Išvesties formatas
- mp3
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos canopylabs/orpheus-3b-0.1-ft | Numatyta— |
Laukasinput | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias ilgis: 1 Vienetas: Unicode simboliai | Numatyta— |
Laukasvoice | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos tara, leah, jess, leo, dan, mia, zac | Numatyta— |
Laukasresponse_format | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos mp3 | Numatyta— |
Įvesties medžiagos deriniai
text_to_speech · Privaloma: input
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input, voice, response_format |
Parametrasvoice_ids | Specifikacijatara, leah, jess, leo, dan, mia, zac |
Parametrasresponse_format | Specifikacijamp3 |
Parametrasmax_input_characters | Specifikacijanull |
Parametrasother_options | Specifikacijafalse |
Parametrasinput | Specifikacijatikslus UTF-8 tekstas; Unicode simbolių skaičius be normalizavimo |
Parametrasmaterial_types | Specifikacijatext |
Gyvavimo ciklas: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · faktiškai grąžinta task_id reikšmė arba medijos bibliotekos įrašas
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Pasirinkite tikslų balsą iš šio modelio profilio.
Įvesties simboliai ir garso sekundės yra skirtingi apskaitos vienetai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Apmokestinamas kiekis | Apskaitos vienetas | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Apmokestinamas kiekis— | Apskaitos vienetas— | Mokestis Įvestis · Įvesties tokenai — / 1K tokenų Išvestis · Išvesties tokenai — / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUltra | Įkainių lentelė— | Apmokestinamas kiekisKiekvienas Unicode kodo taškas, įskaitant Han simbolius, skaičiuojamas kaip vienas simbolis. | Apskaitos vienetasuž 1K įvesties simbolių | Mokestis Įvestis · įvesties simbolis $0.03 už 1K įvesties simbolių |
Informacinio tarifo duomenys
Modelio informacinės lentelės nekeičia metodo pasirinkimo, kainos įverčių ar mokesčių. Galiojantys mokesčiai nustatomi pagal pasirinkto Ailoot metodo įkainius.
Canopy Labs: Orpheus 3B
Kainos pagal konfigūraciją
| Konfigūracija | Apmokestinimo sąlygos | Mokestis |
|---|---|---|
| KonfigūracijaCanopy Labs: Orpheus 3B · Numatytoji konfigūracija | Apmokestinimo sąlygosNumatytoji konfigūracija | Mokestis Įvestis · Įvesties simboliai 0,000014 USD už įvesties simbolį |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įgarsinimas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "canopylabs/orpheus-3b-0.1-ft", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["tara", "leah", "jess", "leo", "dan", "mia", "zac"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įgarsinimas
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Kito turinio skaitymas
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visą dvejetainį rezultatą ir antraštes. Jei grąžinamas JSON arba keli rezultatai, išsaugokite kiekvieną duomenų elementą ir atsisiųskite kiekvieną išteklių pagal faktiškai grąžintą pasirašytą URL.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite pradinį operation_id/X-Client-Request-ID duomenims sutikrinti, pakartotinai neteikdami užklausos; atskiro garso būsenos tikrinimo maršruto nėra.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasbinary audio | Tipasbytes |
Laukasresponse headers | Tipasheaders |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Atsakymasserver_error | SąlygaGrąžintame atsakyme nurodoma, kad operaciją arba rezultatą reikia patikrinti | Kitas žingsnisIšsaugokite pradinį grąžintą operacijos ar užduoties ID, užklausos antraštes ir atsakymą; toliau tikrinkite tos pačios pradinės operacijos duomenis palaikomais būdais. Kūrimo užklausos pakartotinai neteikite. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra canopylabs/orpheus-3b-0.1-ft
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Canopy Labs: Orpheus 3B
- Kokios įvestys ir rezultatai prieinami?
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:text→audio- Kokius laukus naudoja užklausa?
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:model,input,voice,response_format