Canopy Labs: Orpheus 3B
Anglický doladěný řečový model Orpheus 3B od Canopy Labs převádí psané repliky na expresivní zvuk. Osm přednastavených hlasů a neverbální značky podporují vyprávění, dialogy i mluvené odpovědi aplikací.
O modelu
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
Orpheus 3B 0.1 Fine-Tuned je anglický model převodu textu na řeč od Canopy Labs pro běžnou syntézu. Patří do rodiny Orpheus založené na architektuře Llama 3B a zaměřuje se na přirozenou intonaci, rytmus a expresivní přednes. Vstupem je text určený k vyslovení a vybraný mluvčí; výstupem je zvuk řeči. Výrobce u tohoto konkrétního doladěného modelu uvádí také zero-shot klonování hlasu. Jeho zveřejněný příklad doladěné syntézy používá přednastavené mluvčí, zatímco zadávání textu a řeči podmíněné referencí je dokumentováno samostatně pro předtrénovanou verzi. Tato doladěná verze je odlišná od předtrénovaného modelu i od samostatně vydaných vícejazyčných výzkumných modelů.
Vyberte mluvčího a připravte repliku
Výrobce uvádí osm anglických přednastavených hlasů: tara, leah, jess, leo, dan, mia, zac a zoe. Jeho konvence zadávání umisťuje jméno mluvčího před mluvený text a odděluje je dvojtečkou. Referenční postup generování řeči může toto formátování přidat, pokud je hlas zadán samostatně. Mluvčího vyberte podle zamýšleného díla a tuto volbu zachovejte v navazujících pasážích.
Pro krátké vysvětlení napište konečné znění vyprávění, nikoli pokyn, aby model vysvětlení vymyslel. Užitečný příklad anglické mluvené věty zní: „Choose the folder you want to share, check who can open it, and save the changes.“ U dialogu výslovně připravte repliku každého mluvčího a zachovejte interpunkci usnadňující přednes. Zkratku, datum nebo název produktu zapište v podobě, kterou má posluchač slyšet, zvláště pokud by jejich písemná zkratkovitá podoba byla nejednoznačná.
Výrazové a neverbální pokyny
Orpheus dokumentuje značky <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> a <gasp>. Vkládají do textu výslovnou neverbální událost v příslušném místě. Krátká konverzační pasáž může umístit zasmání před odlehčenou poznámku nebo povzdech před zamyšlenou větu. Pokyn použijte tam, kam v přednesu patří, a skutečná slova repliky ponechte jasná.
Jde o pokyny pro generování řeči, nikoli o obecný jazyk příkazů pro úpravu existující nahrávky. U komentáře začněte dobře čitelným textem a přidejte pouze výrazové události, které scéna potřebuje. Poslechněte celou repliku a posuďte, zda událost, důraz a tempo podporují význam. Vypravěčský úkol může vyžadovat vyrovnaný hlas, zatímco replice postavy může prospět konkrétní neverbální pokyn.
Streamování a zvukový výsledek
Výrobce poskytuje notebook bez streamování i příklad streamované řeči. Streamování vrací postupné zvukové části během generování pasáže. Ve zveřejněném příkladu se tyto části zapisují do monofonního souboru WAV s frekvencí 24 000 Hz a 16bitovými vzorky. Tato souborová nastavení popisují referenční postup; užitečným výsledkem je přehratelná nahrávka, jejíž slova, mluvčího a přednes lze zkontrolovat proti scénáři.
U delšího vyprávění připravte souvislé pasáže s jasnými hranicemi vět a vedle zvuku uchovejte kopii konečného scénáře. Zkontrolujte začátek a konec každé pasáže, výslovnost důležitých jmen a přechod mezi sousedními nahrávkami. Pokyny výrobce ke vzorkování stanovují pro stabilní generování v referenční implementaci penalizaci opakování nejméně 1.1 a upozorňují, že volby vzorkování mohou ovlivnit rychlost řeči. Délka modelu nastavená v příkladu je parametrem inference, nikoli stanovenou maximální délkou vyprávění.
Hranice jednotlivých verzí
Tento profil se týká doladěného anglického modelu s dokumentovanými přednastavenými mluvčími. Předtrénovaný model má vlastní postup podmiňování textem a řečí; vícejazyčné verze mají jazykově specifické mluvčí a značky. Volba této anglické verze nespojuje uvedené samostatné profily. Praktickým výstupem je mluvený scénář, záměrně vybraný přednastavený hlas a zvuk zkontrolovaný z hlediska znění i přednesu požadovaného pro dané dílo.
Ailoot Ultra · Převod na řeč POST /v1/audio/speech canopylabs/orpheus-3b-0.1-ft
canopylabs/orpheus-3b-0.1-ftÚvod
Anglický doladěný řečový model Orpheus 3B od Canopy Labs převádí psané repliky na expresivní zvuk. Osm přednastavených hlasů a neverbální značky podporují vyprávění, dialogy i mluvené odpovědi aplikací.
- Přijímané vstupy
- Text
- Výsledky
- Zvuk
Dostupné v Ailoot · vstupy a metody
Ailoot Ultra · Převod na řeč POST /v1/audio/speech
- Vstup
text- Výstup
audio- Výstupní formát
- mp3
| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity canopylabs/orpheus-3b-0.1-ft | Výchozí— |
Poleinput | Typstring | PožadavekPovinné | Hodnoty a limity Minimální délka: 1 Jednotka: znaky Unicode | Výchozí— |
Polevoice | Typstring | PožadavekPovinné | Hodnoty a limity tara, leah, jess, leo, dan, mia, zac | Výchozí— |
Poleresponse_format | Typstring | PožadavekPovinné | Hodnoty a limity mp3 | Výchozí— |
Kombinace vstupních materiálů
text_to_speech · Povinné: input
Parametry a životní cyklus metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input, voice, response_format |
Parametrvoice_ids | Kontrakttara, leah, jess, leo, dan, mia, zac |
Parametrresponse_format | Kontraktmp3 |
Parametrmax_input_characters | Kontraktnull |
Parametrother_options | Kontraktfalse |
Parametrinput | Kontraktpřesný text UTF-8; počet znaků Unicode bez normalizace |
Parametrmaterial_types | Kontrakttext |
Životní cyklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · skutečně vrácené task_id nebo záznam v knihovně médií
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Vyberte přesný hlas z tohoto profilu modelu.
Vstupní znaky a sekundy zvuku jsou různé měrné jednotky.
Tarify
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
- Rychlý režim
- Neuvedeno Při výběru rychlého režimu
- Režim flex
- Neuvedeno Při výběru režimu flex
- Maximální intenzita uvažování
- Neuvedeno Když se při maximální intenzitě uvažování použije výchozí úprava (default)
Sazby Ailoot
Ceny podle konfigurace
Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu.
| Konfigurace | Tabulka sazeb | Účtované množství | Účtovací jednotka | Poplatek |
|---|---|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Účtované množství— | Účtovací jednotka— | Poplatek Vstup · Vstupní tokeny — / 1K tokenů Výstup · Výstupní tokeny — / 1K tokenů Vstup · Čtení z mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
| KonfiguraceUltra | Tabulka sazeb— | Účtované množstvíKaždý kódový bod Unicode se počítá jako jeden znak, včetně znaků Han. | Účtovací jednotkaza 1K vstupních znaků | Poplatek Vstup · vstupní znak $0.03 za 1K vstupních znaků |
Podrobnosti referenčního tarifu
Referenční tabulky modelu nemění výběr metody, cenové nabídky ani poplatky. Skutečné poplatky používají sazby vybrané metody Ailoot.
Canopy Labs: Orpheus 3B
Ceny podle konfigurace
| Konfigurace | Podmínky účtování | Poplatek |
|---|---|---|
| KonfiguraceCanopy Labs: Orpheus 3B · Výchozí konfigurace | Podmínky účtováníVýchozí konfigurace | Poplatek Vstup · Vstupní znaky 0,000014 US$ za vstupní znak |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
Příklady požadavků
Ailoot Ultra · Převod na řeč
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_VOICE_ID:?Choose an accepted voice ID from this exact model profile}"
export AILOOT_VOICE_ID
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "canopylabs/orpheus-3b-0.1-ft", "input": "Good afternoon! This is a short voice take."}')
voice=os.environ["AILOOT_VOICE_ID"]
allowed=json.loads('["tara", "leah", "jess", "leo", "dan", "mia", "zac"]')
if voice not in allowed: raise SystemExit("Choose an accepted voice ID from this exact model profile")
p["voice"]=voice
p["response_format"]="mp3"
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o speech.mp3
Přijímání a ukládání výsledků
Ailoot Ultra · Převod na řeč
mp3
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
Další načtení obsahu
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-assets.json
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_MEDIA_TASK_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_MEDIA_TASK_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_MEDIA_TASK_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/tasks/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-task.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-task.json").read_text())))
PY_RESULT
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_ASSET_ID:?Set the actual ID returned by the response or media-library metadata}"
export AILOOT_ASSET_ID
resource_id=$(python3 -c 'import os,urllib.parse;print(urllib.parse.quote(os.environ["AILOOT_ASSET_ID"],safe=""))')
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/media/assets/$resource_id" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o media-asset.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
print(json.dumps(json.loads(Path("media-asset.json").read_text())))
PY_RESULT
Uchovejte všechny dokončené výsledky
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Uchovejte úplný binární výsledek a hlavičky. Pokud odpověď obsahuje JSON nebo více výstupů, uchovejte všechny datové položky a stáhněte každý soubor ze skutečně vrácené podepsané URL.
Pokud je nutné ověřit původní odpověď
Uchovejte původní operation_id/X-Client-Request-ID pro spárování záznamů bez opětovného odeslání; samostatná trasa pro dotazování na stav zvuku neexistuje.
Pole odpovědi
| Pole | Typ |
|---|---|
Polebinary audio | Typbytes |
Poleresponse headers | Typheaders |
Chyby a další kroky
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Odpověďserver_error | PodmínkaVrácená odpověď uvádí, že operaci nebo výsledek je třeba zkontrolovat | Další krokUchovejte původní vrácené ID operace nebo úlohy, hlavičky požadavku a odpověď; pokračujte v podporovaném načítání údajů o této původní operaci. Požadavek na vytvoření znovu neodesílejte. |
Aliasy
Aliasy modelu
Ailoot Ultra canopylabs/orpheus-3b-0.1-ft
Aliasy cest metod
Použijte cesty metod uvedené výše.
Související ID modelů
FAQ · Canopy Labs: Orpheus 3B
- Jaké vstupy a výsledky jsou dostupné?
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:text→audio- Jaká pole požadavek používá?
POST /v1/audio/speech·canopylabs/orpheus-3b-0.1-ft:model,input,voice,response_format