HeyGen: Avatar IV
Avatar IV animuje fotografiu do hovoriaceho videa so synchronizovanými perami, pričom hlas usmerňuje výraz tváre a časovanie gest. HeyGen dokumentuje postupy zo scenára alebo nahraného zvuku a ovládanie pohybu Photo Avatar pre realistických aj štylizovaných moderátorov.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Avatar IV je avatarový engine HeyGen na premenu statického obrázka na expresívne hovoriace video. Jeho návrh prevodu zvuku na výraz inšpirovaný difúziou používa tón hlasu, rytmus a emócie na usmernenie pohybu tváre, naklonení hlavy, prestávok a mikrovýrazov. Účelom je moderátor alebo postava prednášajúca hovorený obsah so synchronizáciou pier a gestami, nie všeobecný generátor scén vytvárajúci celé prostredie a zvukovú stopu z filmového promptu.
Výrobca opisuje podporu realistických aj štylizovaných postáv vrátane záberov z uhla alebo z profilu, tvárí v štýle anime a domácich zvierat. Fotografické postavy fungujú najlepšie, keď sa dajú ľahko identifikovať oči, ústa a štruktúra tváre. HeyGen odporúča jasný, dobre osvetlený obrázok s prirodzeným postojom a viditeľnými rukami, ak záleží na gestách. Veľmi malá tvár, skryté pery, výrazné masky, nápadný zobák alebo výrazne prehnané proporcie môžu oslabiť pohyb tváre a synchronizáciu pier. Zdrojový záber prispôsobte zamýšľanému prednesu.
Výrobca poskytuje dve cesty vstupu reči. Písaný scenár sa páruje so zvoleným hlasom; vopred nahraná zvuková stopa dodáva hlas a časovanie priamo. Cestu nahraného zvuku použite, keď je prednes už stanovený, a cestu scenára, keď sa reč musí syntetizovať. Tieto vstupy sú v dokumentovanom rozhraní alternatívami. Pred animáciou pripravte konečné znenie, mená a výslovnosť a s vráteným videom uchovajte zvuk alebo scenár, aby sa hovorený výsledok dal skontrolovať.
Profil modelu Avatar IV od HeyGen pokrýva štúdiových avatarov, Digital Twins, Photo Avatars, priame obrázky a subjekty vytvorené promptom. Opätovne použiteľný Photo Avatar poskytuje stabilný subjekt pre neskoršie videá, kým postup priameho obrázka začína dodanou fotografiou. Profil Photo Avatar výrobcu ponúka voľné textové pokyny pohybu a voľby expresivity high, medium alebo low, s predvoleným low. Pri tvorbe série zachovajte zvolený vzhľad avatara a engine, aby zmena zdrojového obrázka alebo vykresľovacieho modelu nebola nepovšimnutou zmenou moderátora.
Pri vedení pohybu opíšte viditeľnú telesnú akciu a jej emocionálnu kvalitu. „Jemne prikyvuje s vrúcnym úsmevom“ dáva jedno gesto a jeden výraz; krátky pozdrav môže použiť prívetivé zamávanie. Výrobca odporúča jedno hlavné gesto, voliteľne spojené s výrazom tváre, a najviac dve krátke vetné časti pre postupnosť. Avatar IV rieši tempo z prednesu, preto príručka Studio nevyžaduje harmonogram gest po sekundách. Konkrétne stručné znenie sa kontroluje ľahšie než viacero súperiacich akcií v jednom prompte.
Profil prevodu zvuku na video výrobcu vykresľuje až tridsať minút dodaného zvuku na požiadavku a nahrané materiály MP3 alebo WAV majú limit 32 MB. Pri dlhšej lekcii alebo nahrávke rozdeľte materiál na súvislých hraniciach reči a zachovajte pôvodné poradie. Časovanie reči konečného videa má sledovať zvolený zvuk, nie nesúvisiaci odhad dĺžky klipu.
Dokumentované výstupné nastavenia výrobcu zahŕňajú 720p alebo 1080p a tvary 16:9, 9:16, 4:5, 5:4 alebo 1:1 s automatickou možnosťou sledujúcou zdrojové pomery. Prispôsobenie cover môže subjekt orezať; contain zmestí celý subjekt a môže ponechať viditeľné okolité pozadie. Postup prevodu zvuku na video predvolene vracia MP4. Pri video avataroch transparentný výstup WebM vyžaduje podporu oddeľovania pozadia a výrobca pre tento výstup aplikuje odstránenie pozadia namiesto kombinovania s novým pozadím. Pred vložením moderátora do väčšej kompozície skontrolujte skutočný záber a súbor.
Školiaci úvod môže použiť čitateľný obrázok moderátora, stručné vysvetlenie a jedno zdržanlivé gesto pri kľúčovom pokyne. Produktové vysvetlenie môže zachovať rovnaký vzhľad avatara a meniť hovorený scenár pre rôzne funkcie. Výrobca dokumentuje aj voliteľné titulkové súbory a vypálené titulky; ich znenie a časovanie skontrolujte spolu s rečou. Vykresľovanie je v rozhraní výrobcu asynchrónne, preto odpoveď vytvorenia a dokončené video sú odlišné výsledky. Hotovú nahrávku a jej stav dokončenia uchovajte s výsledkom úlohy.
Avatar IV zostáva odlišný od pohybu vedeného referenciou v Avatar V a jeho samostatného prednastaveného ovládania Studio. Odlišuje sa aj od všeobecného generovania scén HeyGen Video a interaktívnej konverzácie so živým avatarom. Vykreslený pohyb úst, viditeľné ruky, výraz tváre, prestávky a hovorené znenie skontrolujte podľa zdrojového materiálu a zamýšľaného tónu. Výsledok ovplyvňujú obrázok, póza, osvetlenie a pokyny pohybu; animáciu z fotografie treba kontrolovať ako generovaný prednes so zachovanými zvolenými vstupmi pre neskoršie revízie.
Ailoot Ultra · Generovanie videa POST /v1/videos heygen/avatar-iv
heygen/avatar-ivÚvod
Avatar IV animuje fotografiu do hovoriaceho videa so synchronizovanými perami, pričom hlas usmerňuje výraz tváre a časovanie gest. HeyGen dokumentuje postupy zo scenára alebo nahraného zvuku a ovládanie pohybu Photo Avatar pre realistických aj štylizovaných moderátorov.
- Povolené vstupy
- Text · Obrázky · Audio · Video
- Výsledky
- Video
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Generovanie videa POST /v1/videos
- Vstup
text,image,audio,video- Výstup
video
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity heygen/avatar-iv | Predvolené— |
Poleinput_references | Typarray | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 2 Maximálny počet položiek: 2 | Predvolené— |
Poleprompt | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input_references |
Parametermaterial_types | Špecifikáciatext, image, audio, video |
Parametermaterial_conditions | ŠpecifikáciaPoužite skutočné URL obsahu dokončených mediálnych súborov vo vašom vlastníctve s vrátenými podpismi: jeden zdroj videa pre BFL alebo jeden zdroj obrázka a jeden zdroj zvuku pre avatar. Vyžaduje sa overenie vlastníka, typu a bajtov v zdrojovom kóde., Zadajte presne jeden obrázok PNG/JPEG a jeden zvukový súbor WAV/MP3. Zvuk má najviac 32000000 bajtov, dĺžku väčšiu než 0 a najviac 1800 sekúnd. |
Životný cyklus: asynchronous_job_then_owned_outputs
GET /v1/videos/{request_id} · skutočne vrátené id alebo polling_url
GET /v1/videos/{request_id}/content
Cenník
Ako sa vypočíta konečný poplatok
Zobrazené sadzby slúžia na odhad nákladov pred generovaním. Konečný poplatok sa vypočíta z nákladov zaznamenaných pri pôvodnom generovaní. Namerané trvanie výstupu a predpokladané množstvá nepredstavujú konečné účtované množstvo.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Odhadované sadzby na porovnanie
Ceny podľa konfigurácie
Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.
| Konfigurácia | Sadzobník | Odhadované množstvo | Účtovacia jednotka | Podmienky účtovania | Poplatok |
|---|---|---|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Odhadované množstvo— | Účtovacia jednotka— | Podmienky účtovania— | Poplatok Vstup · Vstupné tokeny · Odhad iba na porovnanie — / 1K tokenov Výstup · Výstupné tokeny · Odhad iba na porovnanie — / 1K tokenov Vstup · Čítanie cache · Odhad iba na porovnanie — / 1K tokenov Vstup · Zápis do cache · Odhad iba na porovnanie — / 1K tokenov Vstup · Zápis do cache, 1 hod · Odhad iba na porovnanie — / 1K tokenov |
| KonfiguráciaCena videa | Sadzobník— | Odhadované množstvo— | Účtovacia jednotkaza sekundu videa | Podmienky účtovaniaV tomto cenovom kľúči nie je uvedená žiadna ďalšia podmienka. | Poplatok Výstup · Cena videa · Odhad iba na porovnanie $0.1 za sekundu videa |
| KonfiguráciaOdhadované náklady na generovanie | Sadzobník— | Odhadované množstvoodhad pre jedno generovanie | Účtovacia jednotka— | Podmienky účtovania— | Poplatok Výstup · Odhadované náklady na generovanie · Odhad iba na porovnanie $0.1 odhad pred generovaním Tento odhad nepredstavuje dodatočný poplatok ani pevnú sadzbu za dokončené generovanie. |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Generovanie videa
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_REFERENCES_JSON:?Set the actual documented input value}"
export AILOOT_INPUT_REFERENCES_JSON
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'heygen/avatar-iv', 'input_references': '${ACTUAL_OWNED_INPUT_REFERENCES}'}
request['input_references']=json.loads(os.environ['AILOOT_INPUT_REFERENCES_JSON'])
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/videos \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
Prijať a uložiť výsledky
Ailoot Ultra · Generovanie videa
GET /v1/videos/{request_id}GET /v1/videos/{request_id}/content
Uložiť všetky dokončené podklady
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_STATUS_FILE:?Set the actual completed status JSON file}"
export AILOOT_STATUS_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
from urllib.parse import urlsplit,urljoin
f=Path(os.environ["AILOOT_STATUS_FILE"])
if not f.is_file():raise SystemExit("Choose the actual completed status file")
r=json.loads(f.read_text())
if r.get("status")!="completed" or not isinstance(r.get("data"),list) or not r["data"]:raise SystemExit("Wait for a completed status with asset paths")
urls=[]
for x in r["data"]:
if not isinstance(x,str) or "\n" in x or "\r" in x:raise SystemExit("Invalid asset path")
u=urljoin("https://api.ailoot.ai",x)
z=urlsplit(u)
if z.scheme!="https" or z.netloc!="api.ailoot.ai" or z.username or z.password:raise SystemExit("Use the actual Ailoot asset paths from status")
urls.append(u)
Path("asset-urls.txt").write_text("\n".join(urls)+"\n")
PY_REQUEST
index=0
while IFS= read -r asset_url; do
curl --fail-with-body --silent --show-error "$asset_url" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o "video-${index}.mp4"
index=$((index + 1))
done < asset-urls.txt
Uchovať všetky dokončené výsledky
Uložte každé dokončené video alebo vrátený súbor; načítajte obsah každej skutočne vrátenej URL podkladu.
Uchovajte úplnú odpoveď a hlavičky, všetky skutočné výstupy, pôvodné vrátené identifikátory a všetky polia s údajmi o spotrebe. Obnovte pôvodnú operáciu bez opätovného odoslania požiadavky na vytvorenie.
Ak treba overiť pôvodnú odpoveď
Zachovajte X-Client-Request-ID, X-Ailoot-Task-Id a skutočne vrátené id/polling_url. Pokračujte v pôvodnej úlohe; vytvorenie znova neodosielajte.
Polia odpovede
| Pole | Typ |
|---|---|
Poleid | Typ |
Polestatus | Typ |
Poledata[] | Typ |
Poleoutputs[] | Typ |
Aliasy
Aliasy modelov
Ailoot Ultra heygen/avatar-iv
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · HeyGen: Avatar IV
- Aké vstupy a výsledky sú dostupné?
POST /v1/videos·heygen/avatar-iv:text,image,audio,video→video- Aké polia používa požiadavka?
POST /v1/videos·heygen/avatar-iv:model,input_references,prompt