HeyGen: Avatar IV
Avatar IV animuoja nuotrauką į kalbantį vaizdo įrašą su sinchronizuotais lūpų judesiais, o veido išraišką ir gestų laiką nukreipia balsas. HeyGen dokumentuoja scenarijaus arba įrašyto garso eigas ir Photo Avatar judesio valdiklius tikroviškiems ar stilizuotiems pristatytojams.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Avatar IV yra HeyGen avatarų variklis, paverčiantis nejudantį vaizdą išraiškingu kalbančiu vaizdo įrašu. Difuzijos principų įkvėptas garso vertimas į išraišką naudoja balso toną, ritmą ir emociją veido judesiams, galvos pakreipimams, pauzėms bei mikroišraiškoms nukreipti. Jo paskirtis – pristatytojas ar personažas, perteikiantis sakytinį turinį su lūpų sinchronizacija ir gestais, o ne bendras scenų generatorius, kuriantis visą aplinką bei garso takelį pagal kinematografinę užklausą.
Gamintojas aprašo tikroviškų ir stilizuotų personažų palaikymą, įskaitant kampu ar profiliu matomus vaizdus, anime stiliaus veidus ir augintinius. Nuotraukomis pagrįsti personažai geriausiai veikia, kai jų akis, burną ir veido struktūrą lengva atpažinti. HeyGen rekomenduoja aiškų, gerai apšviestą vaizdą su natūralia poza ir matomomis rankomis, jei svarbūs gestai. Labai mažas veidas, paslėptos lūpos, didelės kaukės, ryškus snapas ar itin perdėtos proporcijos gali pabloginti veido judėjimą ir lūpų sinchronizaciją. Pradinį kadravimą derinkite prie numatyto atlikimo.
Gamintojas pateikia du kalbos įvesties kelius. Rašytinis scenarijus derinamas su pasirinktu balsu; iš anksto įrašytas garso takelis tiesiogiai pateikia balsą ir laiką. Įrašyto garso kelią naudokite, kai atlikimas jau nustatytas, o scenarijaus – kai kalbą reikia sintezuoti. Dokumentuotoje sąsajoje šios įvestys yra alternatyvos. Prieš animavimą paruoškite galutinį tekstą, vardus ir tarimą, o garsą arba scenarijų išsaugokite su grąžintu vaizdo įrašu, kad galėtumėte patikrinti sakytinį rezultatą.
HeyGen Avatar IV modelio profilis apima studijos avatarus, Digital Twins, Photo Avatars, tiesioginius vaizdus ir pagal užklausą sukurtus objektus. Pakartotinai naudojamas Photo Avatar suteikia pastovų objektą vėlesniems vaizdo įrašams, o tiesioginio vaizdo eiga prasideda pateikta nuotrauka. Gamintojo Photo Avatar profilis siūlo laisvo teksto judesio nurodymus ir high, medium arba low išraiškingumo pasirinkimus; numatytasis yra low. Kurdami seriją išlaikykite pasirinktą avataro išvaizdą ir variklį, kad pakeistas pradinis vaizdas ar atvaizdavimo modelis netaptų nepastebėtu pristatytojo pokyčiu.
Judesio režisūrai aprašykite matomą kūno veiksmą ir jo emocinį pobūdį. „Švelniai linkteli šiltai šypsodamasis“ suteikia vieną gestą ir vieną išraišką; trumpam pasisveikinimui tinka draugiškas mostas. Gamintojas rekomenduoja vieną pagrindinį gestą, pasirinktinai derinamą su veido išraiška, ir ne daugiau kaip dvi trumpas frazes sekai. Avatar IV tempą tvarko pagal atlikimą, todėl Studio vadovas nereikalauja gestų tvarkaraščio kiekvienai sekundei. Konkrečią, glaustą formuluotę lengviau patikrinti nei kelis konkuruojančius veiksmus vienoje užklausoje.
Gamintojo garso vertimo į vaizdo įrašą profilis vienoje užklausoje atvaizduoja iki trisdešimties minučių pateikto garso, o įkelti MP3 arba WAV failai turi 32 MB ribą. Ilgesnei pamokai ar įrašui medžiagą dalykite ties prasmingomis kalbos ribomis ir išlaikykite originalią tvarką. Galutinio vaizdo kalbos laikas turi sekti pasirinktą garsą, o ne nesusijusį numatomos klipo trukmės įvertį.
Dokumentuoti gamintojo išvesties nustatymai apima 720p arba 1080p ir 16:9, 9:16, 4:5, 5:4 arba 1:1 formas, taip pat automatinę parinktį, sekančią šaltinio proporcijas. Cover pritaikymas gali apkirpti objektą; contain sutalpina visą objektą ir gali palikti matomą aplinkinį foną. Jo garso vertimo į vaizdo įrašą eiga pagal numatytuosius nustatymus grąžina MP4. Vaizdo avatarams skaidri WebM išvestis reikalauja objekto atskyrimo palaikymo, o gamintojas tokiai išvesčiai pašalina foną, užuot derinęs jį su nauju fonu. Prieš dėdami pristatytoją į didesnę kompoziciją, patikrinkite tikrąjį kadravimą ir failą.
Mokymų įžangoje galima naudoti aiškų pristatytojo vaizdą, glaustą paaiškinimą ir vieną santūrų gestą ties svarbia instrukcija. Produkto paaiškinimas gali išlaikyti tą pačią avataro išvaizdą, keisdamas sakomą scenarijų skirtingoms funkcijoms. Gamintojas taip pat dokumentuoja pasirenkamus subtitrų failus ir į vaizdą įrašomus subtitrus; jų tekstą bei laiką peržiūrėkite kartu su kalba. Gamintojo sąsajoje atvaizdavimas asinchroninis, todėl sukūrimo atsakymas ir užbaigtas vaizdo įrašas yra skirtingi rezultatai. Užbaigtą įrašą ir jo užbaigimo būseną laikykite kartu su užduoties rezultatu.
Avatar IV lieka atskiras nuo Avatar V orientyrais valdomo judesio ir jo atskirų Studio išankstinių nustatymų valdiklių. Jis taip pat skiriasi nuo HeyGen Video bendros paskirties scenų generavimo ir interaktyvaus tiesioginio avataro pokalbio. Atvaizduotus burnos judesius, matomas rankas, veido išraišką, pauzes ir sakomą tekstą lyginkite su pradine medžiaga bei numatytu tonu. Vaizdas, poza, apšvietimas ir judesio nurodymai veikia rezultatą; nuotraukos animaciją reikia vertinti kaip sugeneruotą atlikimą, išsaugant pasirinktas įvestis vėlesnėms pataisoms.
Ailoot Ultra · Vaizdo įrašai POST /v1/videos heygen/avatar-iv
heygen/avatar-ivPradžia
Avatar IV animuoja nuotrauką į kalbantį vaizdo įrašą su sinchronizuotais lūpų judesiais, o veido išraišką ir gestų laiką nukreipia balsas. HeyGen dokumentuoja scenarijaus arba įrašyto garso eigas ir Photo Avatar judesio valdiklius tikroviškiems ar stilizuotiems pristatytojams.
- Leidžiamos įvestys
- Tekstas · Vaizdai · Garsas · Vaizdo įrašai
- Rezultatai
- Vaizdo įrašai
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Vaizdo įrašai POST /v1/videos
- Įvestis
text,image,audio,video- Išvestis
video
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos heygen/avatar-iv | Numatyta— |
Laukasinput_references | Tipasarray | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 2 Didžiausias elementų skaičius: 2 | Numatyta— |
Laukasprompt | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input_references |
Parametrasmaterial_types | Specifikacijatext, image, audio, video |
Parametrasmaterial_conditions | SpecifikacijaNaudokite tikrus užbaigtų jums priklausančių medijos išteklių turinio URL su grąžintais parašais: vieną vaizdo įrašo šaltinį BFL arba vieną paveikslėlio ir vieną garso šaltinį avatarui. Privalomas Source patvirtinimas apie savininką, tipą ir baitus., Pateikite tiksliai vieną PNG/JPEG paveikslėlį ir vieną WAV/MP3 garso išteklių. Garso dydis turi būti ne didesnis kaip 32000000 baitų, o trukmė – ilgesnė nei 0 ir ne didesnė kaip 1800 sekundžių. |
Gyvavimo ciklas: asynchronous_job_then_owned_outputs
GET /v1/videos/{request_id} · tikras grąžintas id arba polling_url
GET /v1/videos/{request_id}/content
Planai
Kaip apskaičiuojamas galutinis mokestis
Rodomi įkainiai leidžia įvertinti kainą prieš generavimą. Galutinė suma apskaičiuojama pagal užfiksuotą pradinio generavimo kainą. Išmatuota rezultato trukmė ir prognozuoti kiekiai nėra galutinis apmokestinamas kiekis.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Numatomi įkainiai palyginimui
Kainos pagal konfigūraciją
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Numatomas kiekis | Apskaitos vienetas | Apmokestinimo sąlygos | Mokestis |
|---|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Numatomas kiekis— | Apskaitos vienetas— | Apmokestinimo sąlygos— | Mokestis Įvestis · Įvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Išvestis · Išvesties tokenai · Įvertis tik palyginimui — / 1K tokenų Įvestis · Talpyklos skaitymas · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą · Įvertis tik palyginimui — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val · Įvertis tik palyginimui — / 1K tokenų |
| KonfigūracijaVaizdo įrašo kaina | Įkainių lentelė— | Numatomas kiekis— | Apskaitos vienetasuž vaizdo įrašo sekundę | Apmokestinimo sąlygosŠiame kainodaros rakte papildoma sąlyga nenurodyta. | Mokestis Išvestis · Vaizdo įrašo kaina · Įvertis tik palyginimui $0.1 už vaizdo įrašo sekundę |
| KonfigūracijaNumatoma generavimo kaina | Įkainių lentelė— | Numatomas kiekisvieno generavimo įvertis | Apskaitos vienetas— | Apmokestinimo sąlygos— | Mokestis Išvestis · Numatoma generavimo kaina · Įvertis tik palyginimui $0.1 įvertis prieš generavimą Šis įvertis nėra papildomas mokestis ar fiksuotas užbaigto generavimo įkainis. |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Vaizdo įrašai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_REFERENCES_JSON:?Set the actual documented input value}"
export AILOOT_INPUT_REFERENCES_JSON
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'heygen/avatar-iv', 'input_references': '${ACTUAL_OWNED_INPUT_REFERENCES}'}
request['input_references']=json.loads(os.environ['AILOOT_INPUT_REFERENCES_JSON'])
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/videos \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Vaizdo įrašai
GET /v1/videos/{request_id}GET /v1/videos/{request_id}/content
Išsaugoti visą baigtą medžiagą
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_STATUS_FILE:?Set the actual completed status JSON file}"
export AILOOT_STATUS_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
from urllib.parse import urlsplit,urljoin
f=Path(os.environ["AILOOT_STATUS_FILE"])
if not f.is_file():raise SystemExit("Choose the actual completed status file")
r=json.loads(f.read_text())
if r.get("status")!="completed" or not isinstance(r.get("data"),list) or not r["data"]:raise SystemExit("Wait for a completed status with asset paths")
urls=[]
for x in r["data"]:
if not isinstance(x,str) or "\n" in x or "\r" in x:raise SystemExit("Invalid asset path")
u=urljoin("https://api.ailoot.ai",x)
z=urlsplit(u)
if z.scheme!="https" or z.netloc!="api.ailoot.ai" or z.username or z.password:raise SystemExit("Use the actual Ailoot asset paths from status")
urls.append(u)
Path("asset-urls.txt").write_text("\n".join(urls)+"\n")
PY_REQUEST
index=0
while IFS= read -r asset_url; do
curl --fail-with-body --silent --show-error "$asset_url" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o "video-${index}.mp4"
index=$((index + 1))
done < asset-urls.txt
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną baigtą vaizdo įrašą arba grąžintą failą; gaukite turinį iš kiekvieno faktiškai grąžinto medžiagos URL.
Išsaugokite visą atsakymą ir antraštes, visus faktiškai gautus rezultatus, pradinius grąžintus identifikatorius ir visus naudojimo apskaitos laukus. Atkurkite prieigą prie pradinės operacijos pakartotinai neteikdami kūrimo užklausos.
Jei reikia patikrinti pradinį atsakymą
Išsaugokite X-Client-Request-ID, X-Ailoot-Task-Id ir tikrą grąžintą id/polling_url. Tęskite pradinę užduotį; neteikite kūrimo užklausos dar kartą.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasid | Tipas |
Laukasstatus | Tipas |
Laukasdata[] | Tipas |
Laukasoutputs[] | Tipas |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra heygen/avatar-iv
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · HeyGen: Avatar IV
- Kokios įvestys ir rezultatai prieinami?
POST /v1/videos·heygen/avatar-iv:text,image,audio,video→video- Kokius laukus naudoja užklausa?
POST /v1/videos·heygen/avatar-iv:model,input_references,prompt