HeyGen: Avatar IV
Avatar IV animuje zdjęcie w mówiący film ze zsynchronizowanymi ustami, z mimiką i czasem gestów kierowanymi głosem. HeyGen dokumentuje procesy scenariusza lub nagranego audio i parametry ruchu Photo Avatar dla realistycznych lub stylizowanych prezenterów.
O modelu
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Avatar IV to silnik awatarów HeyGen zamieniający nieruchomy obraz w ekspresyjny mówiący film. Inspirowana dyfuzją konstrukcja audio-to-expression wykorzystuje ton głosu, rytm i emocje do kierowania ruchem twarzy, przechyleniami głowy, pauzami i mikroekspresjami. Celem jest prezenter lub postać przekazująca treść mówioną z synchronizacją ust i gestami, a nie ogólny generator scen tworzący całe otoczenie i ścieżkę dźwiękową z filmowego promptu.
Producent opisuje obsługę postaci realistycznych i stylizowanych, w tym obrazów pod kątem lub z profilu, twarzy w stylu anime i zwierząt domowych. Postacie oparte na zdjęciach działają najlepiej, gdy oczy, usta i struktura twarzy są łatwe do rozpoznania. HeyGen zaleca wyraźny, dobrze oświetlony obraz z naturalną postawą i widocznymi dłońmi, gdy istotne są gesty. Bardzo mała twarz, ukryte usta, ciężkie maski, wyraźny dziób lub mocno przesadzone proporcje mogą osłabiać ruch twarzy i synchronizację ust. Dopasuj kadrowanie źródła do zamierzonego wykonania.
Producent udostępnia dwie ścieżki wejścia mowy. Pisemny scenariusz łączy się z wybranym głosem; wcześniej nagrana ścieżka audio bezpośrednio dostarcza głos i czas. Używaj ścieżki nagranego audio, gdy wykonanie jest już ustalone, a scenariusza, gdy mowę trzeba zsyntetyzować. Wejścia te są alternatywami w udokumentowanym interfejsie. Przed animacją przygotuj końcowy tekst, nazwy i wymowę oraz zachowaj audio lub scenariusz wraz ze zwróconym filmem, aby można było sprawdzić wynik mówiony.
Profil Avatar IV HeyGen obejmuje awatary studyjne, Digital Twins, Photo Avatars, bezpośrednie obrazy i podmioty tworzone promptem. Photo Avatar do ponownego użycia zapewnia stały podmiot do późniejszych filmów, a proces bezpośredniego obrazu zaczyna od dostarczonej ilustracji. Profil Photo Avatar producenta oferuje swobodne tekstowe instrukcje ruchu i wybory ekspresji high, medium lub low, z low jako domyślnym. W serii zachowuj wygląd awatara i silnik, aby zmiana obrazu źródłowego lub modelu renderowania nie stała się niezauważoną zmianą prezentera.
Kierując ruchem, opisuj widoczne działanie ciała i jego jakość emocjonalną. „Delikatnie kiwa głową z ciepłym uśmiechem” daje jeden gest i jeden wyraz twarzy; krótkie powitanie może używać przyjaznego machnięcia. Producent zaleca jeden główny gest, opcjonalnie połączony z mimiką, i najwyżej dwa krótkie człony zdania opisujące sekwencję. Avatar IV ustala tempo na podstawie wykonania, więc przewodnik Studio nie wymaga harmonogramu gestów sekunda po sekundzie. Konkretne, zwięzłe sformułowanie łatwiej sprawdzić niż kilka konkurujących działań w jednym prompcie.
Profil audio-to-video producenta renderuje do trzydziestu minut dostarczonego audio na żądanie, a przesyłane zasoby MP3 lub WAV mają limit 32 MB. Dłuższą lekcję lub nagranie dziel na spójnych granicach mowy i zachowuj oryginalną kolejność. Rozkład czasowy mowy w końcowym filmie powinien wynikać z wybranego audio, a nie z niepowiązanego szacunku długości klipu.
Udokumentowane ustawienia wyjścia producenta obejmują 720p lub 1080p i kształty 16:9, 9:16, 4:5, 5:4 lub 1:1, z opcją automatyczną podążającą za proporcjami źródła. Dopasowanie cover może przyciąć podmiot; contain mieści go w całości i może pozostawić widoczne otaczające tło. Proces audio-to-video domyślnie zwraca MP4. Dla awatarów wideo przezroczyste wyjście WebM wymaga obsługi mattingu, a producent stosuje usuwanie tła dla tego wyjścia zamiast łączenia go z nowym tłem. Sprawdź rzeczywiste kadrowanie i plik przed umieszczeniem prezentera w większej kompozycji.
Wprowadzenie szkolenia może używać czytelnego obrazu prezentera, zwięzłego objaśnienia i jednego powściągliwego gestu przy kluczowej instrukcji. Objaśnienie produktu może zachować ten sam wygląd awatara, zmieniając scenariusz mówiony dla różnych funkcji. Producent dokumentuje też opcjonalne pliki napisów i napisy wtopione; oceń ich tekst oraz czas wraz z mową. Renderowanie jest asynchroniczne w interfejsie producenta, więc odpowiedź utworzenia i ukończony film są różnymi materiałami. Zachowaj gotowe nagranie i jego stan ukończenia z wynikiem zadania.
Avatar IV pozostaje odrębny od ruchu opartego na referencjach Avatar V i jego osobnych gotowych parametrów Studio. Różni się też od uniwersalnej generacji scen HeyGen Video i interaktywnej rozmowy z awatarem na żywo. Oceń wyrenderowany ruch ust, widoczne dłonie, mimikę, pauzy i wypowiedziane słowa względem materiału źródłowego oraz zamierzonego tonu. Obraz, poza, światło i instrukcje ruchu wpływają na wynik; animację opartą na zdjęciu należy sprawdzić jako wygenerowane wykonanie i zachować wybrane wejścia do późniejszych poprawek.
Ailoot Ultra · Wideo POST /v1/videos heygen/avatar-iv
heygen/avatar-ivStart
Avatar IV animuje zdjęcie w mówiący film ze zsynchronizowanymi ustami, z mimiką i czasem gestów kierowanymi głosem. HeyGen dokumentuje procesy scenariusza lub nagranego audio i parametry ruchu Photo Avatar dla realistycznych lub stylizowanych prezenterów.
- Akceptowane dane wejściowe
- Tekst · Obrazy · Audio · Wideo
- Wyniki
- Wideo
Dostępne w Ailoot · dane wejściowe i metody
Ailoot Ultra · Wideo POST /v1/videos
- Wejście
text,image,audio,video- Wyjście
video
| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity heygen/avatar-iv | Domyślnie— |
Poleinput_references | Typarray | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 2 Maksymalna liczba elementów: 2 | Domyślnie— |
Poleprompt | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Parametry i cykl życia metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input_references |
Parametrmaterial_types | Kontrakttext, image, audio, video |
Parametrmaterial_conditions | KontraktUżyj rzeczywistych adresów URL treści ukończonych zasobów multimedialnych należących do użytkownika wraz ze zwróconymi podpisami: jednego źródła wideo dla BFL albo jednego źródła obrazu i jednego źródła dźwięku dla awatara. Wymagane jest potwierdzenie właściciela, typu i bajtów zasobu w kodzie źródłowym., Podaj dokładnie jeden obraz PNG/JPEG i jeden zasób dźwiękowy WAV/MP3. Dźwięk może mieć najwyżej 32000000 bajtów, a jego czas trwania musi być większy niż 0 i nie przekraczać 1800 sekund. |
Cykl życia: asynchronous_job_then_owned_outputs
GET /v1/videos/{request_id} · faktycznie zwrócone id lub polling_url
GET /v1/videos/{request_id}/content
Cennik
Jak obliczana jest ostateczna opłata
Wyświetlane stawki służą do oszacowania kosztu przed generowaniem. Ostateczna opłata jest obliczana na podstawie kosztu zarejestrowanego dla pierwotnego generowania. Zmierzony czas trwania wyniku i prognozowane ilości nie stanowią ostatecznej ilości podlegającej rozliczeniu.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
- Tryb szybki
- Nie określono Gdy wybrany jest tryb szybki
- Tryb flex
- Nie określono Gdy wybrany jest tryb flex
- Maksymalna intensywność rozumowania
- Nie określono Gdy dla maksymalnej intensywności rozumowania stosowana jest domyślna korekta (default)
Szacunkowe stawki do porównania
Ceny według konfiguracji
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Przewidywana ilość | Jednostka rozliczeniowa | Warunki rozliczania | Opłata |
|---|---|---|---|---|---|
| KonfiguracjaBazowe stawki za tokeny | Tabela stawekStawka podstawowa | Przewidywana ilość— | Jednostka rozliczeniowa— | Warunki rozliczania— | Opłata Wejście · Tokeny wejściowe · Szacunek tylko do porównania — / 1K tokenów Wyjście · Tokeny wyjściowe · Szacunek tylko do porównania — / 1K tokenów Wejście · Odczyt cache · Szacunek tylko do porównania — / 1K tokenów Wejście · Zapis do cache · Szacunek tylko do porównania — / 1K tokenów Wejście · Zapis do cache, 1 godz. · Szacunek tylko do porównania — / 1K tokenów |
| KonfiguracjaCena wideo | Tabela stawek— | Przewidywana ilość— | Jednostka rozliczeniowaza sekundę wideo | Warunki rozliczaniaW tym kluczu cenowym nie zadeklarowano dodatkowego warunku. | Opłata Wyjście · Cena wideo · Szacunek tylko do porównania $0.1 za sekundę wideo |
| KonfiguracjaSzacowany koszt generowania | Tabela stawek— | Przewidywana ilośćszacunek dla jednego generowania | Jednostka rozliczeniowa— | Warunki rozliczania— | Opłata Wyjście · Szacowany koszt generowania · Szacunek tylko do porównania $0.1 szacunek przed generowaniem Ten szacunek nie jest dodatkową opłatą ani stałą stawką za ukończone generowanie. |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
Przykładowe żądania
Ailoot Ultra · Wideo
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_REFERENCES_JSON:?Set the actual documented input value}"
export AILOOT_INPUT_REFERENCES_JSON
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'heygen/avatar-iv', 'input_references': '${ACTUAL_OWNED_INPUT_REFERENCES}'}
request['input_references']=json.loads(os.environ['AILOOT_INPUT_REFERENCES_JSON'])
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/videos \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
Odbieranie i zapisywanie wyników
Ailoot Ultra · Wideo
GET /v1/videos/{request_id}GET /v1/videos/{request_id}/content
Zapisz wszystkie ukończone zasoby
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_STATUS_FILE:?Set the actual completed status JSON file}"
export AILOOT_STATUS_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
from urllib.parse import urlsplit,urljoin
f=Path(os.environ["AILOOT_STATUS_FILE"])
if not f.is_file():raise SystemExit("Choose the actual completed status file")
r=json.loads(f.read_text())
if r.get("status")!="completed" or not isinstance(r.get("data"),list) or not r["data"]:raise SystemExit("Wait for a completed status with asset paths")
urls=[]
for x in r["data"]:
if not isinstance(x,str) or "\n" in x or "\r" in x:raise SystemExit("Invalid asset path")
u=urljoin("https://api.ailoot.ai",x)
z=urlsplit(u)
if z.scheme!="https" or z.netloc!="api.ailoot.ai" or z.username or z.password:raise SystemExit("Use the actual Ailoot asset paths from status")
urls.append(u)
Path("asset-urls.txt").write_text("\n".join(urls)+"\n")
PY_REQUEST
index=0
while IFS= read -r asset_url; do
curl --fail-with-body --silent --show-error "$asset_url" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o "video-${index}.mp4"
index=$((index + 1))
done < asset-urls.txt
Zachowaj wszystkie ukończone wyniki
Zapisz każde ukończone wideo lub zwrócony plik; pobierz każdy faktycznie zwrócony URL zasobu.
Zachowaj pełną odpowiedź i nagłówki, wszystkie rzeczywiście uzyskane wyniki, pierwotnie zwrócone identyfikatory oraz wszystkie pola zużycia. Odzyskaj pierwotną operację bez ponownego wysyłania żądania utworzenia.
Jeśli trzeba sprawdzić pierwotną odpowiedź
Zachowaj X-Client-Request-ID, X-Ailoot-Task-Id oraz faktycznie zwrócone id/polling_url. Kontynuuj pierwotne zadanie; nie wysyłaj ponownie żądania utworzenia.
Pola odpowiedzi
| Pole | Typ |
|---|---|
Poleid | Typ |
Polestatus | Typ |
Poledata[] | Typ |
Poleoutputs[] | Typ |
Aliasy
Aliasy modelu
Ailoot Ultra heygen/avatar-iv
Aliasy ścieżek metod
Użyj ścieżek metod podanych powyżej.
Powiązane ID modeli
FAQ · HeyGen: Avatar IV
- Jakie dane wejściowe i wyniki są dostępne?
POST /v1/videos·heygen/avatar-iv:text,image,audio,video→video- Jakich pól używa żądanie?
POST /v1/videos·heygen/avatar-iv:model,input_references,prompt