Parakeet TDT 0.6B v3 to wielojęzyczny model rozpoznawania mowy firmy NVIDIA o 600 milionach parametrów. Rozszerza model v2, obsługujący wyłącznie język angielski, do 25 języków europejskich i automatycznie wykrywa język nagrania bez osobnego polecenia określającego język. Wynikiem jest transkrypcja mowy z interpunkcją oraz wielkimi i małymi literami.
Obsługiwane języki to bułgarski, chorwacki, czeski, duński, niderlandzki, angielski, estoński, fiński, francuski, niemiecki, grecki, węgierski, włoski, łotewski, litewski, maltański, polski, portugalski, rumuński, słowacki, słoweński, hiszpański, szwedzki, rosyjski i ukraiński. Ta lista dotyczy wersji v3; inne typy dekoderów Parakeet i warianty językowe są odrębnymi modelami.
Architektura łączy koder FastConformer z dekoderem transduktorowym przewidującym tokeny i czas ich trwania. Koder przekształca sygnał akustyczny w reprezentacje, a dekoder przewiduje tokeny tekstowe wraz z czasem trwania potrzebnym do przechodzenia przez kolejne ramki dźwięku. To działanie TDT odróżnia go od dekoderów CTC i zwykłych RNN-T z tej rodziny.
Przygotuj jednokanałowe nagranie z częstotliwością próbkowania 16 kHz. Bezpośrednio obsługiwane przez producenta formaty wejściowe to WAV i FLAC, a jego przykłady implementacji wykorzystują procesor do przygotowania przebiegu fali do rozpoznawania. Zachowaj identyfikator nagrania i oryginalny dźwięk obok zwróconego tekstu, aby transkrypcję można było sprawdzić lub dopasować do źródła.
Generowanie znaczników czasu dodaje informacje czasowe do rozpoznanej mowy. Przykład NVIDIA NeMo zwraca czasy znaków, słów i segmentów, gdy włączone jest generowanie znaczników czasu. Aplikacja do napisów lub archiwizacji może używać granic segmentów do powiązania fragmentu tekstu z nagraniem albo czasów słów do odnalezienia konkretnej frazy. Transkrypcja i jej pola czasowe to różne części wyniku, których powiązanie należy zachować.
Przy długich nagraniach znaczenie ma konfiguracja mechanizmu uwagi. Producent opisuje obsługę do 24 minut z pełną uwagą na karcie A100 z 80 GB pamięci oraz do trzech godzin z uwagą lokalną. Jego przykład dla długich nagrań przełącza koder na uwagę lokalną z ograniczonym kontekstem z lewej i prawej strony. Te czasy dotyczą konkretnych konfiguracji producenta, a nie jednego bezwarunkowego limitu dla każdego wdrożenia.
Producent publikuje również sposób pracy z wnioskowaniem w porcjach do zastosowań strumieniowych. Jego przykład określa długość porcji oraz kontekst dźwiękowy z lewej i prawej strony każdej porcji. Jest to odrębna procedura przetwarzania od natywnego modelu strumieniowego Nemotron, który uwzględnia pamięć podręczną. Zbierając transkrypcję nagrania z kolejnych części, aplikacja powinna zachować wybraną procedurę i pierwotny punkt odniesienia dla czasu.
Zbiór treningowy obejmuje 10 000 godzin mowy przepisanej przez ludzi oraz 660 000 godzin danych Granary z automatycznie nadanymi etykietami, z zachowaniem interpunkcji oraz wielkich i małych liter. Producent umożliwia też dostrajanie tego opublikowanego checkpointu na innym zbiorze mowy za pomocą udokumentowanej procedury pracy z modelem; dostrojony checkpoint pozostaje odrębny od bazowego modelu v3. Wynik tekstowy modelu nadaje się zatem jako etap zamiany mowy na tekst w większym procesie. Archiwum spotkań może dołączyć transkrypcję do nagrania, aplikacja wyszukująca może zaindeksować rozpoznany fragment, a narzędzie do tworzenia napisów może wykorzystać zwrócone metadane czasowe.
Jakość rozpoznawania zależy od języka, akcentu, hałasu i rodzaju mowy. Producent wyraźnie zaznacza, że słownictwo nieobecne w treningu może zostać pominięte, a pojedyncze słowa lub niepełne zdania dostarczają słabszego kontekstu. Zachowaj oryginalny dźwięk do sprawdzania nazw i terminów specjalistycznych, zamiast uznawać niepewny wynik rozpoznawania za potwierdzony fakt.
Użytecznym rezultatem jest transkrypcja z żądanymi informacjami czasowymi. Podsumowania, tłumaczenia, analiza mówców i działania to odrębne zadania aplikacji, a nie funkcje wynikające z samej nazwy zamiany mowy na tekst. Zachowaj rozróżnienie między tożsamością v3 i trybem uwagi producenta a innymi checkpointami oraz plikami po konwersji lub kwantyzacji.
", "aboutText": "Parakeet TDT 0.6B v3 to wielojęzyczny model rozpoznawania mowy firmy NVIDIA o 600 milionach parametrów. Rozszerza model v2, obsługujący wyłącznie język angielski, do 25 języków europejskich i automatycznie wykrywa język nagrania bez osobnego polecenia określającego język. Wynikiem jest transkrypcja mowy z interpunkcją oraz wielkimi i małymi literami.\n\nObsługiwane języki to bułgarski, chorwacki, czeski, duński, niderlandzki, angielski, estoński, fiński, francuski, niemiecki, grecki, węgierski, włoski, łotewski, litewski, maltański, polski, portugalski, rumuński, słowacki, słoweński, hiszpański, szwedzki, rosyjski i ukraiński. Ta lista dotyczy wersji v3; inne typy dekoderów Parakeet i warianty językowe są odrębnymi modelami.\n\nArchitektura łączy koder FastConformer z dekoderem transduktorowym przewidującym tokeny i czas ich trwania. Koder przekształca sygnał akustyczny w reprezentacje, a dekoder przewiduje tokeny tekstowe wraz z czasem trwania potrzebnym do przechodzenia przez kolejne ramki dźwięku. To działanie TDT odróżnia go od dekoderów CTC i zwykłych RNN-T z tej rodziny.\n\nPrzygotuj jednokanałowe nagranie z częstotliwością próbkowania 16 kHz. Bezpośrednio obsługiwane przez producenta formaty wejściowe to WAV i FLAC, a jego przykłady implementacji wykorzystują procesor do przygotowania przebiegu fali do rozpoznawania. Zachowaj identyfikator nagrania i oryginalny dźwięk obok zwróconego tekstu, aby transkrypcję można było sprawdzić lub dopasować do źródła.\n\nGenerowanie znaczników czasu dodaje informacje czasowe do rozpoznanej mowy. Przykład NVIDIA NeMo zwraca czasy znaków, słów i segmentów, gdy włączone jest generowanie znaczników czasu. Aplikacja do napisów lub archiwizacji może używać granic segmentów do powiązania fragmentu tekstu z nagraniem albo czasów słów do odnalezienia konkretnej frazy. Transkrypcja i jej pola czasowe to różne części wyniku, których powiązanie należy zachować.\n\nPrzy długich nagraniach znaczenie ma konfiguracja mechanizmu uwagi. Producent opisuje obsługę do 24 minut z pełną uwagą na karcie A100 z 80 GB pamięci oraz do trzech godzin z uwagą lokalną. Jego przykład dla długich nagrań przełącza koder na uwagę lokalną z ograniczonym kontekstem z lewej i prawej strony. Te czasy dotyczą konkretnych konfiguracji producenta, a nie jednego bezwarunkowego limitu dla każdego wdrożenia.\n\nProducent publikuje również sposób pracy z wnioskowaniem w porcjach do zastosowań strumieniowych. Jego przykład określa długość porcji oraz kontekst dźwiękowy z lewej i prawej strony każdej porcji. Jest to odrębna procedura przetwarzania od natywnego modelu strumieniowego Nemotron, który uwzględnia pamięć podręczną. Zbierając transkrypcję nagrania z kolejnych części, aplikacja powinna zachować wybraną procedurę i pierwotny punkt odniesienia dla czasu.\n\nZbiór treningowy obejmuje 10 000 godzin mowy przepisanej przez ludzi oraz 660 000 godzin danych Granary z automatycznie nadanymi etykietami, z zachowaniem interpunkcji oraz wielkich i małych liter. Producent umożliwia też dostrajanie tego opublikowanego checkpointu na innym zbiorze mowy za pomocą udokumentowanej procedury pracy z modelem; dostrojony checkpoint pozostaje odrębny od bazowego modelu v3. Wynik tekstowy modelu nadaje się zatem jako etap zamiany mowy na tekst w większym procesie. Archiwum spotkań może dołączyć transkrypcję do nagrania, aplikacja wyszukująca może zaindeksować rozpoznany fragment, a narzędzie do tworzenia napisów może wykorzystać zwrócone metadane czasowe.\n\nJakość rozpoznawania zależy od języka, akcentu, hałasu i rodzaju mowy. Producent wyraźnie zaznacza, że słownictwo nieobecne w treningu może zostać pominięte, a pojedyncze słowa lub niepełne zdania dostarczają słabszego kontekstu. Zachowaj oryginalny dźwięk do sprawdzania nazw i terminów specjalistycznych, zamiast uznawać niepewny wynik rozpoznawania za potwierdzony fakt.\n\nUżytecznym rezultatem jest transkrypcja z żądanymi informacjami czasowymi. Podsumowania, tłumaczenia, analiza mówców i działania to odrębne zadania aplikacji, a nie funkcje wynikające z samej nazwy zamiany mowy na tekst. Zachowaj rozróżnienie między tożsamością v3 i trybem uwagi producenta a innymi checkpointami oraz plikami po konwersji lub kwantyzacji.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "90aac5473805036544f83283eb06bce23d47ecf9e8073290047605e5ed452772", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "pl", "methods": [ { "html": "nvidia/parakeet-tdt-0.6b-v3Parakeet TDT 0.6B v3 firmy NVIDIA to model zamiany mowy na tekst o 600 mln parametrów, obsługujący 25 języków europejskich i automatyczne wykrywanie języka. Tworzy transkrypcje z interpunkcją i obsługuje znaczniki czasu słów oraz segmentów, a tryby pracy z długimi nagraniami zależą od konfiguracji mechanizmu uwagi producenta.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Parakeet TDT 0.6B v3 to wielojęzyczny model rozpoznawania mowy firmy NVIDIA o 600 milionach parametrów. Rozszerza model v2, obsługujący wyłącznie język angielski, do 25 języków europejskich i automatycznie wykrywa język nagrania bez osobnego polecenia określającego język. Wynikiem jest transkrypcja mowy z interpunkcją oraz wielkimi i małymi literami.
Obsługiwane języki to bułgarski, chorwacki, czeski, duński, niderlandzki, angielski, estoński, fiński, francuski, niemiecki, grecki, węgierski, włoski, łotewski, litewski, maltański, polski, portugalski, rumuński, słowacki, słoweński, hiszpański, szwedzki, rosyjski i ukraiński. Ta lista dotyczy wersji v3; inne typy dekoderów Parakeet i warianty językowe są odrębnymi modelami.
Architektura łączy koder FastConformer z dekoderem transduktorowym przewidującym tokeny i czas ich trwania. Koder przekształca sygnał akustyczny w reprezentacje, a dekoder przewiduje tokeny tekstowe wraz z czasem trwania potrzebnym do przechodzenia przez kolejne ramki dźwięku. To działanie TDT odróżnia go od dekoderów CTC i zwykłych RNN-T z tej rodziny.
Przygotuj jednokanałowe nagranie z częstotliwością próbkowania 16 kHz. Bezpośrednio obsługiwane przez producenta formaty wejściowe to WAV i FLAC, a jego przykłady implementacji wykorzystują procesor do przygotowania przebiegu fali do rozpoznawania. Zachowaj identyfikator nagrania i oryginalny dźwięk obok zwróconego tekstu, aby transkrypcję można było sprawdzić lub dopasować do źródła.
Generowanie znaczników czasu dodaje informacje czasowe do rozpoznanej mowy. Przykład NVIDIA NeMo zwraca czasy znaków, słów i segmentów, gdy włączone jest generowanie znaczników czasu. Aplikacja do napisów lub archiwizacji może używać granic segmentów do powiązania fragmentu tekstu z nagraniem albo czasów słów do odnalezienia konkretnej frazy. Transkrypcja i jej pola czasowe to różne części wyniku, których powiązanie należy zachować.
Przy długich nagraniach znaczenie ma konfiguracja mechanizmu uwagi. Producent opisuje obsługę do 24 minut z pełną uwagą na karcie A100 z 80 GB pamięci oraz do trzech godzin z uwagą lokalną. Jego przykład dla długich nagrań przełącza koder na uwagę lokalną z ograniczonym kontekstem z lewej i prawej strony. Te czasy dotyczą konkretnych konfiguracji producenta, a nie jednego bezwarunkowego limitu dla każdego wdrożenia.
Producent publikuje również sposób pracy z wnioskowaniem w porcjach do zastosowań strumieniowych. Jego przykład określa długość porcji oraz kontekst dźwiękowy z lewej i prawej strony każdej porcji. Jest to odrębna procedura przetwarzania od natywnego modelu strumieniowego Nemotron, który uwzględnia pamięć podręczną. Zbierając transkrypcję nagrania z kolejnych części, aplikacja powinna zachować wybraną procedurę i pierwotny punkt odniesienia dla czasu.
Zbiór treningowy obejmuje 10 000 godzin mowy przepisanej przez ludzi oraz 660 000 godzin danych Granary z automatycznie nadanymi etykietami, z zachowaniem interpunkcji oraz wielkich i małych liter. Producent umożliwia też dostrajanie tego opublikowanego checkpointu na innym zbiorze mowy za pomocą udokumentowanej procedury pracy z modelem; dostrojony checkpoint pozostaje odrębny od bazowego modelu v3. Wynik tekstowy modelu nadaje się zatem jako etap zamiany mowy na tekst w większym procesie. Archiwum spotkań może dołączyć transkrypcję do nagrania, aplikacja wyszukująca może zaindeksować rozpoznany fragment, a narzędzie do tworzenia napisów może wykorzystać zwrócone metadane czasowe.
Jakość rozpoznawania zależy od języka, akcentu, hałasu i rodzaju mowy. Producent wyraźnie zaznacza, że słownictwo nieobecne w treningu może zostać pominięte, a pojedyncze słowa lub niepełne zdania dostarczają słabszego kontekstu. Zachowaj oryginalny dźwięk do sprawdzania nazw i terminów specjalistycznych, zamiast uznawać niepewny wynik rozpoznawania za potwierdzony fakt.
Użytecznym rezultatem jest transkrypcja z żądanymi informacjami czasowymi. Podsumowania, tłumaczenia, analiza mówców i działania to odrębne zadania aplikacji, a nie funkcje wynikające z samej nazwy zamiany mowy na tekst. Zachowaj rozróżnienie między tożsamością v3 i trybem uwagi producenta a innymi checkpointami oraz plikami po konwersji lub kwantyzacji.
POST /v1/audio/transcriptionsaudiotext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity nvidia/parakeet-tdt-0.6b-v3 | Domyślnie— |
Poleinput_audio | Typobject | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polelanguage | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Minimum: 0 Maksimum: 1 | Domyślnie— |
Poleresponse_format | Typstring | WymaganieOpcjonalne | Wartości i limity json, verbose_json | Domyślniejson |
Poletimestamp_granularities | Typarray | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input_audio |
Parametrmaterial_types | Kontraktaudio |
Parametrmaterial_conditions | KontraktOdczytaj rzeczywisty plik WAV i zakoduj jego prawdziwe bajty dla zadeklarowanego wejścia JSON input_audio; dla tej konkretnej deklaracji obsługującej wyłącznie JSON nie deklaruje się ścieżki multipart. |
Cykl życia: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Rzeczywiście zwrócony task_id lub wpis w bibliotece multimediów
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Wyświetlane stawki służą do oszacowania kosztu przed generowaniem. Ostateczna opłata jest obliczana na podstawie kosztu zarejestrowanego dla pierwotnego generowania. Zmierzony czas trwania wyniku i prognozowane ilości nie stanowią ostatecznej ilości podlegającej rozliczeniu.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Przewidywana ilość | Jednostka rozliczeniowa | Opłata |
|---|---|---|---|---|
| KonfiguracjaBazowe stawki za tokeny | Tabela stawekStawka podstawowa | Przewidywana ilość— | Jednostka rozliczeniowa— | Opłata Wejście · Tokeny wejściowe · Szacunek tylko do porównania — / 1K tokenów Wyjście · Tokeny wyjściowe · Szacunek tylko do porównania — / 1K tokenów Wejście · Odczyt cache · Szacunek tylko do porównania — / 1K tokenów Wejście · Zapis do cache · Szacunek tylko do porównania — / 1K tokenów Wejście · Zapis do cache, 1 godz. · Szacunek tylko do porównania — / 1K tokenów |
| Konfiguracjasekunda wejściowego audio | Tabela stawek— | Przewidywana ilość— | Jednostka rozliczeniowaza sekundę dźwięku wejściowego | Opłata Wejście · sekunda wejściowego audio · Szacunek tylko do porównania $0.00005 za sekundę dźwięku wejściowego |
| KonfiguracjaSzacowany koszt generowania | Tabela stawek— | Przewidywana ilośćszacunek dla jednego generowania | Jednostka rozliczeniowa— | Opłata Wyjście · Szacowany koszt generowania · Szacunek tylko do porównania $0.00005 szacunek przed generowaniem Ten szacunek nie jest dodatkową opłatą ani stałą stawką za ukończone generowanie. |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\nGET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json\n# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.\nZachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj pełną odpowiedź i nagłówki, wszystkie rzeczywiście uzyskane wyniki, pierwotnie zwrócone identyfikatory oraz wszystkie pola zużycia. Odzyskaj pierwotną operację bez ponownego wysyłania żądania utworzenia.
Zachowaj zwrócony X-Client-Request-ID do uzgodnienia danych. Odczytuj wyłącznie rzeczywiście zwrócone wartości task_id/asset_id lub własną bibliotekę multimediów; nigdy nie buduj adresu URL zadania na podstawie identyfikatora operacji i nigdy nie wysyłaj ponownie żądania utworzenia.
| Pole | Typ |
|---|---|
Poletext | Typ |
Poleusage | Typ |
Polesegments[] | Typ |
Polewords[] | Typ |
Polespeaker fields | Typ |
Poletimestamps | Typ |
Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3
Użyj ścieżek metod podanych powyżej.