Whisper large-v3 to opublikowany model rozpoznawania mowy OpenAI mający około 1,55 miliarda parametrów. Jest wielojęzycznym modelem encoder-decoder: audio trafia do enkodera, a dekoder przewiduje tekst i tokeny związane z zadaniem. Główne zadania to transkrypcja mowy w języku źródłowym i tłumaczenie mowy na angielski. Jest to tożsamość modelu z otwartymi wagami, odrębna od identyfikatora modelu usługi hostowanej oraz jej reguł przesyłania plików i formatów odpowiedzi.
Large-v3 zachowuje architekturę wcześniejszych dużych modeli Whisper z dwiema wskazanymi zmianami: jego wejściowy spektrogram wykorzystuje 128 pasm częstotliwości Mel zamiast 80 i dodaje token języka kantońskiego. Karta modelu producenta opisuje trening na milionie godzin audio ze słabymi etykietami i czterech milionach godzin audio z pseudoetykietami przygotowanymi za pomocą Whisper large-v2. Mieszanki użyto przez dwie epoki treningowe. Wydanie jest konkretnym modelem large-v3, a nie ogólną nazwą każdego modelu rodziny Whisper.
Udokumentowany proces wnioskowania domyślnie wykonuje transkrypcję, zachowując język nagrania. Może automatycznie wykryć język źródłowy lub przyjąć wybór znanego języka. W zadaniu tłumaczenia wielojęzyczny model large tworzy angielski tekst z mowy w innym języku. Wybierz to zadanie jawnie: transkrypcja w tym samym języku i angielskie tłumaczenie są różnymi rezultatami. W wywiadzie zachowaj oryginalne sformułowania języka źródłowego; dla angielskiego dokumentu referencyjnego określ, że oczekujesz tłumaczenia treści mówionej.
Przygotowanie audio jest częścią ścieżki wejściowej. Loader OpenAI dekoduje nagranie do monofonicznego przebiegu i zmienia częstotliwość próbkowania na 16 kHz. Akustyczne pole recepcyjne modelu wynosi 30 sekund. To okno przetwarzania, a nie maksymalna długość całego wywiadu lub wykładu. Wnioskowanie dla długich nagrań może przechodzić sekwencyjnie przez przesuwane okna albo dzielić nagranie na nakładające się fragmenty i łączyć ich transkrypcje. Karta modelu producenta opisuje przetwarzanie sekwencyjne, gdy priorytetem jest dokładność, i przetwarzanie fragmentami, gdy ważniejszy jest czas obsługi pojedynczego długiego nagrania.
Opublikowana konfiguracja podaje 448 pozycji dekodera dla pojedynczej sekwencji dekodowania. Dłuższe nagrania obsługuje proces długich nagrań, a nie traktowanie tej liczby jako uniwersalnego limitu transkrypcji. Udokumentowany proces może zwracać znaczniki czasu segmentów lub słów obok rozpoznanego tekstu. Takie dane czasowe pomagają nawigować po nagraniach i przygotowywać napisy, podczas gdy końcowy kontener napisów lub format pliku transkrypcji jest odrębnym wyborem formatowania. Zachowaj synchronizację nagrania podczas przygotowania audio, jeśli transkrypcja ma być dopasowana do oryginalnego materiału.
Zadaniem Whisper jest rozpoznawanie i tłumaczenie mowy. Transkrypcja wykładu, zapis wywiadu lub przeszukiwalny zbiór materiałów mówionych to praktyczne wyniki; podsumowanie lub interpretacja mogą nastąpić jako osobny krok na tekście. Karta modelu nie ustanawia niezawodnej automatycznej klasyfikacji mówców ani diaryzacji jako standardowego wyjścia bazowego modelu. Jeśli zadanie wymaga oznaczeń mówców, należy obsłużyć to wymaganie osobno od twierdzenia o dokładnej transkrypcji. Użyteczny brief wskazuje język źródłowy, potrzebę transkrypcji lub tłumaczenia na angielski oraz wymagane informacje czasowe.
Istotne ograniczenia obejmują wymyślony tekst, którego nie wypowiedziano, i powtarzający się tekst, związane z treningiem ze słabym nadzorem na zaszumionych danych i konstrukcją sequence-to-sequence. Jakość rozpoznawania różni się między językami, akcentami i dialektami, a słabsze wyniki występują tam, gdzie jest mniej materiału treningowego. Szum, słownictwo specjalistyczne i nakładająca się mowa powinny więc wystąpić w próbce oceniającej przydatność. Porównuj nazwy, ilości i ważne wypowiedzi z nagraniem oraz kontroluj fragmenty bez mowy lub powtarzające się linie, zamiast uznawać płynną transkrypcję za dowód, że każde słowo zostało usłyszane.
Kompletny rezultat zachowuje rozpoznany tekst, jego język i wszelkie żądane informacje czasowe wraz z odniesieniem do oryginalnego nagrania. Oddziel transkrypcję od późniejszej edycji: poprawiona transkrypcja publikacyjna może usuwać wypełniacze, natomiast rozpoznana transkrypcja zachowuje rzeczywisty wynik modelu. Tożsamość large-v3 i jego możliwości tłumaczenia powinny także pozostawać odrębne od szybszej wersji Turbo. Rzeczywista szybkość przetwarzania zależy od języka, tempa mowy, sprzętu i metody wnioskowania; sama nazwa modelu nie określa konkretnego opóźnienia usługi hostowanej, maksymalnego rozmiaru przesyłanego pliku ani włączonej trasy aplikacji.
", "aboutText": "Whisper large-v3 to opublikowany model rozpoznawania mowy OpenAI mający około 1,55 miliarda parametrów. Jest wielojęzycznym modelem encoder-decoder: audio trafia do enkodera, a dekoder przewiduje tekst i tokeny związane z zadaniem. Główne zadania to transkrypcja mowy w języku źródłowym i tłumaczenie mowy na angielski. Jest to tożsamość modelu z otwartymi wagami, odrębna od identyfikatora modelu usługi hostowanej oraz jej reguł przesyłania plików i formatów odpowiedzi.\n\nLarge-v3 zachowuje architekturę wcześniejszych dużych modeli Whisper z dwiema wskazanymi zmianami: jego wejściowy spektrogram wykorzystuje 128 pasm częstotliwości Mel zamiast 80 i dodaje token języka kantońskiego. Karta modelu producenta opisuje trening na milionie godzin audio ze słabymi etykietami i czterech milionach godzin audio z pseudoetykietami przygotowanymi za pomocą Whisper large-v2. Mieszanki użyto przez dwie epoki treningowe. Wydanie jest konkretnym modelem large-v3, a nie ogólną nazwą każdego modelu rodziny Whisper.\n\nUdokumentowany proces wnioskowania domyślnie wykonuje transkrypcję, zachowując język nagrania. Może automatycznie wykryć język źródłowy lub przyjąć wybór znanego języka. W zadaniu tłumaczenia wielojęzyczny model large tworzy angielski tekst z mowy w innym języku. Wybierz to zadanie jawnie: transkrypcja w tym samym języku i angielskie tłumaczenie są różnymi rezultatami. W wywiadzie zachowaj oryginalne sformułowania języka źródłowego; dla angielskiego dokumentu referencyjnego określ, że oczekujesz tłumaczenia treści mówionej.\n\nPrzygotowanie audio jest częścią ścieżki wejściowej. Loader OpenAI dekoduje nagranie do monofonicznego przebiegu i zmienia częstotliwość próbkowania na 16 kHz. Akustyczne pole recepcyjne modelu wynosi 30 sekund. To okno przetwarzania, a nie maksymalna długość całego wywiadu lub wykładu. Wnioskowanie dla długich nagrań może przechodzić sekwencyjnie przez przesuwane okna albo dzielić nagranie na nakładające się fragmenty i łączyć ich transkrypcje. Karta modelu producenta opisuje przetwarzanie sekwencyjne, gdy priorytetem jest dokładność, i przetwarzanie fragmentami, gdy ważniejszy jest czas obsługi pojedynczego długiego nagrania.\n\nOpublikowana konfiguracja podaje 448 pozycji dekodera dla pojedynczej sekwencji dekodowania. Dłuższe nagrania obsługuje proces długich nagrań, a nie traktowanie tej liczby jako uniwersalnego limitu transkrypcji. Udokumentowany proces może zwracać znaczniki czasu segmentów lub słów obok rozpoznanego tekstu. Takie dane czasowe pomagają nawigować po nagraniach i przygotowywać napisy, podczas gdy końcowy kontener napisów lub format pliku transkrypcji jest odrębnym wyborem formatowania. Zachowaj synchronizację nagrania podczas przygotowania audio, jeśli transkrypcja ma być dopasowana do oryginalnego materiału.\n\nZadaniem Whisper jest rozpoznawanie i tłumaczenie mowy. Transkrypcja wykładu, zapis wywiadu lub przeszukiwalny zbiór materiałów mówionych to praktyczne wyniki; podsumowanie lub interpretacja mogą nastąpić jako osobny krok na tekście. Karta modelu nie ustanawia niezawodnej automatycznej klasyfikacji mówców ani diaryzacji jako standardowego wyjścia bazowego modelu. Jeśli zadanie wymaga oznaczeń mówców, należy obsłużyć to wymaganie osobno od twierdzenia o dokładnej transkrypcji. Użyteczny brief wskazuje język źródłowy, potrzebę transkrypcji lub tłumaczenia na angielski oraz wymagane informacje czasowe.\n\nIstotne ograniczenia obejmują wymyślony tekst, którego nie wypowiedziano, i powtarzający się tekst, związane z treningiem ze słabym nadzorem na zaszumionych danych i konstrukcją sequence-to-sequence. Jakość rozpoznawania różni się między językami, akcentami i dialektami, a słabsze wyniki występują tam, gdzie jest mniej materiału treningowego. Szum, słownictwo specjalistyczne i nakładająca się mowa powinny więc wystąpić w próbce oceniającej przydatność. Porównuj nazwy, ilości i ważne wypowiedzi z nagraniem oraz kontroluj fragmenty bez mowy lub powtarzające się linie, zamiast uznawać płynną transkrypcję za dowód, że każde słowo zostało usłyszane.\n\nKompletny rezultat zachowuje rozpoznany tekst, jego język i wszelkie żądane informacje czasowe wraz z odniesieniem do oryginalnego nagrania. Oddziel transkrypcję od późniejszej edycji: poprawiona transkrypcja publikacyjna może usuwać wypełniacze, natomiast rozpoznana transkrypcja zachowuje rzeczywisty wynik modelu. Tożsamość large-v3 i jego możliwości tłumaczenia powinny także pozostawać odrębne od szybszej wersji Turbo. Rzeczywista szybkość przetwarzania zależy od języka, tempa mowy, sprzętu i metody wnioskowania; sama nazwa modelu nie określa konkretnego opóźnienia usługi hostowanej, maksymalnego rozmiaru przesyłanego pliku ani włączonej trasy aplikacji.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "31bb2b5a4439c94ab3f2a80192e3fb1aeb6a3c440545ec989dd1b14ba9ca4b44", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "pl", "methods": [ { "html": "openai/whisper-large-v3Whisper large-v3 to wielojęzyczny model rozpoznawania mowy OpenAI z otwartymi wagami, przeznaczony do transkrypcji i tłumaczenia mowy na angielski. Zamienia nagraną mowę na tekst, z udokumentowanym wyborem języka, znacznikami czasu i przetwarzaniem długich nagrań wykraczających poza 30-sekundowe okno akustyczne.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Whisper large-v3 to opublikowany model rozpoznawania mowy OpenAI mający około 1,55 miliarda parametrów. Jest wielojęzycznym modelem encoder-decoder: audio trafia do enkodera, a dekoder przewiduje tekst i tokeny związane z zadaniem. Główne zadania to transkrypcja mowy w języku źródłowym i tłumaczenie mowy na angielski. Jest to tożsamość modelu z otwartymi wagami, odrębna od identyfikatora modelu usługi hostowanej oraz jej reguł przesyłania plików i formatów odpowiedzi.
Large-v3 zachowuje architekturę wcześniejszych dużych modeli Whisper z dwiema wskazanymi zmianami: jego wejściowy spektrogram wykorzystuje 128 pasm częstotliwości Mel zamiast 80 i dodaje token języka kantońskiego. Karta modelu producenta opisuje trening na milionie godzin audio ze słabymi etykietami i czterech milionach godzin audio z pseudoetykietami przygotowanymi za pomocą Whisper large-v2. Mieszanki użyto przez dwie epoki treningowe. Wydanie jest konkretnym modelem large-v3, a nie ogólną nazwą każdego modelu rodziny Whisper.
Udokumentowany proces wnioskowania domyślnie wykonuje transkrypcję, zachowując język nagrania. Może automatycznie wykryć język źródłowy lub przyjąć wybór znanego języka. W zadaniu tłumaczenia wielojęzyczny model large tworzy angielski tekst z mowy w innym języku. Wybierz to zadanie jawnie: transkrypcja w tym samym języku i angielskie tłumaczenie są różnymi rezultatami. W wywiadzie zachowaj oryginalne sformułowania języka źródłowego; dla angielskiego dokumentu referencyjnego określ, że oczekujesz tłumaczenia treści mówionej.
Przygotowanie audio jest częścią ścieżki wejściowej. Loader OpenAI dekoduje nagranie do monofonicznego przebiegu i zmienia częstotliwość próbkowania na 16 kHz. Akustyczne pole recepcyjne modelu wynosi 30 sekund. To okno przetwarzania, a nie maksymalna długość całego wywiadu lub wykładu. Wnioskowanie dla długich nagrań może przechodzić sekwencyjnie przez przesuwane okna albo dzielić nagranie na nakładające się fragmenty i łączyć ich transkrypcje. Karta modelu producenta opisuje przetwarzanie sekwencyjne, gdy priorytetem jest dokładność, i przetwarzanie fragmentami, gdy ważniejszy jest czas obsługi pojedynczego długiego nagrania.
Opublikowana konfiguracja podaje 448 pozycji dekodera dla pojedynczej sekwencji dekodowania. Dłuższe nagrania obsługuje proces długich nagrań, a nie traktowanie tej liczby jako uniwersalnego limitu transkrypcji. Udokumentowany proces może zwracać znaczniki czasu segmentów lub słów obok rozpoznanego tekstu. Takie dane czasowe pomagają nawigować po nagraniach i przygotowywać napisy, podczas gdy końcowy kontener napisów lub format pliku transkrypcji jest odrębnym wyborem formatowania. Zachowaj synchronizację nagrania podczas przygotowania audio, jeśli transkrypcja ma być dopasowana do oryginalnego materiału.
Zadaniem Whisper jest rozpoznawanie i tłumaczenie mowy. Transkrypcja wykładu, zapis wywiadu lub przeszukiwalny zbiór materiałów mówionych to praktyczne wyniki; podsumowanie lub interpretacja mogą nastąpić jako osobny krok na tekście. Karta modelu nie ustanawia niezawodnej automatycznej klasyfikacji mówców ani diaryzacji jako standardowego wyjścia bazowego modelu. Jeśli zadanie wymaga oznaczeń mówców, należy obsłużyć to wymaganie osobno od twierdzenia o dokładnej transkrypcji. Użyteczny brief wskazuje język źródłowy, potrzebę transkrypcji lub tłumaczenia na angielski oraz wymagane informacje czasowe.
Istotne ograniczenia obejmują wymyślony tekst, którego nie wypowiedziano, i powtarzający się tekst, związane z treningiem ze słabym nadzorem na zaszumionych danych i konstrukcją sequence-to-sequence. Jakość rozpoznawania różni się między językami, akcentami i dialektami, a słabsze wyniki występują tam, gdzie jest mniej materiału treningowego. Szum, słownictwo specjalistyczne i nakładająca się mowa powinny więc wystąpić w próbce oceniającej przydatność. Porównuj nazwy, ilości i ważne wypowiedzi z nagraniem oraz kontroluj fragmenty bez mowy lub powtarzające się linie, zamiast uznawać płynną transkrypcję za dowód, że każde słowo zostało usłyszane.
Kompletny rezultat zachowuje rozpoznany tekst, jego język i wszelkie żądane informacje czasowe wraz z odniesieniem do oryginalnego nagrania. Oddziel transkrypcję od późniejszej edycji: poprawiona transkrypcja publikacyjna może usuwać wypełniacze, natomiast rozpoznana transkrypcja zachowuje rzeczywisty wynik modelu. Tożsamość large-v3 i jego możliwości tłumaczenia powinny także pozostawać odrębne od szybszej wersji Turbo. Rzeczywista szybkość przetwarzania zależy od języka, tempa mowy, sprzętu i metody wnioskowania; sama nazwa modelu nie określa konkretnego opóźnienia usługi hostowanej, maksymalnego rozmiaru przesyłanego pliku ani włączonej trasy aplikacji.
POST /v1/audio/transcriptionsaudiotranscription| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity openai/whisper-large-v3 | Domyślnie— |
Poleinput_audio | Typobject | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polelanguage | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Minimum: 0 Maksimum: 1 | Domyślnie— |
Poleresponse_format | Typstring | WymaganieOpcjonalne | Wartości i limity json, verbose_json | Domyślniejson |
Poletimestamp_granularities | Typarray | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
speech_to_text · Wymagane: actual matching-format audio file
| Parametr | Kontrakt |
|---|---|
Parametrcontent_types | Kontraktapplication/json, multipart/form-data |
Parametrrequired | Kontraktmodel, input_audio |
Parametrmaterial_types | Kontraktaudio |
ParametrJSON_audio | Kontraktrzeczywiste surowe bajty dźwięku w base64 wraz z odpowiadającym im formatem |
Parametrmultipart_required | Kontraktmodel, file |
Parametrmultipart_cap_bytes | Kontrakt26214400 |
Parametroptional_controls | Kontraktlanguage, temperature, response_format, timestamp_granularities, provider |
Parametrdefault_response_format | Kontraktjson |
Parametroptional_features | KontraktRozszerzony wynik, diarize/keyterms oraz URL lub większe dane dźwiękowe przekazane bezpośrednio wymagają odpowiednich możliwości konkretnego modelu i dostawcy oraz właściwej taryfy. |
Cykl życia: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · Rzeczywiście zwrócony task_id lub wpis w bibliotece multimediów
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Użyj dokładnego modelu i udokumentowanych pól wejściowych.
Zachowaj kompletną odpowiedź, wszystkie rzeczywiste wyniki i pierwotne zwrócone identyfikatory.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Jednostka rozliczeniowa | Opłata |
|---|---|---|---|
| KonfiguracjaBazowe stawki za tokeny | Tabela stawekStawka podstawowa | Jednostka rozliczeniowa— | Opłata Wejście · Tokeny wejściowe — / 1K tokenów Wyjście · Tokeny wyjściowe — / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaUltra | Tabela stawek— | Jednostka rozliczeniowaza sekundę dźwięku wejściowego | Opłata Wejście · sekunda wejściowego audio $0.000015 za sekundę dźwięku wejściowego |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
Referencyjne tabele modelu nie zmieniają wyboru metody, wyceny ani opłat. Naliczane opłaty korzystają ze stawek wybranej metody Ailoot.
| Konfiguracja | Warunki rozliczania | Opłata |
|---|---|---|
| KonfiguracjaOpenAI: Whisper Large V3 · Domyślna konfiguracja | Warunki rozliczaniaKonfiguracja domyślna | Opłata Wejście · Sekundy wejściowego audio 0,000015 USD za sekundę dźwięku wejściowego |
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'openai/whisper-large-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\njson
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Kompletny oryginalny JSON, wszystkie dostępne teksty, segmenty, słowa, mówcy, znaczniki czasu oraz dane użycia.
Zachowaj pierwotne operation_id/X-Client-Request-ID i oryginalną odpowiedź. Odczytuj rzeczywiste rekordy zadań i zasobów należących do użytkownika bez ponownego wysyłania; nie tworzy się dedykowanego adresu URL do odpytywania dźwięku.
| Pole | Typ |
|---|---|
Poletext | Typstring |
Poleusage | Typobject |
Polesegments[] | Typobject |
Polewords[] | Typobject |
Ailoot Ultra openai/whisper-large-v3
Użyj ścieżek metod podanych powyżej.