Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschließlich englischsprachige Modell v2 auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen gesonderten Sprach-Prompt. Das Ergebnis ist ein Transkript der gesprochenen Sprache mit Zeichensetzung und Groß- und Kleinschreibung.
Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gilt für die Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind eigenständige Modelle.
Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Text-Tokens zusammen mit den Dauern voraus, die zum Fortschreiten durch die Audioframes benötigt werden. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und gewöhnlichen RNN-T-Decodern der Modellfamilie.
Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC; seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Kennung der Aufnahme und das ursprüngliche Audio gemeinsam mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder mit der Quelle abgleichen lässt.
Zeitstempel ergänzen die erkannte Sprache um Zeitinformationen. NVIDIAs NeMo-Beispiel liefert bei aktivierter Zeitstempelerzeugung Zeitangaben für Zeichen, Wörter und Segmente zurück. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen nutzen, um eine Passage mit der Aufnahme zu verknüpfen, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.
Bei langen Aufnahmen ist die Attention-Konfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Attention auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Attention. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Attention mit begrenztem linken und rechten Kontext um. Diese Dauern beschreiben bestimmte Herstellerkonfigurationen und sind keine uneingeschränkte Grenze für jede Bereitstellung.
Der Hersteller veröffentlicht außerdem einen Ablauf für abschnittsweise Inferenz im Streaming-Einsatz. Das Beispiel legt die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt fest. Dies ist ein anderes Verarbeitungsverfahren als beim nativen, cache-bewussten Nemotron-Streaming-Modell. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme aus mehreren Abschnitten zusammensetzt.
Die Trainingsmischung enthält 10.000 Stunden von Menschen transkribierter Sprache und 660.000 Stunden Granary-Daten mit Pseudolabels, unter Beibehaltung von Zeichensetzung und Groß- und Kleinschreibung. Der Hersteller unterstützt über seinen dokumentierten Modellablauf auch die Feinabstimmung dieses veröffentlichten Checkpoints mit einem anderen Sprachdatensatz; der angepasste Checkpoint bleibt vom Basismodell v3 getrennt. Die Textausgabe des Modells eignet sich somit als Spracherkennungsstufe eines umfassenderen Ablaufs. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung die erkannte Passage indexieren und ein Untertitelwerkzeug die zurückgegebenen Zeitmetadaten verwenden.
Die Erkennungsqualität variiert je nach Sprache, Akzent, Geräuschen und Art der Sprache. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und einzelne Wörter oder unvollständige Sätze weniger Kontext liefern. Bewahren Sie das ursprüngliche Audio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung zu einer bestätigten Tatsache zu machen.
Das nützliche Ergebnis ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind eigenständige Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung als Spracherkennungsmodell ergeben. Halten Sie die Identität von v3 und den Attention-Modus des Herstellers von anderen Checkpoints sowie konvertierten oder quantisierten Artefakten getrennt.
", "aboutText": "Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschließlich englischsprachige Modell v2 auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen gesonderten Sprach-Prompt. Das Ergebnis ist ein Transkript der gesprochenen Sprache mit Zeichensetzung und Groß- und Kleinschreibung.\n\nUnterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gilt für die Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind eigenständige Modelle.\n\nDie Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Text-Tokens zusammen mit den Dauern voraus, die zum Fortschreiten durch die Audioframes benötigt werden. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und gewöhnlichen RNN-T-Decodern der Modellfamilie.\n\nBereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC; seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Kennung der Aufnahme und das ursprüngliche Audio gemeinsam mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder mit der Quelle abgleichen lässt.\n\nZeitstempel ergänzen die erkannte Sprache um Zeitinformationen. NVIDIAs NeMo-Beispiel liefert bei aktivierter Zeitstempelerzeugung Zeitangaben für Zeichen, Wörter und Segmente zurück. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen nutzen, um eine Passage mit der Aufnahme zu verknüpfen, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.\n\nBei langen Aufnahmen ist die Attention-Konfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Attention auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Attention. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Attention mit begrenztem linken und rechten Kontext um. Diese Dauern beschreiben bestimmte Herstellerkonfigurationen und sind keine uneingeschränkte Grenze für jede Bereitstellung.\n\nDer Hersteller veröffentlicht außerdem einen Ablauf für abschnittsweise Inferenz im Streaming-Einsatz. Das Beispiel legt die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt fest. Dies ist ein anderes Verarbeitungsverfahren als beim nativen, cache-bewussten Nemotron-Streaming-Modell. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme aus mehreren Abschnitten zusammensetzt.\n\nDie Trainingsmischung enthält 10.000 Stunden von Menschen transkribierter Sprache und 660.000 Stunden Granary-Daten mit Pseudolabels, unter Beibehaltung von Zeichensetzung und Groß- und Kleinschreibung. Der Hersteller unterstützt über seinen dokumentierten Modellablauf auch die Feinabstimmung dieses veröffentlichten Checkpoints mit einem anderen Sprachdatensatz; der angepasste Checkpoint bleibt vom Basismodell v3 getrennt. Die Textausgabe des Modells eignet sich somit als Spracherkennungsstufe eines umfassenderen Ablaufs. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung die erkannte Passage indexieren und ein Untertitelwerkzeug die zurückgegebenen Zeitmetadaten verwenden.\n\nDie Erkennungsqualität variiert je nach Sprache, Akzent, Geräuschen und Art der Sprache. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und einzelne Wörter oder unvollständige Sätze weniger Kontext liefern. Bewahren Sie das ursprüngliche Audio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung zu einer bestätigten Tatsache zu machen.\n\nDas nützliche Ergebnis ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind eigenständige Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung als Spracherkennungsmodell ergeben. Halten Sie die Identität von v3 und den Attention-Modus des Herstellers von anderen Checkpoints sowie konvertierten oder quantisierten Artefakten getrennt.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "7c47e6cbea775cd4d30ef7772c7650ca41e29c12ef7a03e97dc60f24ba562914", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "de-at", "methods": [ { "html": "nvidia/parakeet-tdt-0.6b-v3NVIDIAs Parakeet TDT 0.6B v3 ist ein Spracherkennungsmodell mit 600M Parametern für 25 europäische Sprachen und automatischer Erkennung der Sprache. Es erzeugt Transkripte mit Zeichensetzung und unterstützt Zeitstempel für Wörter und Segmente. Die Modi für lange Audioaufnahmen hängen von der Attention-Konfiguration des Herstellers ab.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschließlich englischsprachige Modell v2 auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen gesonderten Sprach-Prompt. Das Ergebnis ist ein Transkript der gesprochenen Sprache mit Zeichensetzung und Groß- und Kleinschreibung.
Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gilt für die Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind eigenständige Modelle.
Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Text-Tokens zusammen mit den Dauern voraus, die zum Fortschreiten durch die Audioframes benötigt werden. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und gewöhnlichen RNN-T-Decodern der Modellfamilie.
Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC; seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Kennung der Aufnahme und das ursprüngliche Audio gemeinsam mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder mit der Quelle abgleichen lässt.
Zeitstempel ergänzen die erkannte Sprache um Zeitinformationen. NVIDIAs NeMo-Beispiel liefert bei aktivierter Zeitstempelerzeugung Zeitangaben für Zeichen, Wörter und Segmente zurück. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen nutzen, um eine Passage mit der Aufnahme zu verknüpfen, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.
Bei langen Aufnahmen ist die Attention-Konfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Attention auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Attention. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Attention mit begrenztem linken und rechten Kontext um. Diese Dauern beschreiben bestimmte Herstellerkonfigurationen und sind keine uneingeschränkte Grenze für jede Bereitstellung.
Der Hersteller veröffentlicht außerdem einen Ablauf für abschnittsweise Inferenz im Streaming-Einsatz. Das Beispiel legt die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt fest. Dies ist ein anderes Verarbeitungsverfahren als beim nativen, cache-bewussten Nemotron-Streaming-Modell. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme aus mehreren Abschnitten zusammensetzt.
Die Trainingsmischung enthält 10.000 Stunden von Menschen transkribierter Sprache und 660.000 Stunden Granary-Daten mit Pseudolabels, unter Beibehaltung von Zeichensetzung und Groß- und Kleinschreibung. Der Hersteller unterstützt über seinen dokumentierten Modellablauf auch die Feinabstimmung dieses veröffentlichten Checkpoints mit einem anderen Sprachdatensatz; der angepasste Checkpoint bleibt vom Basismodell v3 getrennt. Die Textausgabe des Modells eignet sich somit als Spracherkennungsstufe eines umfassenderen Ablaufs. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung die erkannte Passage indexieren und ein Untertitelwerkzeug die zurückgegebenen Zeitmetadaten verwenden.
Die Erkennungsqualität variiert je nach Sprache, Akzent, Geräuschen und Art der Sprache. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und einzelne Wörter oder unvollständige Sätze weniger Kontext liefern. Bewahren Sie das ursprüngliche Audio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung zu einer bestätigten Tatsache zu machen.
Das nützliche Ergebnis ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind eigenständige Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung als Spracherkennungsmodell ergeben. Halten Sie die Identität von v3 und den Attention-Modus des Herstellers von anderen Checkpoints sowie konvertierten oder quantisierten Artefakten getrennt.
POST /v1/audio/transcriptionsaudiotext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/parakeet-tdt-0.6b-v3 | Standard— |
Feldinput_audio | Typobject | AnforderungErforderlich | Werte und Limits | Standard— |
Feldlanguage | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Minimum: 0 Maximum: 1 | Standard— |
Feldresponse_format | Typstring | AnforderungOptional | Werte und Limits json, verbose_json | Standardjson |
Feldtimestamp_granularities | Typarray | AnforderungOptional | Werte und Limits | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits | Standard— |
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, input_audio |
Parametermaterial_types | Vertragaudio |
Parametermaterial_conditions | VertragLesen Sie eine tatsächliche WAV-Datei und kodieren Sie deren echte Bytes für die deklarierte JSON-Eingabe input_audio; für diese exakte reine JSON-Deklaration wird keine multipart-Route angeboten. |
Lebenszyklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · die tatsächlich zurückgegebene task_id oder ein Eintrag in der Medienbibliothek
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Die angezeigten Tarife dienen zur Kostenschätzung vor der Generierung. Der endgültige Betrag wird aus den für die ursprüngliche Generierung erfassten Kosten berechnet. Die gemessene Ausgabedauer und prognostizierte Mengen sind nicht die endgültige abrechenbare Menge.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Prognostizierte Menge | Abrechnungseinheit | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Tokens | TarifstaffelGrundtarif | Prognostizierte Menge— | Abrechnungseinheit— | Gebühr Eingabe · Eingabetoken · Schätzung nur zum Vergleich — / 1K Tokens Ausgabe · Ausgabetoken · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · Cache lesen · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · In Cache schreiben · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde · Schätzung nur zum Vergleich — / 1K Tokens |
| KonfigurationAudioeingabesekunde | Tarifstaffel— | Prognostizierte Menge— | Abrechnungseinheitpro Sekunde Eingabeaudio | Gebühr Eingabe · Audioeingabesekunde · Schätzung nur zum Vergleich $0.00005 pro Sekunde Eingabeaudio |
| KonfigurationGeschätzte Generierungskosten | Tarifstaffel— | Prognostizierte MengeSchätzung für eine Generierung | Abrechnungseinheit— | Gebühr Ausgabe · Geschätzte Generierungskosten · Schätzung nur zum Vergleich $0.00005 Schätzung vor der Generierung Diese Schätzung ist weder eine zusätzliche Gebühr noch ein fester Tarif für die abgeschlossene Generierung. |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\nGET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json\n# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.\nBewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Die vollständige Antwort und ihre Header, jede tatsächliche Ausgabe, die ursprünglich zurückgegebenen Kennungen und alle Nutzungsfelder aufbewahren. Den ursprünglichen Vorgang wiederaufnehmen, ohne die Erstellung erneut anzufordern.
Die zurückgegebene X-Client-Request-ID zum Abgleich aufbewahren. Nur tatsächlich zurückgegebene task_id-/asset_id-Werte oder die eigene Medienbibliothek abfragen; niemals eine Aufgaben-URL aus der Vorgangs-ID bilden und die Erstellung niemals erneut anfordern.
| Feld | Typ |
|---|---|
Feldtext | Typ |
Feldusage | Typ |
Feldsegments[] | Typ |
Feldwords[] | Typ |
Feldspeaker fields | Typ |
Feldtimestamps | Typ |
Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3
Verwenden Sie die oben angezeigten Methodenpfade.