Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschliesslich englische v2-Modell auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen separaten Sprachprompt. Das Ergebnis ist ein Transkript des Gesprochenen mit Zeichensetzung sowie Gross- und Kleinschreibung.
Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gehört zur Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind separate Modelle.
Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Texttokens zusammen mit den Zeitspannen voraus, die zum Fortschreiten durch die Audioframes erforderlich sind. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und herkömmlichen RNN-T-Decodern der Familie.
Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC, und seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Aufnahme-ID und das ursprüngliche Audio zusammen mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder an der Quelle ausrichten lässt.
Zeitstempel ergänzen das erkannte Gesprochene um Zeitinformationen. NVIDIAs NeMo-Beispiel gibt Zeitangaben für Zeichen, Wörter und Segmente zurück, wenn die Erzeugung von Zeitstempeln aktiviert ist. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen verwenden, um eine Passage mit der Aufnahme zu verbinden, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.
Bei langen Aufnahmen ist die Aufmerksamkeitskonfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Aufmerksamkeit auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Aufmerksamkeit. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Aufmerksamkeit mit begrenztem linkem und rechtem Kontext um. Diese Zeitspannen beschreiben bestimmte Herstellerkonfigurationen und keine uneingeschränkte Grenze für jede Bereitstellung.
Der Hersteller veröffentlicht ausserdem einen Workflow für die Inferenz in Abschnitten zur Streaming-Nutzung. Sein Beispiel definiert die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt. Dies ist ein anderes Verarbeitungsverfahren als das des nativen cachefähigen Nemotron-Streaming-Modells. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme über mehrere Abschnitte hinweg zusammensetzt.
Der Trainingsmix umfasst 10’000 Stunden von Menschen transkribierter Sprache und 660’000 Stunden mit automatisch erzeugten Labels aus Granary-Daten, wobei Zeichensetzung sowie Gross- und Kleinschreibung erhalten bleiben. Der Hersteller unterstützt zudem das Fine-Tuning dieses veröffentlichten Checkpoints auf einem anderen Sprachdatensatz über seinen dokumentierten Modellworkflow; der angepasste Checkpoint bleibt vom v3-Basismodell getrennt. Die Textausgabe des Modells eignet sich damit als Speech-to-Text-Schritt in einem grösseren Workflow. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung kann die erkannte Passage indexieren, und ein Untertitelwerkzeug kann die zurückgegebenen Zeitmetadaten nutzen.
Die Erkennungsqualität hängt von Sprache, Akzent, Störgeräuschen und der Art des Gesprochenen ab. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und dass einzelne Wörter oder unvollständige Sätze weniger Kontext bieten. Bewahren Sie das Originalaudio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung als bestätigte Tatsache zu behandeln.
Das nützliche Artefakt ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind separate Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung Speech-to-Text ableiten lassen. Halten Sie die v3-Identität und den Aufmerksamkeitsmodus des Herstellers von anderen Checkpoints sowie von konvertierten oder quantisierten Artefakten getrennt.
", "aboutText": "Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschliesslich englische v2-Modell auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen separaten Sprachprompt. Das Ergebnis ist ein Transkript des Gesprochenen mit Zeichensetzung sowie Gross- und Kleinschreibung.\n\nUnterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gehört zur Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind separate Modelle.\n\nDie Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Texttokens zusammen mit den Zeitspannen voraus, die zum Fortschreiten durch die Audioframes erforderlich sind. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und herkömmlichen RNN-T-Decodern der Familie.\n\nBereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC, und seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Aufnahme-ID und das ursprüngliche Audio zusammen mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder an der Quelle ausrichten lässt.\n\nZeitstempel ergänzen das erkannte Gesprochene um Zeitinformationen. NVIDIAs NeMo-Beispiel gibt Zeitangaben für Zeichen, Wörter und Segmente zurück, wenn die Erzeugung von Zeitstempeln aktiviert ist. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen verwenden, um eine Passage mit der Aufnahme zu verbinden, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.\n\nBei langen Aufnahmen ist die Aufmerksamkeitskonfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Aufmerksamkeit auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Aufmerksamkeit. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Aufmerksamkeit mit begrenztem linkem und rechtem Kontext um. Diese Zeitspannen beschreiben bestimmte Herstellerkonfigurationen und keine uneingeschränkte Grenze für jede Bereitstellung.\n\nDer Hersteller veröffentlicht ausserdem einen Workflow für die Inferenz in Abschnitten zur Streaming-Nutzung. Sein Beispiel definiert die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt. Dies ist ein anderes Verarbeitungsverfahren als das des nativen cachefähigen Nemotron-Streaming-Modells. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme über mehrere Abschnitte hinweg zusammensetzt.\n\nDer Trainingsmix umfasst 10’000 Stunden von Menschen transkribierter Sprache und 660’000 Stunden mit automatisch erzeugten Labels aus Granary-Daten, wobei Zeichensetzung sowie Gross- und Kleinschreibung erhalten bleiben. Der Hersteller unterstützt zudem das Fine-Tuning dieses veröffentlichten Checkpoints auf einem anderen Sprachdatensatz über seinen dokumentierten Modellworkflow; der angepasste Checkpoint bleibt vom v3-Basismodell getrennt. Die Textausgabe des Modells eignet sich damit als Speech-to-Text-Schritt in einem grösseren Workflow. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung kann die erkannte Passage indexieren, und ein Untertitelwerkzeug kann die zurückgegebenen Zeitmetadaten nutzen.\n\nDie Erkennungsqualität hängt von Sprache, Akzent, Störgeräuschen und der Art des Gesprochenen ab. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und dass einzelne Wörter oder unvollständige Sätze weniger Kontext bieten. Bewahren Sie das Originalaudio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung als bestätigte Tatsache zu behandeln.\n\nDas nützliche Artefakt ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind separate Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung Speech-to-Text ableiten lassen. Halten Sie die v3-Identität und den Aufmerksamkeitsmodus des Herstellers von anderen Checkpoints sowie von konvertierten oder quantisierten Artefakten getrennt.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "82928eaf4b23285379ccb223ec1cc1421cca0aee772d9be44a4e6f2bb4f2b6d4", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "de-ch", "methods": [ { "html": "nvidia/parakeet-tdt-0.6b-v3NVIDIAs Parakeet TDT 0.6B v3 ist ein Speech-to-Text-Modell mit 600M Parametern für 25 europäische Sprachen und automatischer Erkennung der Sprache. Es erzeugt Transkripte mit Zeichensetzung und unterstützt Zeitstempel für Wörter und Segmente; seine Modi für lange Audioaufnahmen sind an die Aufmerksamkeitskonfiguration des Herstellers gebunden.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschliesslich englische v2-Modell auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen separaten Sprachprompt. Das Ergebnis ist ein Transkript des Gesprochenen mit Zeichensetzung sowie Gross- und Kleinschreibung.
Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gehört zur Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind separate Modelle.
Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Texttokens zusammen mit den Zeitspannen voraus, die zum Fortschreiten durch die Audioframes erforderlich sind. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und herkömmlichen RNN-T-Decodern der Familie.
Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC, und seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Aufnahme-ID und das ursprüngliche Audio zusammen mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder an der Quelle ausrichten lässt.
Zeitstempel ergänzen das erkannte Gesprochene um Zeitinformationen. NVIDIAs NeMo-Beispiel gibt Zeitangaben für Zeichen, Wörter und Segmente zurück, wenn die Erzeugung von Zeitstempeln aktiviert ist. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen verwenden, um eine Passage mit der Aufnahme zu verbinden, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.
Bei langen Aufnahmen ist die Aufmerksamkeitskonfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Aufmerksamkeit auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Aufmerksamkeit. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Aufmerksamkeit mit begrenztem linkem und rechtem Kontext um. Diese Zeitspannen beschreiben bestimmte Herstellerkonfigurationen und keine uneingeschränkte Grenze für jede Bereitstellung.
Der Hersteller veröffentlicht ausserdem einen Workflow für die Inferenz in Abschnitten zur Streaming-Nutzung. Sein Beispiel definiert die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt. Dies ist ein anderes Verarbeitungsverfahren als das des nativen cachefähigen Nemotron-Streaming-Modells. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme über mehrere Abschnitte hinweg zusammensetzt.
Der Trainingsmix umfasst 10’000 Stunden von Menschen transkribierter Sprache und 660’000 Stunden mit automatisch erzeugten Labels aus Granary-Daten, wobei Zeichensetzung sowie Gross- und Kleinschreibung erhalten bleiben. Der Hersteller unterstützt zudem das Fine-Tuning dieses veröffentlichten Checkpoints auf einem anderen Sprachdatensatz über seinen dokumentierten Modellworkflow; der angepasste Checkpoint bleibt vom v3-Basismodell getrennt. Die Textausgabe des Modells eignet sich damit als Speech-to-Text-Schritt in einem grösseren Workflow. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung kann die erkannte Passage indexieren, und ein Untertitelwerkzeug kann die zurückgegebenen Zeitmetadaten nutzen.
Die Erkennungsqualität hängt von Sprache, Akzent, Störgeräuschen und der Art des Gesprochenen ab. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und dass einzelne Wörter oder unvollständige Sätze weniger Kontext bieten. Bewahren Sie das Originalaudio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung als bestätigte Tatsache zu behandeln.
Das nützliche Artefakt ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind separate Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung Speech-to-Text ableiten lassen. Halten Sie die v3-Identität und den Aufmerksamkeitsmodus des Herstellers von anderen Checkpoints sowie von konvertierten oder quantisierten Artefakten getrennt.
POST /v1/audio/transcriptionsaudiotext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/parakeet-tdt-0.6b-v3 | Standard— |
Feldinput_audio | Typobject | AnforderungErforderlich | Werte und Limits | Standard— |
Feldlanguage | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Minimum: 0 Maximum: 1 | Standard— |
Feldresponse_format | Typstring | AnforderungOptional | Werte und Limits json, verbose_json | Standardjson |
Feldtimestamp_granularities | Typarray | AnforderungOptional | Werte und Limits | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits | Standard— |
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, input_audio |
Parametermaterial_types | Vertragaudio |
Parametermaterial_conditions | VertragLesen Sie eine tatsächliche WAV-Datei und codieren Sie deren echte Bytes für die deklarierte JSON-Eingabe input_audio; für diese exakte, ausschliesslich auf JSON beschränkte Deklaration wird keine multipart-Route angeboten. |
Lebenszyklus: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · die tatsächlich zurückgegebene task_id oder ein Eintrag in der Medienbibliothek
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
Die angezeigten Tarife dienen zur Kostenschätzung vor der Generierung. Der endgültige Betrag wird aus den für die ursprüngliche Generierung erfassten Kosten berechnet. Die gemessene Ausgabedauer und prognostizierte Mengen sind nicht die endgültige abrechenbare Menge.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Prognostizierte Menge | Abrechnungseinheit | Gebühr |
|---|---|---|---|---|
| KonfigurationToken-Basistarife | TarifstaffelGrundtarif | Prognostizierte Menge— | Abrechnungseinheit— | Gebühr Eingabe · Eingabetoken · Schätzung nur zum Vergleich — / 1K Tokens Ausgabe · Ausgabetoken · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · Cache lesen · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · Cache schreiben · Schätzung nur zum Vergleich — / 1K Tokens Eingabe · Cache schreiben, 1 Stunde · Schätzung nur zum Vergleich — / 1K Tokens |
| KonfigurationAudioeingabe-Sekunde | Tarifstaffel— | Prognostizierte Menge— | Abrechnungseinheitpro Sekunde Eingabeaudio | Gebühr Eingabe · Audioeingabe-Sekunde · Schätzung nur zum Vergleich $0.00005 pro Sekunde Eingabeaudio |
| KonfigurationGeschätzte Erzeugungskosten | Tarifstaffel— | Prognostizierte MengeSchätzung für eine Generierung | Abrechnungseinheit— | Gebühr Ausgabe · Geschätzte Generierungskosten · Schätzung nur zum Vergleich $0.00005 Schätzung vor der Generierung Diese Schätzung ist weder eine zusätzliche Gebühr noch ein fester Tarif für die abgeschlossene Generierung. |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\nimport base64\naudio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()\nif not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')\nif len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')\nrequest={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}\nrequest['input_audio']['data']=base64.b64encode(audio).decode('ascii')\nPath('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o response.bin\n# Keep the complete original response and headers. Read every returned segment, word and usage field.\n# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.\nGET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json\n# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.\nBewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Die vollständige Antwort und ihre Header, jede tatsächliche Ausgabe, die ursprünglich zurückgegebenen Kennungen und alle Nutzungsfelder aufbewahren. Den ursprünglichen Vorgang wiederaufnehmen, ohne die Erstellung erneut anzufordern.
Die zurückgegebene X-Client-Request-ID zum Abgleich aufbewahren. Nur tatsächlich zurückgegebene task_id-/asset_id-Werte oder die eigene Medienbibliothek abfragen; niemals eine Aufgaben-URL aus der Vorgangs-ID bilden und die Erstellung niemals erneut anfordern.
| Feld | Typ |
|---|---|
Feldtext | Typ |
Feldusage | Typ |
Feldsegments[] | Typ |
Feldwords[] | Typ |
Feldspeaker fields | Typ |
Feldtimestamps | Typ |
Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3
Verwenden Sie die oben angezeigten Methodenpfade.