Überblick: detaillierte Beschreibungen von Klängen
Qwen3-Omni-30B-A3B-Captioner ist ein spezialisiertes Audiobeschreibungsmodell, das aus Qwen3-Omni-30B-A3B-Instruct feinabgestimmt wurde. Es wandelt einen Audioclip in eine detaillierte textliche Darstellung des Gehörten um. Qwen hat es für verschiedenartiges Material entwickelt, darunter Sprache, Umgebungsgeräusche, Musik, filmische Effekte und Mischungen mehrerer Klangquellen. Dadurch eignet es sich zum Erstellen einer durchsuchbaren Beschreibung eines Audioelements oder zur Prüfung der Klangebenen eines kurzen Mediensegments.
Verstehen von Sprache und nichtsprachlichen Klängen
Der Hersteller beschreibt die Analyse mehrerer Sprecher, mehrsprachiger Ausdrücke, stimmlicher Emotionen und der durch die Vortragsweise angedeuteten Absichten. Seine Beispiele gehen über ein Transkript hinaus: Sie beschreiben den Klang der Stimmen, die gesprochene Sprache und die umgebende akustische Szene. Bei nichtsprachlichem Audio beschreibt das Modell die Atmosphäre der Umgebung, reale Geräusche, musikalische Ebenen und dynamische Details in Film oder Medien.
Beschreibungen von Stimmung, Sprecherabsicht oder kulturellem Kontext sind Interpretationen des hörbaren Materials. Behandeln Sie sie getrennt von direkt überprüfbaren Sprach- und Klangereignissen. Eine Beschreibung kann einer prüfenden Person helfen, eine Änderung im Tonfall oder eine Hintergrundebene zu bemerken; sie ist keine Messung der privaten Gefühle einer Person und kein Beleg für die physische Quelle eines mehrdeutigen Geräuschs.
Die Captioner-Edition und ihre Eingabevorgaben
Dieser Checkpoint arbeitet mit einer einzelnen Gesprächsrunde. Er verarbeitet genau eine Audioeingabe pro Inferenz, keinen Text-Prompt, und gibt ausschließlich Text zurück. Er enthält die Thinker-Komponente für Audioverständnis; die veröffentlichte Konfiguration deaktiviert die Audioausgabe ausdrücklich. Übertragen Sie die Gesprächs-, Bild-, Video- oder Spracherzeugungsfunktionen anderer Qwen3-Omni-Editionen nicht auf Captioner, nur weil ihre Namen derselben Familie angehören.
Das Fehlen eines Text-Prompts ist praktisch relevant. Bereiten Sie das zu beschreibende Audiosegment vor und übermitteln Sie dieses Segment als gesamte Aufgabe. Hängen Sie keine Anweisung für eine individuelle Zusammenfassung, Übersetzung, Sprecherantwort oder ein Ausgabeschema an. Wenn ein Ablauf diese Umwandlungen benötigt, gehören sie in eine separate Stufe, die mit der zurückgegebenen Beschreibung arbeitet, statt als vorausgesetzte Einstellungen dieses Beschreibungs-Checkpoints zu gelten.
Nützliches Audio vorbereiten
Qwen empfiehlt, einen Clip für eine feingliedrige Beschreibung auf höchstens 30 Sekunden zu begrenzen. Dies ist eine Qualitätsempfehlung: Übermäßig langes Audio kann die Wahrnehmung von Details verringern. Sie wird nicht als allgemeingültige harte Ablehnungsschwelle dargestellt. Wählen Sie bei einer längeren Aufnahme ein sinnvolles kurzes Segment um das zu prüfende Ereignis oder die Szene aus. Bewahren Sie seine Quellenkennung und Startzeit außerhalb der Modellanfrage auf, damit sich die zurückgegebene Beschreibung später zur ursprünglichen Aufnahme zurückverfolgen lässt.
Erhalten Sie die für die Frage relevanten Klangebenen. Ein auf Stimmen ausgerichteter Auszug sollte den Hintergrund weiterhin enthalten, wenn dieser die gewünschte Beschreibung beeinflusst; ein Musik- oder Klangeffekt-Element sollte seinen wichtigen Übergang behalten, statt an einer willkürlichen Grenze abgeschnitten zu werden. Die getrennte Verarbeitung von Clips hilft, lokale Details zu erhalten, begründet aber keine automatische Kontinuität oder ein anfrageübergreifendes Verständnis der gesamten Aufnahme.
Wofür das Textergebnis nützlich ist
Die Anwendungsanleitung des Herstellers zeigt Beschreibungen, die Sprachinhalt und Vortragsweise und anschließend die umgebende Szene darstellen; andere Beispiele beschreiben Musik, Effekte, Änderungen der Intensität und die Abfolge stimmlicher Ereignisse. Ein Audiokatalog kann den zurückgegebenen Text zusammen mit dem Namen des Audioelements und dem Zeitraum speichern. Eine mit der Medienprüfung befasste Person kann ihn als Entwurf eines Tonprotokolls verwenden. Ein Editor kann die Beschreibung mit dem Clip vergleichen, um festzustellen, ob sie die beabsichtigten Ebenen erfasst. Dies sind Anwendungsbeispiele und keine Belege dafür, dass das Modell ein bestimmtes Audioelement eines Nutzers bereits im Voraus angehört hat.
Die Ausgabe ist eine beschreibende Darstellung des Gehörten, kein versprochenes wortgetreues Transkript, keine Sprecherzuordnungstabelle, keine Untertiteldatei mit Zeitstempeln und kein erzeugter Soundtrack. Wenn exakte gesprochene Formulierungen oder Zeitangaben benötigt werden, prüfen Sie die Beschreibung anhand des Audios und verwenden Sie einen geeigneten spezialisierten Ablauf für das erforderliche Arbeitsergebnis. Eine ausführliche Beschreibung kann erschlossene Szenen- oder Genreinformationen enthalten; bewahren Sie daher Unsicherheit, wenn der Klang selbst die Quelle nicht eindeutig identifiziert.
Generierungsbeispiele und Grenzen
Das eigenständige Beispiel des Herstellers setzt einen Modellkontext von 32,768 Token und ein Generierungsbudget von 16,384 Token unter Verwendung von temperature 0.6, top_p 0.95 und top_k 20. Seine Anwendungsanleitung verwendet ein Generierungsbudget von 8,192 Token mit denselben Sampling-Werten. Dies sind Beispielkonfigurationen, keine separat erklärten maximalen Beschreibungslängen. Die zugrunde liegende Textkonfiguration nennt 65,536 Positionen; daraus sollte keine Garantie für die Audiodauer abgeleitet werden.
Allgemeiner Hilfscode oder mit der Omni-Familie geteilte Konfigurationsfelder setzen die ausdrücklichen Captioner-Vorgaben – eine Audioeingabe, kein Text, ausschließlich Textausgabe – nicht außer Kraft. Das nützliche Ergebnis ist eine detaillierte Beschreibung einer kurzen hörbaren Szene; prüfen Sie Sprachzitate, Sprecherzahlen und erschlossene Klangquellen, bevor Sie es als verbindliche Aufzeichnung verwenden.
", "aboutText": "Überblick: detaillierte Beschreibungen von Klängen\n\nQwen3-Omni-30B-A3B-Captioner ist ein spezialisiertes Audiobeschreibungsmodell, das aus Qwen3-Omni-30B-A3B-Instruct feinabgestimmt wurde. Es wandelt einen Audioclip in eine detaillierte textliche Darstellung des Gehörten um. Qwen hat es für verschiedenartiges Material entwickelt, darunter Sprache, Umgebungsgeräusche, Musik, filmische Effekte und Mischungen mehrerer Klangquellen. Dadurch eignet es sich zum Erstellen einer durchsuchbaren Beschreibung eines Audioelements oder zur Prüfung der Klangebenen eines kurzen Mediensegments.\n\nVerstehen von Sprache und nichtsprachlichen Klängen\n\nDer Hersteller beschreibt die Analyse mehrerer Sprecher, mehrsprachiger Ausdrücke, stimmlicher Emotionen und der durch die Vortragsweise angedeuteten Absichten. Seine Beispiele gehen über ein Transkript hinaus: Sie beschreiben den Klang der Stimmen, die gesprochene Sprache und die umgebende akustische Szene. Bei nichtsprachlichem Audio beschreibt das Modell die Atmosphäre der Umgebung, reale Geräusche, musikalische Ebenen und dynamische Details in Film oder Medien.\n\nBeschreibungen von Stimmung, Sprecherabsicht oder kulturellem Kontext sind Interpretationen des hörbaren Materials. Behandeln Sie sie getrennt von direkt überprüfbaren Sprach- und Klangereignissen. Eine Beschreibung kann einer prüfenden Person helfen, eine Änderung im Tonfall oder eine Hintergrundebene zu bemerken; sie ist keine Messung der privaten Gefühle einer Person und kein Beleg für die physische Quelle eines mehrdeutigen Geräuschs.\n\nDie Captioner-Edition und ihre Eingabevorgaben\n\nDieser Checkpoint arbeitet mit einer einzelnen Gesprächsrunde. Er verarbeitet genau eine Audioeingabe pro Inferenz, keinen Text-Prompt, und gibt ausschließlich Text zurück. Er enthält die Thinker-Komponente für Audioverständnis; die veröffentlichte Konfiguration deaktiviert die Audioausgabe ausdrücklich. Übertragen Sie die Gesprächs-, Bild-, Video- oder Spracherzeugungsfunktionen anderer Qwen3-Omni-Editionen nicht auf Captioner, nur weil ihre Namen derselben Familie angehören.\n\nDas Fehlen eines Text-Prompts ist praktisch relevant. Bereiten Sie das zu beschreibende Audiosegment vor und übermitteln Sie dieses Segment als gesamte Aufgabe. Hängen Sie keine Anweisung für eine individuelle Zusammenfassung, Übersetzung, Sprecherantwort oder ein Ausgabeschema an. Wenn ein Ablauf diese Umwandlungen benötigt, gehören sie in eine separate Stufe, die mit der zurückgegebenen Beschreibung arbeitet, statt als vorausgesetzte Einstellungen dieses Beschreibungs-Checkpoints zu gelten.\n\nNützliches Audio vorbereiten\n\nQwen empfiehlt, einen Clip für eine feingliedrige Beschreibung auf höchstens 30 Sekunden zu begrenzen. Dies ist eine Qualitätsempfehlung: Übermäßig langes Audio kann die Wahrnehmung von Details verringern. Sie wird nicht als allgemeingültige harte Ablehnungsschwelle dargestellt. Wählen Sie bei einer längeren Aufnahme ein sinnvolles kurzes Segment um das zu prüfende Ereignis oder die Szene aus. Bewahren Sie seine Quellenkennung und Startzeit außerhalb der Modellanfrage auf, damit sich die zurückgegebene Beschreibung später zur ursprünglichen Aufnahme zurückverfolgen lässt.\n\nErhalten Sie die für die Frage relevanten Klangebenen. Ein auf Stimmen ausgerichteter Auszug sollte den Hintergrund weiterhin enthalten, wenn dieser die gewünschte Beschreibung beeinflusst; ein Musik- oder Klangeffekt-Element sollte seinen wichtigen Übergang behalten, statt an einer willkürlichen Grenze abgeschnitten zu werden. Die getrennte Verarbeitung von Clips hilft, lokale Details zu erhalten, begründet aber keine automatische Kontinuität oder ein anfrageübergreifendes Verständnis der gesamten Aufnahme.\n\nWofür das Textergebnis nützlich ist\n\nDie Anwendungsanleitung des Herstellers zeigt Beschreibungen, die Sprachinhalt und Vortragsweise und anschließend die umgebende Szene darstellen; andere Beispiele beschreiben Musik, Effekte, Änderungen der Intensität und die Abfolge stimmlicher Ereignisse. Ein Audiokatalog kann den zurückgegebenen Text zusammen mit dem Namen des Audioelements und dem Zeitraum speichern. Eine mit der Medienprüfung befasste Person kann ihn als Entwurf eines Tonprotokolls verwenden. Ein Editor kann die Beschreibung mit dem Clip vergleichen, um festzustellen, ob sie die beabsichtigten Ebenen erfasst. Dies sind Anwendungsbeispiele und keine Belege dafür, dass das Modell ein bestimmtes Audioelement eines Nutzers bereits im Voraus angehört hat.\n\nDie Ausgabe ist eine beschreibende Darstellung des Gehörten, kein versprochenes wortgetreues Transkript, keine Sprecherzuordnungstabelle, keine Untertiteldatei mit Zeitstempeln und kein erzeugter Soundtrack. Wenn exakte gesprochene Formulierungen oder Zeitangaben benötigt werden, prüfen Sie die Beschreibung anhand des Audios und verwenden Sie einen geeigneten spezialisierten Ablauf für das erforderliche Arbeitsergebnis. Eine ausführliche Beschreibung kann erschlossene Szenen- oder Genreinformationen enthalten; bewahren Sie daher Unsicherheit, wenn der Klang selbst die Quelle nicht eindeutig identifiziert.\n\nGenerierungsbeispiele und Grenzen\n\nDas eigenständige Beispiel des Herstellers setzt einen Modellkontext von 32,768 Token und ein Generierungsbudget von 16,384 Token unter Verwendung von temperature 0.6, top_p 0.95 und top_k 20. Seine Anwendungsanleitung verwendet ein Generierungsbudget von 8,192 Token mit denselben Sampling-Werten. Dies sind Beispielkonfigurationen, keine separat erklärten maximalen Beschreibungslängen. Die zugrunde liegende Textkonfiguration nennt 65,536 Positionen; daraus sollte keine Garantie für die Audiodauer abgeleitet werden.\n\nAllgemeiner Hilfscode oder mit der Omni-Familie geteilte Konfigurationsfelder setzen die ausdrücklichen Captioner-Vorgaben – eine Audioeingabe, kein Text, ausschließlich Textausgabe – nicht außer Kraft. Das nützliche Ergebnis ist eine detaillierte Beschreibung einer kurzen hörbaren Szene; prüfen Sie Sprachzitate, Sprecherzahlen und erschlossene Klangquellen, bevor Sie es als verbindliche Aufzeichnung verwenden.", "editorialOverlay": { "copy_fields": { "practical_html": "Die Modellbeschreibung verlangt Audioeingaben, die ausgewählte Route deklariert jedoch Texteingaben. Für diese Abweichung wird kein direkt ausführbares Generierungsbeispiel angeboten.
Technisches Beispiel auf Englisch
Describe one short audio asset\n\nManufacturer workflow only: select one short audio clip whose sound layers need a description. Submit exactly that audio input with no text prompt through the documented manufacturer workflow. Keep the asset identifier outside the request. The selected Ailoot text-only route does not provide this audio-input workflow.A detailed text caption covering audible speech, background sounds, music and event order when present, with uncertain sound sources or intentions kept distinct from direct audible observations.Compare the caption with the same clip for sound sequence and sources; reconcile the Ailoot text-input mismatch before use. Do not send this preparation note as a text prompt.Qwen/Qwen3-Omni-30B-A3B-CaptionerQwen3-Omni-30B-A3B-Captioner beschreibt Sprache, Musik, Umgebungsgeräusche und filmisches Audio als Text. Diese spezialisierte Edition für eine einzelne Gesprächsrunde verarbeitet eine Audioeingabe ohne Text-Prompt; Qwen empfiehlt Clips von höchstens 30 Sekunden, um feine Details zu erhalten.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Überblick: detaillierte Beschreibungen von Klängen
Qwen3-Omni-30B-A3B-Captioner ist ein spezialisiertes Audiobeschreibungsmodell, das aus Qwen3-Omni-30B-A3B-Instruct feinabgestimmt wurde. Es wandelt einen Audioclip in eine detaillierte textliche Darstellung des Gehörten um. Qwen hat es für verschiedenartiges Material entwickelt, darunter Sprache, Umgebungsgeräusche, Musik, filmische Effekte und Mischungen mehrerer Klangquellen. Dadurch eignet es sich zum Erstellen einer durchsuchbaren Beschreibung eines Audioelements oder zur Prüfung der Klangebenen eines kurzen Mediensegments.
Verstehen von Sprache und nichtsprachlichen Klängen
Der Hersteller beschreibt die Analyse mehrerer Sprecher, mehrsprachiger Ausdrücke, stimmlicher Emotionen und der durch die Vortragsweise angedeuteten Absichten. Seine Beispiele gehen über ein Transkript hinaus: Sie beschreiben den Klang der Stimmen, die gesprochene Sprache und die umgebende akustische Szene. Bei nichtsprachlichem Audio beschreibt das Modell die Atmosphäre der Umgebung, reale Geräusche, musikalische Ebenen und dynamische Details in Film oder Medien.
Beschreibungen von Stimmung, Sprecherabsicht oder kulturellem Kontext sind Interpretationen des hörbaren Materials. Behandeln Sie sie getrennt von direkt überprüfbaren Sprach- und Klangereignissen. Eine Beschreibung kann einer prüfenden Person helfen, eine Änderung im Tonfall oder eine Hintergrundebene zu bemerken; sie ist keine Messung der privaten Gefühle einer Person und kein Beleg für die physische Quelle eines mehrdeutigen Geräuschs.
Die Captioner-Edition und ihre Eingabevorgaben
Dieser Checkpoint arbeitet mit einer einzelnen Gesprächsrunde. Er verarbeitet genau eine Audioeingabe pro Inferenz, keinen Text-Prompt, und gibt ausschließlich Text zurück. Er enthält die Thinker-Komponente für Audioverständnis; die veröffentlichte Konfiguration deaktiviert die Audioausgabe ausdrücklich. Übertragen Sie die Gesprächs-, Bild-, Video- oder Spracherzeugungsfunktionen anderer Qwen3-Omni-Editionen nicht auf Captioner, nur weil ihre Namen derselben Familie angehören.
Das Fehlen eines Text-Prompts ist praktisch relevant. Bereiten Sie das zu beschreibende Audiosegment vor und übermitteln Sie dieses Segment als gesamte Aufgabe. Hängen Sie keine Anweisung für eine individuelle Zusammenfassung, Übersetzung, Sprecherantwort oder ein Ausgabeschema an. Wenn ein Ablauf diese Umwandlungen benötigt, gehören sie in eine separate Stufe, die mit der zurückgegebenen Beschreibung arbeitet, statt als vorausgesetzte Einstellungen dieses Beschreibungs-Checkpoints zu gelten.
Nützliches Audio vorbereiten
Qwen empfiehlt, einen Clip für eine feingliedrige Beschreibung auf höchstens 30 Sekunden zu begrenzen. Dies ist eine Qualitätsempfehlung: Übermäßig langes Audio kann die Wahrnehmung von Details verringern. Sie wird nicht als allgemeingültige harte Ablehnungsschwelle dargestellt. Wählen Sie bei einer längeren Aufnahme ein sinnvolles kurzes Segment um das zu prüfende Ereignis oder die Szene aus. Bewahren Sie seine Quellenkennung und Startzeit außerhalb der Modellanfrage auf, damit sich die zurückgegebene Beschreibung später zur ursprünglichen Aufnahme zurückverfolgen lässt.
Erhalten Sie die für die Frage relevanten Klangebenen. Ein auf Stimmen ausgerichteter Auszug sollte den Hintergrund weiterhin enthalten, wenn dieser die gewünschte Beschreibung beeinflusst; ein Musik- oder Klangeffekt-Element sollte seinen wichtigen Übergang behalten, statt an einer willkürlichen Grenze abgeschnitten zu werden. Die getrennte Verarbeitung von Clips hilft, lokale Details zu erhalten, begründet aber keine automatische Kontinuität oder ein anfrageübergreifendes Verständnis der gesamten Aufnahme.
Wofür das Textergebnis nützlich ist
Die Anwendungsanleitung des Herstellers zeigt Beschreibungen, die Sprachinhalt und Vortragsweise und anschließend die umgebende Szene darstellen; andere Beispiele beschreiben Musik, Effekte, Änderungen der Intensität und die Abfolge stimmlicher Ereignisse. Ein Audiokatalog kann den zurückgegebenen Text zusammen mit dem Namen des Audioelements und dem Zeitraum speichern. Eine mit der Medienprüfung befasste Person kann ihn als Entwurf eines Tonprotokolls verwenden. Ein Editor kann die Beschreibung mit dem Clip vergleichen, um festzustellen, ob sie die beabsichtigten Ebenen erfasst. Dies sind Anwendungsbeispiele und keine Belege dafür, dass das Modell ein bestimmtes Audioelement eines Nutzers bereits im Voraus angehört hat.
Die Ausgabe ist eine beschreibende Darstellung des Gehörten, kein versprochenes wortgetreues Transkript, keine Sprecherzuordnungstabelle, keine Untertiteldatei mit Zeitstempeln und kein erzeugter Soundtrack. Wenn exakte gesprochene Formulierungen oder Zeitangaben benötigt werden, prüfen Sie die Beschreibung anhand des Audios und verwenden Sie einen geeigneten spezialisierten Ablauf für das erforderliche Arbeitsergebnis. Eine ausführliche Beschreibung kann erschlossene Szenen- oder Genreinformationen enthalten; bewahren Sie daher Unsicherheit, wenn der Klang selbst die Quelle nicht eindeutig identifiziert.
Generierungsbeispiele und Grenzen
Das eigenständige Beispiel des Herstellers setzt einen Modellkontext von 32,768 Token und ein Generierungsbudget von 16,384 Token unter Verwendung von temperature 0.6, top_p 0.95 und top_k 20. Seine Anwendungsanleitung verwendet ein Generierungsbudget von 8,192 Token mit denselben Sampling-Werten. Dies sind Beispielkonfigurationen, keine separat erklärten maximalen Beschreibungslängen. Die zugrunde liegende Textkonfiguration nennt 65,536 Positionen; daraus sollte keine Garantie für die Audiodauer abgeleitet werden.
Allgemeiner Hilfscode oder mit der Omni-Familie geteilte Konfigurationsfelder setzen die ausdrücklichen Captioner-Vorgaben – eine Audioeingabe, kein Text, ausschließlich Textausgabe – nicht außer Kraft. Das nützliche Ergebnis ist eine detaillierte Beschreibung einer kurzen hörbaren Szene; prüfen Sie Sprachzitate, Sprecherzahlen und erschlossene Klangquellen, bevor Sie es als verbindliche Aufzeichnung verwenden.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits Qwen/Qwen3-Omni-30B-A3B-Captioner | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0008 / 1K Token Eingabe · Cache-Lesen $0 / 1K Token Eingabe · Cache-Schreiben $0 / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
Die Modellbeschreibung verlangt Audioeingaben, die ausgewählte Route deklariert jedoch Texteingaben. Für diese Abweichung wird kein direkt ausführbares Generierungsbeispiel angeboten.
manufacturer: audio → text
route: text → text
json oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra Qwen/Qwen3-Omni-30B-A3B-Captioner
Verwenden Sie die oben angezeigten Methodenpfade.
Qwen/Qwen3-Omni-30B-A3B-CaptionerQwen3-Omni-30B-A3B-Captioner beschreibt Sprache, Musik, Umgebungsgeräusche und filmisches Audio als Text. Diese spezialisierte Edition für eine einzelne Gesprächsrunde verarbeitet eine Audioeingabe ohne Text-Prompt; Qwen empfiehlt Clips von höchstens 30 Sekunden, um feine Details zu erhalten.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Überblick: detaillierte Beschreibungen von Klängen
Qwen3-Omni-30B-A3B-Captioner ist ein spezialisiertes Audiobeschreibungsmodell, das aus Qwen3-Omni-30B-A3B-Instruct feinabgestimmt wurde. Es wandelt einen Audioclip in eine detaillierte textliche Darstellung des Gehörten um. Qwen hat es für verschiedenartiges Material entwickelt, darunter Sprache, Umgebungsgeräusche, Musik, filmische Effekte und Mischungen mehrerer Klangquellen. Dadurch eignet es sich zum Erstellen einer durchsuchbaren Beschreibung eines Audioelements oder zur Prüfung der Klangebenen eines kurzen Mediensegments.
Verstehen von Sprache und nichtsprachlichen Klängen
Der Hersteller beschreibt die Analyse mehrerer Sprecher, mehrsprachiger Ausdrücke, stimmlicher Emotionen und der durch die Vortragsweise angedeuteten Absichten. Seine Beispiele gehen über ein Transkript hinaus: Sie beschreiben den Klang der Stimmen, die gesprochene Sprache und die umgebende akustische Szene. Bei nichtsprachlichem Audio beschreibt das Modell die Atmosphäre der Umgebung, reale Geräusche, musikalische Ebenen und dynamische Details in Film oder Medien.
Beschreibungen von Stimmung, Sprecherabsicht oder kulturellem Kontext sind Interpretationen des hörbaren Materials. Behandeln Sie sie getrennt von direkt überprüfbaren Sprach- und Klangereignissen. Eine Beschreibung kann einer prüfenden Person helfen, eine Änderung im Tonfall oder eine Hintergrundebene zu bemerken; sie ist keine Messung der privaten Gefühle einer Person und kein Beleg für die physische Quelle eines mehrdeutigen Geräuschs.
Die Captioner-Edition und ihre Eingabevorgaben
Dieser Checkpoint arbeitet mit einer einzelnen Gesprächsrunde. Er verarbeitet genau eine Audioeingabe pro Inferenz, keinen Text-Prompt, und gibt ausschließlich Text zurück. Er enthält die Thinker-Komponente für Audioverständnis; die veröffentlichte Konfiguration deaktiviert die Audioausgabe ausdrücklich. Übertragen Sie die Gesprächs-, Bild-, Video- oder Spracherzeugungsfunktionen anderer Qwen3-Omni-Editionen nicht auf Captioner, nur weil ihre Namen derselben Familie angehören.
Das Fehlen eines Text-Prompts ist praktisch relevant. Bereiten Sie das zu beschreibende Audiosegment vor und übermitteln Sie dieses Segment als gesamte Aufgabe. Hängen Sie keine Anweisung für eine individuelle Zusammenfassung, Übersetzung, Sprecherantwort oder ein Ausgabeschema an. Wenn ein Ablauf diese Umwandlungen benötigt, gehören sie in eine separate Stufe, die mit der zurückgegebenen Beschreibung arbeitet, statt als vorausgesetzte Einstellungen dieses Beschreibungs-Checkpoints zu gelten.
Nützliches Audio vorbereiten
Qwen empfiehlt, einen Clip für eine feingliedrige Beschreibung auf höchstens 30 Sekunden zu begrenzen. Dies ist eine Qualitätsempfehlung: Übermäßig langes Audio kann die Wahrnehmung von Details verringern. Sie wird nicht als allgemeingültige harte Ablehnungsschwelle dargestellt. Wählen Sie bei einer längeren Aufnahme ein sinnvolles kurzes Segment um das zu prüfende Ereignis oder die Szene aus. Bewahren Sie seine Quellenkennung und Startzeit außerhalb der Modellanfrage auf, damit sich die zurückgegebene Beschreibung später zur ursprünglichen Aufnahme zurückverfolgen lässt.
Erhalten Sie die für die Frage relevanten Klangebenen. Ein auf Stimmen ausgerichteter Auszug sollte den Hintergrund weiterhin enthalten, wenn dieser die gewünschte Beschreibung beeinflusst; ein Musik- oder Klangeffekt-Element sollte seinen wichtigen Übergang behalten, statt an einer willkürlichen Grenze abgeschnitten zu werden. Die getrennte Verarbeitung von Clips hilft, lokale Details zu erhalten, begründet aber keine automatische Kontinuität oder ein anfrageübergreifendes Verständnis der gesamten Aufnahme.
Wofür das Textergebnis nützlich ist
Die Anwendungsanleitung des Herstellers zeigt Beschreibungen, die Sprachinhalt und Vortragsweise und anschließend die umgebende Szene darstellen; andere Beispiele beschreiben Musik, Effekte, Änderungen der Intensität und die Abfolge stimmlicher Ereignisse. Ein Audiokatalog kann den zurückgegebenen Text zusammen mit dem Namen des Audioelements und dem Zeitraum speichern. Eine mit der Medienprüfung befasste Person kann ihn als Entwurf eines Tonprotokolls verwenden. Ein Editor kann die Beschreibung mit dem Clip vergleichen, um festzustellen, ob sie die beabsichtigten Ebenen erfasst. Dies sind Anwendungsbeispiele und keine Belege dafür, dass das Modell ein bestimmtes Audioelement eines Nutzers bereits im Voraus angehört hat.
Die Ausgabe ist eine beschreibende Darstellung des Gehörten, kein versprochenes wortgetreues Transkript, keine Sprecherzuordnungstabelle, keine Untertiteldatei mit Zeitstempeln und kein erzeugter Soundtrack. Wenn exakte gesprochene Formulierungen oder Zeitangaben benötigt werden, prüfen Sie die Beschreibung anhand des Audios und verwenden Sie einen geeigneten spezialisierten Ablauf für das erforderliche Arbeitsergebnis. Eine ausführliche Beschreibung kann erschlossene Szenen- oder Genreinformationen enthalten; bewahren Sie daher Unsicherheit, wenn der Klang selbst die Quelle nicht eindeutig identifiziert.
Generierungsbeispiele und Grenzen
Das eigenständige Beispiel des Herstellers setzt einen Modellkontext von 32,768 Token und ein Generierungsbudget von 16,384 Token unter Verwendung von temperature 0.6, top_p 0.95 und top_k 20. Seine Anwendungsanleitung verwendet ein Generierungsbudget von 8,192 Token mit denselben Sampling-Werten. Dies sind Beispielkonfigurationen, keine separat erklärten maximalen Beschreibungslängen. Die zugrunde liegende Textkonfiguration nennt 65,536 Positionen; daraus sollte keine Garantie für die Audiodauer abgeleitet werden.
Allgemeiner Hilfscode oder mit der Omni-Familie geteilte Konfigurationsfelder setzen die ausdrücklichen Captioner-Vorgaben – eine Audioeingabe, kein Text, ausschließlich Textausgabe – nicht außer Kraft. Das nützliche Ergebnis ist eine detaillierte Beschreibung einer kurzen hörbaren Szene; prüfen Sie Sprachzitate, Sprecherzahlen und erschlossene Klangquellen, bevor Sie es als verbindliche Aufzeichnung verwenden.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits Qwen/Qwen3-Omni-30B-A3B-Captioner | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.0002 / 1K Token Ausgabe · Ausgabetoken $0.0008 / 1K Token Eingabe · Cache-Lesen $0 / 1K Token Eingabe · Cache-Schreiben $0 / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
Die Modellbeschreibung verlangt Audioeingaben, die ausgewählte Route deklariert jedoch Texteingaben. Für diese Abweichung wird kein direkt ausführbares Generierungsbeispiel angeboten.
manufacturer: audio → text
route: text → json, sse
JSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra Qwen/Qwen3-Omni-30B-A3B-Captioner
Verwenden Sie die oben angezeigten Methodenpfade.
Die Modellbeschreibung verlangt Audioeingaben, die ausgewählte Route deklariert jedoch Texteingaben. Für diese Abweichung wird kein direkt ausführbares Generierungsbeispiel angeboten.
Technisches Beispiel auf Englisch
Describe one short audio asset\n\nManufacturer workflow only: select one short audio clip whose sound layers need a description. Submit exactly that audio input with no text prompt through the documented manufacturer workflow. Keep the asset identifier outside the request. The selected Ailoot text-only route does not provide this audio-input workflow.A detailed text caption covering audible speech, background sounds, music and event order when present, with uncertain sound sources or intentions kept distinct from direct audible observations.Compare the caption with the same clip for sound sequence and sources; reconcile the Ailoot text-input mismatch before use. Do not send this preparation note as a text prompt.