Présentation : descriptions détaillées des sons
Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio, ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en un compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés : parole, sons ambiants, musique, effets cinématographiques et mélanges de plusieurs sources sonores. Il sert ainsi à préparer une description d’un fichier audio permettant des recherches textuelles ou à examiner les couches sonores d’un bref segment média.
Compréhension de la parole et des autres sons
Le concepteur décrit l’analyse de plusieurs locuteurs, des expressions multilingues, de l’émotion vocale et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent le timbre des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non vocal, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques de films ou de médias.
Les descriptions d’ambiance, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Distinguez-les de la parole et des événements sonores directement vérifiables. Une description peut aider à repérer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions intimes d’une personne et ne prouve pas la source physique d’un son ambigu.
L’édition Captioner et son contrat d’entrée
Ce checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, sans prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour comprendre l’audio ; la configuration publiée désactive explicitement la sortie audio. N’attribuez pas à Captioner les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni au motif de leur famille commune.
L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et envoyez-le comme tâche entière. N’ajoutez pas d’instruction demandant une synthèse personnalisée, une traduction, une réponse à un locuteur ou un schéma de sortie. Si un processus exige ces transformations, elles relèvent d’une étape séparée travaillant sur la description renvoyée, plutôt que de commandes supposées de ce checkpoint de description audio.
Préparation d’un audio utile
Qwen recommande de limiter les extraits à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement long, sélectionnez un court segment cohérent autour de l’événement ou de la scène à examiner. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir ensuite relier la description à l’enregistrement d’origine.
Préservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit garder l’arrière-plan lorsque celui-ci influence la description attendue ; un fichier musical ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupé arbitrairement. Traiter les extraits séparément aide à préserver le détail local, sans établir de continuité automatique ni de compréhension de l’enregistrement entier entre les requêtes.
Utilité du résultat textuel
Le guide pratique du concepteur montre des descriptions présentant le contenu et la manière de parler, puis la scène environnante ; d’autres exemples décrivent musique, effets, variations d’intensité et séquence des événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom du fichier et la plage temporelle. Une personne chargée de la revue média peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour vérifier qu’elle reflète les couches souhaitées. Ce sont des exemples d’application, et non la preuve que le modèle a déjà écouté un fichier particulier de l’utilisateur.
La sortie est une description, sans promesse de transcription mot à mot, de tableau de diarisation, de fichier de sous-titres horodatés ou de bande sonore générée. Lorsque les mots exacts ou la temporalité sont requis, vérifiez la description à partir de l’audio et utilisez un processus dédié adapté au livrable. Une description riche peut inclure des informations de scène ou de genre déduites ; préservez donc l’incertitude lorsque le son seul n’identifie pas sa source sans ambiguïté.
Exemples de génération et limites
L’exemple autonome du concepteur règle un contexte de modèle de 32,768 tokens et un budget de génération de 16,384 tokens, avec température de 0.6, top_p à 0.95 et top_k à 20. Son guide pratique utilise un budget de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65,536 positions, ce qui ne doit pas devenir une garantie de durée audio.
Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée et sortie uniquement textuelle. Le résultat utile est une description détaillée d’une courte scène sonore ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.
", "aboutText": "Présentation : descriptions détaillées des sons\n\nQwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio, ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en un compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés : parole, sons ambiants, musique, effets cinématographiques et mélanges de plusieurs sources sonores. Il sert ainsi à préparer une description d’un fichier audio permettant des recherches textuelles ou à examiner les couches sonores d’un bref segment média.\n\nCompréhension de la parole et des autres sons\n\nLe concepteur décrit l’analyse de plusieurs locuteurs, des expressions multilingues, de l’émotion vocale et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent le timbre des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non vocal, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques de films ou de médias.\n\nLes descriptions d’ambiance, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Distinguez-les de la parole et des événements sonores directement vérifiables. Une description peut aider à repérer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions intimes d’une personne et ne prouve pas la source physique d’un son ambigu.\n\nL’édition Captioner et son contrat d’entrée\n\nCe checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, sans prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour comprendre l’audio ; la configuration publiée désactive explicitement la sortie audio. N’attribuez pas à Captioner les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni au motif de leur famille commune.\n\nL’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et envoyez-le comme tâche entière. N’ajoutez pas d’instruction demandant une synthèse personnalisée, une traduction, une réponse à un locuteur ou un schéma de sortie. Si un processus exige ces transformations, elles relèvent d’une étape séparée travaillant sur la description renvoyée, plutôt que de commandes supposées de ce checkpoint de description audio.\n\nPréparation d’un audio utile\n\nQwen recommande de limiter les extraits à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement long, sélectionnez un court segment cohérent autour de l’événement ou de la scène à examiner. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir ensuite relier la description à l’enregistrement d’origine.\n\nPréservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit garder l’arrière-plan lorsque celui-ci influence la description attendue ; un fichier musical ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupé arbitrairement. Traiter les extraits séparément aide à préserver le détail local, sans établir de continuité automatique ni de compréhension de l’enregistrement entier entre les requêtes.\n\nUtilité du résultat textuel\n\nLe guide pratique du concepteur montre des descriptions présentant le contenu et la manière de parler, puis la scène environnante ; d’autres exemples décrivent musique, effets, variations d’intensité et séquence des événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom du fichier et la plage temporelle. Une personne chargée de la revue média peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour vérifier qu’elle reflète les couches souhaitées. Ce sont des exemples d’application, et non la preuve que le modèle a déjà écouté un fichier particulier de l’utilisateur.\n\nLa sortie est une description, sans promesse de transcription mot à mot, de tableau de diarisation, de fichier de sous-titres horodatés ou de bande sonore générée. Lorsque les mots exacts ou la temporalité sont requis, vérifiez la description à partir de l’audio et utilisez un processus dédié adapté au livrable. Une description riche peut inclure des informations de scène ou de genre déduites ; préservez donc l’incertitude lorsque le son seul n’identifie pas sa source sans ambiguïté.\n\nExemples de génération et limites\n\nL’exemple autonome du concepteur règle un contexte de modèle de 32,768 tokens et un budget de génération de 16,384 tokens, avec température de 0.6, top_p à 0.95 et top_k à 20. Son guide pratique utilise un budget de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65,536 positions, ce qui ne doit pas devenir une garantie de durée audio.\n\nLe code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée et sortie uniquement textuelle. Le résultat utile est une description détaillée d’une courte scène sonore ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.", "editorialOverlay": { "copy_fields": { "practical_html": "La description du modèle exige une entrée audio, mais la route choisie déclare une entrée texte. Aucun exemple de génération prêt à exécuter n’est fourni pour cette incompatibilité.
Exemple technique en anglais
Describe one short audio asset\n\nManufacturer workflow only: select one short audio clip whose sound layers need a description. Submit exactly that audio input with no text prompt through the documented manufacturer workflow. Keep the asset identifier outside the request. The selected Ailoot text-only route does not provide this audio-input workflow.A detailed text caption covering audible speech, background sounds, music and event order when present, with uncertain sound sources or intentions kept distinct from direct audible observations.Compare the caption with the same clip for sound sequence and sources; reconcile the Ailoot text-input mismatch before use. Do not send this preparation note as a text prompt.Qwen/Qwen3-Omni-30B-A3B-CaptionerQwen3-Omni-30B-A3B-Captioner décrit par écrit la parole, la musique, les sons ambiants et l’audio cinématographique. Cette édition spécialisée à tour unique accepte une entrée audio sans prompt textuel ; Qwen recommande des extraits de 30 secondes maximum pour conserver les détails fins.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Présentation : descriptions détaillées des sons
Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio, ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en un compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés : parole, sons ambiants, musique, effets cinématographiques et mélanges de plusieurs sources sonores. Il sert ainsi à préparer une description d’un fichier audio permettant des recherches textuelles ou à examiner les couches sonores d’un bref segment média.
Compréhension de la parole et des autres sons
Le concepteur décrit l’analyse de plusieurs locuteurs, des expressions multilingues, de l’émotion vocale et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent le timbre des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non vocal, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques de films ou de médias.
Les descriptions d’ambiance, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Distinguez-les de la parole et des événements sonores directement vérifiables. Une description peut aider à repérer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions intimes d’une personne et ne prouve pas la source physique d’un son ambigu.
L’édition Captioner et son contrat d’entrée
Ce checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, sans prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour comprendre l’audio ; la configuration publiée désactive explicitement la sortie audio. N’attribuez pas à Captioner les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni au motif de leur famille commune.
L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et envoyez-le comme tâche entière. N’ajoutez pas d’instruction demandant une synthèse personnalisée, une traduction, une réponse à un locuteur ou un schéma de sortie. Si un processus exige ces transformations, elles relèvent d’une étape séparée travaillant sur la description renvoyée, plutôt que de commandes supposées de ce checkpoint de description audio.
Préparation d’un audio utile
Qwen recommande de limiter les extraits à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement long, sélectionnez un court segment cohérent autour de l’événement ou de la scène à examiner. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir ensuite relier la description à l’enregistrement d’origine.
Préservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit garder l’arrière-plan lorsque celui-ci influence la description attendue ; un fichier musical ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupé arbitrairement. Traiter les extraits séparément aide à préserver le détail local, sans établir de continuité automatique ni de compréhension de l’enregistrement entier entre les requêtes.
Utilité du résultat textuel
Le guide pratique du concepteur montre des descriptions présentant le contenu et la manière de parler, puis la scène environnante ; d’autres exemples décrivent musique, effets, variations d’intensité et séquence des événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom du fichier et la plage temporelle. Une personne chargée de la revue média peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour vérifier qu’elle reflète les couches souhaitées. Ce sont des exemples d’application, et non la preuve que le modèle a déjà écouté un fichier particulier de l’utilisateur.
La sortie est une description, sans promesse de transcription mot à mot, de tableau de diarisation, de fichier de sous-titres horodatés ou de bande sonore générée. Lorsque les mots exacts ou la temporalité sont requis, vérifiez la description à partir de l’audio et utilisez un processus dédié adapté au livrable. Une description riche peut inclure des informations de scène ou de genre déduites ; préservez donc l’incertitude lorsque le son seul n’identifie pas sa source sans ambiguïté.
Exemples de génération et limites
L’exemple autonome du concepteur règle un contexte de modèle de 32,768 tokens et un budget de génération de 16,384 tokens, avec température de 0.6, top_p à 0.95 et top_k à 20. Son guide pratique utilise un budget de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65,536 positions, ce qui ne doit pas devenir une garantie de durée audio.
Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée et sortie uniquement textuelle. Le résultat utile est une description détaillée d’une courte scène sonore ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites Qwen/Qwen3-Omni-30B-A3B-Captioner | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.0002 / 1K tokens Sortie · Tokens en sortie $0.0008 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
La description du modèle exige une entrée audio, mais la route choisie déclare une entrée texte. Aucun exemple de génération prêt à exécuter n’est fourni pour cette incompatibilité.
manufacturer: audio → text
route: text → text
json ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra Qwen/Qwen3-Omni-30B-A3B-Captioner
Utilisez les chemins de méthode indiqués ci-dessus.
Qwen/Qwen3-Omni-30B-A3B-CaptionerQwen3-Omni-30B-A3B-Captioner décrit par écrit la parole, la musique, les sons ambiants et l’audio cinématographique. Cette édition spécialisée à tour unique accepte une entrée audio sans prompt textuel ; Qwen recommande des extraits de 30 secondes maximum pour conserver les détails fins.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Présentation : descriptions détaillées des sons
Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio, ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en un compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés : parole, sons ambiants, musique, effets cinématographiques et mélanges de plusieurs sources sonores. Il sert ainsi à préparer une description d’un fichier audio permettant des recherches textuelles ou à examiner les couches sonores d’un bref segment média.
Compréhension de la parole et des autres sons
Le concepteur décrit l’analyse de plusieurs locuteurs, des expressions multilingues, de l’émotion vocale et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent le timbre des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non vocal, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques de films ou de médias.
Les descriptions d’ambiance, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Distinguez-les de la parole et des événements sonores directement vérifiables. Une description peut aider à repérer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions intimes d’une personne et ne prouve pas la source physique d’un son ambigu.
L’édition Captioner et son contrat d’entrée
Ce checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, sans prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour comprendre l’audio ; la configuration publiée désactive explicitement la sortie audio. N’attribuez pas à Captioner les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni au motif de leur famille commune.
L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et envoyez-le comme tâche entière. N’ajoutez pas d’instruction demandant une synthèse personnalisée, une traduction, une réponse à un locuteur ou un schéma de sortie. Si un processus exige ces transformations, elles relèvent d’une étape séparée travaillant sur la description renvoyée, plutôt que de commandes supposées de ce checkpoint de description audio.
Préparation d’un audio utile
Qwen recommande de limiter les extraits à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement long, sélectionnez un court segment cohérent autour de l’événement ou de la scène à examiner. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir ensuite relier la description à l’enregistrement d’origine.
Préservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit garder l’arrière-plan lorsque celui-ci influence la description attendue ; un fichier musical ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupé arbitrairement. Traiter les extraits séparément aide à préserver le détail local, sans établir de continuité automatique ni de compréhension de l’enregistrement entier entre les requêtes.
Utilité du résultat textuel
Le guide pratique du concepteur montre des descriptions présentant le contenu et la manière de parler, puis la scène environnante ; d’autres exemples décrivent musique, effets, variations d’intensité et séquence des événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom du fichier et la plage temporelle. Une personne chargée de la revue média peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour vérifier qu’elle reflète les couches souhaitées. Ce sont des exemples d’application, et non la preuve que le modèle a déjà écouté un fichier particulier de l’utilisateur.
La sortie est une description, sans promesse de transcription mot à mot, de tableau de diarisation, de fichier de sous-titres horodatés ou de bande sonore générée. Lorsque les mots exacts ou la temporalité sont requis, vérifiez la description à partir de l’audio et utilisez un processus dédié adapté au livrable. Une description riche peut inclure des informations de scène ou de genre déduites ; préservez donc l’incertitude lorsque le son seul n’identifie pas sa source sans ambiguïté.
Exemples de génération et limites
L’exemple autonome du concepteur règle un contexte de modèle de 32,768 tokens et un budget de génération de 16,384 tokens, avec température de 0.6, top_p à 0.95 et top_k à 20. Son guide pratique utilise un budget de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65,536 positions, ce qui ne doit pas devenir une garantie de durée audio.
Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée et sortie uniquement textuelle. Le résultat utile est une description détaillée d’une courte scène sonore ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites Qwen/Qwen3-Omni-30B-A3B-Captioner | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.0002 / 1K tokens Sortie · Tokens en sortie $0.0008 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
La description du modèle exige une entrée audio, mais la route choisie déclare une entrée texte. Aucun exemple de génération prêt à exécuter n’est fourni pour cette incompatibilité.
manufacturer: audio → text
route: text → json, sse
JSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra Qwen/Qwen3-Omni-30B-A3B-Captioner
Utilisez les chemins de méthode indiqués ci-dessus.
La description du modèle exige une entrée audio, mais la route choisie déclare une entrée texte. Aucun exemple de génération prêt à exécuter n’est fourni pour cette incompatibilité.
Exemple technique en anglais
Describe one short audio asset\n\nManufacturer workflow only: select one short audio clip whose sound layers need a description. Submit exactly that audio input with no text prompt through the documented manufacturer workflow. Keep the asset identifier outside the request. The selected Ailoot text-only route does not provide this audio-input workflow.A detailed text caption covering audible speech, background sounds, music and event order when present, with uncertain sound sources or intentions kept distinct from direct audible observations.Compare the caption with the same clip for sound sequence and sources; reconcile the Ailoot text-input mismatch before use. Do not send this preparation note as a text prompt.