Aperçu : un modèle pour plusieurs modalités d’entrée
Qwen2.5-Omni-7B est le modèle multimodal de bout en bout de Qwen pour le texte, les images, l’audio et la vidéo. Il peut comprendre ces entrées ensemble et générer du texte accompagné d’une voix naturelle dans un processus en continu. Utilisez-le lorsqu’une tâche dépend à la fois de ce qui est visible et audible, ou lorsque l’utilisateur donne la consigne à voix haute plutôt qu’au clavier. Il s’agit du point de contrôle 7B précis; le modèle commercial Omni-Turbo et les versions Omni ultérieures ont leurs propres contrats.
Fonctions principales et architecture
La conception Thinker-Talker combine la compréhension et la génération vocale. Thinker traite la tâche multimodale et produit le contenu textuel, tandis que Talker participe à la formation de la réponse parlée. TMRoPE, le schéma positionnel multimodal du fabricant aligné dans le temps, synchronise les horodatages vidéo avec l’audio. L’architecture est conçue pour les entrées par blocs et l’interaction vocale ou vidéo réactive; cet objectif de conception n’est pas une garantie de temps de réponse fixe pour toutes les interfaces.
Les tâches couvertes par le fabricant comprennent la reconnaissance vocale, la traduction de la parole, la compréhension audio, le raisonnement sur les images, la compréhension vidéo et la génération vocale. Les consignes parlées peuvent donc participer directement à une question multimodale plutôt que d’exiger systématiquement une transcription écrite fournie séparément. Gardez la tâche cible claire : comprendre un extrait audio, répondre à une question parlée et générer une réponse parlée sont des usages distincts même si le modèle prend en charge toutes leurs formes d’entrée ou de sortie.
Préparer une conversation multimodale
Fournissez les médias pertinents et indiquez comment la réponse doit les relier. Pour une démonstration commentée, demandez au modèle de distinguer les étapes visibles de l’explication de la personne qui parle et de relever leurs points d’accord. Pour une image accompagnée d’une question audio, indiquez le rôle de l’image et demandez une réponse concise fondée sur le contenu visible. Pour un extrait uniquement audio, précisez si le but est de reconnaître la parole, d’expliquer des sons ou de répondre à une question sur le contenu. Ces exemples d’application ont été conçus à partir des tâches documentées.
Les exemples du fabricant montrent des conversations uniquement textuelles, uniquement audio, uniquement vidéo et avec médias combinés. Préservez l’ordre et le minutage originaux d’une vidéo. Identifiez les fichiers séparés pour que le modèle puisse y faire référence sans traiter des éléments sans rapport comme un seul événement. Le résultat peut être du texte seul ou du texte accompagné de parole; choisissez le livrable utile avant de préparer la requête.
Préparer la sortie vocale
La recette du point de contrôle de Qwen exige sa consigne système documentée de capacité audio lorsqu’une sortie vocale est nécessaire. Cette consigne identifie Qwen et ses capacités auditives, visuelles, textuelles et vocales; un remplacement sans rapport peut empêcher le comportement audio attendu. Il s’agit de recommandations pour le processus du point de contrôle du fabricant, et non d’une affirmation que toutes les applications exposent les réglages de consigne système ou de génération audio.
Ce point de contrôle précis offre deux voix : Chelsie, une voix féminine chaleureuse, et Ethan, une voix masculine enjouée. Chelsie est la voix par défaut documentée lorsqu’aucune voix n’est sélectionnée. L’exemple de génération enregistre la parole à une fréquence d’échantillonnage de 24,000 Hz. Ces deux voix ne doivent pas être remplacées par la description à quatre voix d’un modèle commercial portant un autre nom.
Utiliser l’audio d’une vidéo
La bande sonore d’une vidéo peut contribuer à son sens, par exemple avec des consignes parlées ou un son produit par une action visible. Qwen expose use_audio_in_video dans la préparation des médias, le traitement et la génération. Le réglage doit rester cohérent à ces trois étapes et dans toute conversation à plusieurs tours; des réglages incohérents peuvent produire des résultats inattendus. Une interprétation visuelle uniquement vidéo diffère donc d’une interprétation audiovisuelle, même si le fichier est identique.
Sortie uniquement textuelle et traitement en lot
Le fabricant prend en charge la sortie uniquement textuelle avec return_audio=False. Il permet aussi de désactiver Talker après le chargement, ce qui réduit la mémoire GPU d’environ 2 GB, mais rend la sortie audio indisponible dans cette instance. L’exemple documenté de traitement en lot d’échantillons mixtes exige return_audio=False et combine des requêtes de texte, d’images, d’audio et de vidéo. Cet exemple de lot ne doit pas être transformé en affirmation de génération vocale en lot.
Contexte et limites de fond
La configuration du cœur textuel du point de contrôle fixe le nombre maximal de positions à 32,768. Le texte, les médias représentés et les réponses générées consomment de l’espace de séquence; cette valeur ne définit pas à elle seule une durée universelle d’audio ou de vidéo. Les exemples de ressources du fabricant montrent que les vidéos plus longues exigent beaucoup plus de mémoire; un court extrait pertinent est donc souvent plus pratique qu’un grand enregistrement sans rapport. Ses exemples ne publient ni longueur maximale stricte distincte de réponse ni durée de média universellement garantie.
Vérifiez les citations de parole et les conclusions par rapport à la source, préservez assez de détails visuels pour la question et gardez un résultat textuel lorsqu’une personne doit examiner l’explication parlée. La valeur documentée du modèle est la compréhension combinée et la réponse textuelle ou vocale, tandis que les réglages précis des voix, le traitement des médias et la livraison de la sortie restent des fonctions de l’interface choisie.
", "aboutText": "Aperçu : un modèle pour plusieurs modalités d’entrée\n\nQwen2.5-Omni-7B est le modèle multimodal de bout en bout de Qwen pour le texte, les images, l’audio et la vidéo. Il peut comprendre ces entrées ensemble et générer du texte accompagné d’une voix naturelle dans un processus en continu. Utilisez-le lorsqu’une tâche dépend à la fois de ce qui est visible et audible, ou lorsque l’utilisateur donne la consigne à voix haute plutôt qu’au clavier. Il s’agit du point de contrôle 7B précis; le modèle commercial Omni-Turbo et les versions Omni ultérieures ont leurs propres contrats.\n\nFonctions principales et architecture\n\nLa conception Thinker-Talker combine la compréhension et la génération vocale. Thinker traite la tâche multimodale et produit le contenu textuel, tandis que Talker participe à la formation de la réponse parlée. TMRoPE, le schéma positionnel multimodal du fabricant aligné dans le temps, synchronise les horodatages vidéo avec l’audio. L’architecture est conçue pour les entrées par blocs et l’interaction vocale ou vidéo réactive; cet objectif de conception n’est pas une garantie de temps de réponse fixe pour toutes les interfaces.\n\nLes tâches couvertes par le fabricant comprennent la reconnaissance vocale, la traduction de la parole, la compréhension audio, le raisonnement sur les images, la compréhension vidéo et la génération vocale. Les consignes parlées peuvent donc participer directement à une question multimodale plutôt que d’exiger systématiquement une transcription écrite fournie séparément. Gardez la tâche cible claire : comprendre un extrait audio, répondre à une question parlée et générer une réponse parlée sont des usages distincts même si le modèle prend en charge toutes leurs formes d’entrée ou de sortie.\n\nPréparer une conversation multimodale\n\nFournissez les médias pertinents et indiquez comment la réponse doit les relier. Pour une démonstration commentée, demandez au modèle de distinguer les étapes visibles de l’explication de la personne qui parle et de relever leurs points d’accord. Pour une image accompagnée d’une question audio, indiquez le rôle de l’image et demandez une réponse concise fondée sur le contenu visible. Pour un extrait uniquement audio, précisez si le but est de reconnaître la parole, d’expliquer des sons ou de répondre à une question sur le contenu. Ces exemples d’application ont été conçus à partir des tâches documentées.\n\nLes exemples du fabricant montrent des conversations uniquement textuelles, uniquement audio, uniquement vidéo et avec médias combinés. Préservez l’ordre et le minutage originaux d’une vidéo. Identifiez les fichiers séparés pour que le modèle puisse y faire référence sans traiter des éléments sans rapport comme un seul événement. Le résultat peut être du texte seul ou du texte accompagné de parole; choisissez le livrable utile avant de préparer la requête.\n\nPréparer la sortie vocale\n\nLa recette du point de contrôle de Qwen exige sa consigne système documentée de capacité audio lorsqu’une sortie vocale est nécessaire. Cette consigne identifie Qwen et ses capacités auditives, visuelles, textuelles et vocales; un remplacement sans rapport peut empêcher le comportement audio attendu. Il s’agit de recommandations pour le processus du point de contrôle du fabricant, et non d’une affirmation que toutes les applications exposent les réglages de consigne système ou de génération audio.\n\nCe point de contrôle précis offre deux voix : Chelsie, une voix féminine chaleureuse, et Ethan, une voix masculine enjouée. Chelsie est la voix par défaut documentée lorsqu’aucune voix n’est sélectionnée. L’exemple de génération enregistre la parole à une fréquence d’échantillonnage de 24,000 Hz. Ces deux voix ne doivent pas être remplacées par la description à quatre voix d’un modèle commercial portant un autre nom.\n\nUtiliser l’audio d’une vidéo\n\nLa bande sonore d’une vidéo peut contribuer à son sens, par exemple avec des consignes parlées ou un son produit par une action visible. Qwen expose use_audio_in_video dans la préparation des médias, le traitement et la génération. Le réglage doit rester cohérent à ces trois étapes et dans toute conversation à plusieurs tours; des réglages incohérents peuvent produire des résultats inattendus. Une interprétation visuelle uniquement vidéo diffère donc d’une interprétation audiovisuelle, même si le fichier est identique.\n\nSortie uniquement textuelle et traitement en lot\n\nLe fabricant prend en charge la sortie uniquement textuelle avec return_audio=False. Il permet aussi de désactiver Talker après le chargement, ce qui réduit la mémoire GPU d’environ 2 GB, mais rend la sortie audio indisponible dans cette instance. L’exemple documenté de traitement en lot d’échantillons mixtes exige return_audio=False et combine des requêtes de texte, d’images, d’audio et de vidéo. Cet exemple de lot ne doit pas être transformé en affirmation de génération vocale en lot.\n\nContexte et limites de fond\n\nLa configuration du cœur textuel du point de contrôle fixe le nombre maximal de positions à 32,768. Le texte, les médias représentés et les réponses générées consomment de l’espace de séquence; cette valeur ne définit pas à elle seule une durée universelle d’audio ou de vidéo. Les exemples de ressources du fabricant montrent que les vidéos plus longues exigent beaucoup plus de mémoire; un court extrait pertinent est donc souvent plus pratique qu’un grand enregistrement sans rapport. Ses exemples ne publient ni longueur maximale stricte distincte de réponse ni durée de média universellement garantie.\n\nVérifiez les citations de parole et les conclusions par rapport à la source, préservez assez de détails visuels pour la question et gardez un résultat textuel lorsqu’une personne doit examiner l’explication parlée. La valeur documentée du modèle est la compréhension combinée et la réponse textuelle ou vocale, tandis que les réglages précis des voix, le traitement des médias et la livraison de la sortie restent des fonctions de l’interface choisie.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B combine la compréhension du texte, des images, de l’audio et de la vidéo avec des sorties textuelles et vocales naturelles. Son architecture Thinker-Talker aligne l’audio sur le minutage vidéo, prend en charge l’interaction en continu et offre deux voix documentées dans ce point de contrôle ouvert précis.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Aperçu : un modèle pour plusieurs modalités d’entrée
Qwen2.5-Omni-7B est le modèle multimodal de bout en bout de Qwen pour le texte, les images, l’audio et la vidéo. Il peut comprendre ces entrées ensemble et générer du texte accompagné d’une voix naturelle dans un processus en continu. Utilisez-le lorsqu’une tâche dépend à la fois de ce qui est visible et audible, ou lorsque l’utilisateur donne la consigne à voix haute plutôt qu’au clavier. Il s’agit du point de contrôle 7B précis; le modèle commercial Omni-Turbo et les versions Omni ultérieures ont leurs propres contrats.
Fonctions principales et architecture
La conception Thinker-Talker combine la compréhension et la génération vocale. Thinker traite la tâche multimodale et produit le contenu textuel, tandis que Talker participe à la formation de la réponse parlée. TMRoPE, le schéma positionnel multimodal du fabricant aligné dans le temps, synchronise les horodatages vidéo avec l’audio. L’architecture est conçue pour les entrées par blocs et l’interaction vocale ou vidéo réactive; cet objectif de conception n’est pas une garantie de temps de réponse fixe pour toutes les interfaces.
Les tâches couvertes par le fabricant comprennent la reconnaissance vocale, la traduction de la parole, la compréhension audio, le raisonnement sur les images, la compréhension vidéo et la génération vocale. Les consignes parlées peuvent donc participer directement à une question multimodale plutôt que d’exiger systématiquement une transcription écrite fournie séparément. Gardez la tâche cible claire : comprendre un extrait audio, répondre à une question parlée et générer une réponse parlée sont des usages distincts même si le modèle prend en charge toutes leurs formes d’entrée ou de sortie.
Préparer une conversation multimodale
Fournissez les médias pertinents et indiquez comment la réponse doit les relier. Pour une démonstration commentée, demandez au modèle de distinguer les étapes visibles de l’explication de la personne qui parle et de relever leurs points d’accord. Pour une image accompagnée d’une question audio, indiquez le rôle de l’image et demandez une réponse concise fondée sur le contenu visible. Pour un extrait uniquement audio, précisez si le but est de reconnaître la parole, d’expliquer des sons ou de répondre à une question sur le contenu. Ces exemples d’application ont été conçus à partir des tâches documentées.
Les exemples du fabricant montrent des conversations uniquement textuelles, uniquement audio, uniquement vidéo et avec médias combinés. Préservez l’ordre et le minutage originaux d’une vidéo. Identifiez les fichiers séparés pour que le modèle puisse y faire référence sans traiter des éléments sans rapport comme un seul événement. Le résultat peut être du texte seul ou du texte accompagné de parole; choisissez le livrable utile avant de préparer la requête.
Préparer la sortie vocale
La recette du point de contrôle de Qwen exige sa consigne système documentée de capacité audio lorsqu’une sortie vocale est nécessaire. Cette consigne identifie Qwen et ses capacités auditives, visuelles, textuelles et vocales; un remplacement sans rapport peut empêcher le comportement audio attendu. Il s’agit de recommandations pour le processus du point de contrôle du fabricant, et non d’une affirmation que toutes les applications exposent les réglages de consigne système ou de génération audio.
Ce point de contrôle précis offre deux voix : Chelsie, une voix féminine chaleureuse, et Ethan, une voix masculine enjouée. Chelsie est la voix par défaut documentée lorsqu’aucune voix n’est sélectionnée. L’exemple de génération enregistre la parole à une fréquence d’échantillonnage de 24,000 Hz. Ces deux voix ne doivent pas être remplacées par la description à quatre voix d’un modèle commercial portant un autre nom.
Utiliser l’audio d’une vidéo
La bande sonore d’une vidéo peut contribuer à son sens, par exemple avec des consignes parlées ou un son produit par une action visible. Qwen expose use_audio_in_video dans la préparation des médias, le traitement et la génération. Le réglage doit rester cohérent à ces trois étapes et dans toute conversation à plusieurs tours; des réglages incohérents peuvent produire des résultats inattendus. Une interprétation visuelle uniquement vidéo diffère donc d’une interprétation audiovisuelle, même si le fichier est identique.
Sortie uniquement textuelle et traitement en lot
Le fabricant prend en charge la sortie uniquement textuelle avec return_audio=False. Il permet aussi de désactiver Talker après le chargement, ce qui réduit la mémoire GPU d’environ 2 GB, mais rend la sortie audio indisponible dans cette instance. L’exemple documenté de traitement en lot d’échantillons mixtes exige return_audio=False et combine des requêtes de texte, d’images, d’audio et de vidéo. Cet exemple de lot ne doit pas être transformé en affirmation de génération vocale en lot.
Contexte et limites de fond
La configuration du cœur textuel du point de contrôle fixe le nombre maximal de positions à 32,768. Le texte, les médias représentés et les réponses générées consomment de l’espace de séquence; cette valeur ne définit pas à elle seule une durée universelle d’audio ou de vidéo. Les exemples de ressources du fabricant montrent que les vidéos plus longues exigent beaucoup plus de mémoire; un court extrait pertinent est donc souvent plus pratique qu’un grand enregistrement sans rapport. Ses exemples ne publient ni longueur maximale stricte distincte de réponse ni durée de média universellement garantie.
Vérifiez les citations de parole et les conclusions par rapport à la source, préservez assez de détails visuels pour la question et gardez un résultat textuel lorsqu’une personne doit examiner l’explication parlée. La valeur documentée du modèle est la compréhension combinée et la réponse textuelle ou vocale, tandis que les réglages précis des voix, le traitement des médias et la livraison de la sortie restent des fonctions de l’interface choisie.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites qwen2.5-omni-7b | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’ID réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: Fonction fournie comme outil | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est refusé sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: La valeur 1h est refusée là où le cache des prompts est configuré | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | ContratTableau de messages avec une structure role/content |
Paramètrefile_material | ContratDocument UTF-8 réel inséré comme texte littéral ; aucun ID de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | ContratPropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’ID exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objet fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Coût Entrée · Jetons en entrée $0.0046 / 1K jetons Sortie · Jetons en sortie $0.0138 / 1K jetons Entrée · Lecture du cache $0 / 1K jetons Entrée · Écriture dans le cache $0 / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, et conservez le motif final d’arrêt et les données d’utilisation.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra qwen2.5-omni-7b
Utilisez les chemins de méthode indiqués ci-dessus.
qwen2.5-omni-7bQwen2.5-Omni-7B combine la compréhension du texte, des images, de l’audio et de la vidéo avec des sorties textuelles et vocales naturelles. Son architecture Thinker-Talker aligne l’audio sur le minutage vidéo, prend en charge l’interaction en continu et offre deux voix documentées dans ce point de contrôle ouvert précis.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Aperçu : un modèle pour plusieurs modalités d’entrée
Qwen2.5-Omni-7B est le modèle multimodal de bout en bout de Qwen pour le texte, les images, l’audio et la vidéo. Il peut comprendre ces entrées ensemble et générer du texte accompagné d’une voix naturelle dans un processus en continu. Utilisez-le lorsqu’une tâche dépend à la fois de ce qui est visible et audible, ou lorsque l’utilisateur donne la consigne à voix haute plutôt qu’au clavier. Il s’agit du point de contrôle 7B précis; le modèle commercial Omni-Turbo et les versions Omni ultérieures ont leurs propres contrats.
Fonctions principales et architecture
La conception Thinker-Talker combine la compréhension et la génération vocale. Thinker traite la tâche multimodale et produit le contenu textuel, tandis que Talker participe à la formation de la réponse parlée. TMRoPE, le schéma positionnel multimodal du fabricant aligné dans le temps, synchronise les horodatages vidéo avec l’audio. L’architecture est conçue pour les entrées par blocs et l’interaction vocale ou vidéo réactive; cet objectif de conception n’est pas une garantie de temps de réponse fixe pour toutes les interfaces.
Les tâches couvertes par le fabricant comprennent la reconnaissance vocale, la traduction de la parole, la compréhension audio, le raisonnement sur les images, la compréhension vidéo et la génération vocale. Les consignes parlées peuvent donc participer directement à une question multimodale plutôt que d’exiger systématiquement une transcription écrite fournie séparément. Gardez la tâche cible claire : comprendre un extrait audio, répondre à une question parlée et générer une réponse parlée sont des usages distincts même si le modèle prend en charge toutes leurs formes d’entrée ou de sortie.
Préparer une conversation multimodale
Fournissez les médias pertinents et indiquez comment la réponse doit les relier. Pour une démonstration commentée, demandez au modèle de distinguer les étapes visibles de l’explication de la personne qui parle et de relever leurs points d’accord. Pour une image accompagnée d’une question audio, indiquez le rôle de l’image et demandez une réponse concise fondée sur le contenu visible. Pour un extrait uniquement audio, précisez si le but est de reconnaître la parole, d’expliquer des sons ou de répondre à une question sur le contenu. Ces exemples d’application ont été conçus à partir des tâches documentées.
Les exemples du fabricant montrent des conversations uniquement textuelles, uniquement audio, uniquement vidéo et avec médias combinés. Préservez l’ordre et le minutage originaux d’une vidéo. Identifiez les fichiers séparés pour que le modèle puisse y faire référence sans traiter des éléments sans rapport comme un seul événement. Le résultat peut être du texte seul ou du texte accompagné de parole; choisissez le livrable utile avant de préparer la requête.
Préparer la sortie vocale
La recette du point de contrôle de Qwen exige sa consigne système documentée de capacité audio lorsqu’une sortie vocale est nécessaire. Cette consigne identifie Qwen et ses capacités auditives, visuelles, textuelles et vocales; un remplacement sans rapport peut empêcher le comportement audio attendu. Il s’agit de recommandations pour le processus du point de contrôle du fabricant, et non d’une affirmation que toutes les applications exposent les réglages de consigne système ou de génération audio.
Ce point de contrôle précis offre deux voix : Chelsie, une voix féminine chaleureuse, et Ethan, une voix masculine enjouée. Chelsie est la voix par défaut documentée lorsqu’aucune voix n’est sélectionnée. L’exemple de génération enregistre la parole à une fréquence d’échantillonnage de 24,000 Hz. Ces deux voix ne doivent pas être remplacées par la description à quatre voix d’un modèle commercial portant un autre nom.
Utiliser l’audio d’une vidéo
La bande sonore d’une vidéo peut contribuer à son sens, par exemple avec des consignes parlées ou un son produit par une action visible. Qwen expose use_audio_in_video dans la préparation des médias, le traitement et la génération. Le réglage doit rester cohérent à ces trois étapes et dans toute conversation à plusieurs tours; des réglages incohérents peuvent produire des résultats inattendus. Une interprétation visuelle uniquement vidéo diffère donc d’une interprétation audiovisuelle, même si le fichier est identique.
Sortie uniquement textuelle et traitement en lot
Le fabricant prend en charge la sortie uniquement textuelle avec return_audio=False. Il permet aussi de désactiver Talker après le chargement, ce qui réduit la mémoire GPU d’environ 2 GB, mais rend la sortie audio indisponible dans cette instance. L’exemple documenté de traitement en lot d’échantillons mixtes exige return_audio=False et combine des requêtes de texte, d’images, d’audio et de vidéo. Cet exemple de lot ne doit pas être transformé en affirmation de génération vocale en lot.
Contexte et limites de fond
La configuration du cœur textuel du point de contrôle fixe le nombre maximal de positions à 32,768. Le texte, les médias représentés et les réponses générées consomment de l’espace de séquence; cette valeur ne définit pas à elle seule une durée universelle d’audio ou de vidéo. Les exemples de ressources du fabricant montrent que les vidéos plus longues exigent beaucoup plus de mémoire; un court extrait pertinent est donc souvent plus pratique qu’un grand enregistrement sans rapport. Ses exemples ne publient ni longueur maximale stricte distincte de réponse ni durée de média universellement garantie.
Vérifiez les citations de parole et les conclusions par rapport à la source, préservez assez de détails visuels pour la question et gardez un résultat textuel lorsqu’une personne doit examiner l’explication parlée. La valeur documentée du modèle est la compréhension combinée et la réponse textuelle ou vocale, tandis que les réglages précis des voix, le traitement des médias et la livraison de la sortie restent des fonctions de l’interface choisie.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites qwen2.5-omni-7b | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
Chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Coût Entrée · Jetons en entrée $0.0046 / 1K jetons Sortie · Jetons en sortie $0.0138 / 1K jetons Entrée · Lecture du cache $0 / 1K jetons Entrée · Écriture dans le cache $0 / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les ID réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra qwen2.5-omni-7b
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.