Qwen-Audio-3.0-Realtime-Plus est un modèle d’Alibaba pour le dialogue vocal en direct. Il accepte la parole et le texte, répond en audio et en texte et permet une conversation bidirectionnelle avec un échange naturel de répliques. Le son peut être envoyé et reçu par fragments : l’interaction évolue donc au fil de la conversation.
Plusieurs moyens permettent de délimiter une prise de parole : l’activité sonore, l’achèvement du sens de la phrase et un contrôle explicite. Chez le fabricant, le mode est choisi avant l’envoi du premier audio ; le modifier après le début de la conversation nécessite une nouvelle connexion. La prise en charge de ce contrôle dépend de la méthode choisie. Le mode sémantique tient compte des pauses et des hésitations : un bref moment d’incertitude ne signifie pas nécessairement que l’utilisateur a terminé. Une nouvelle prise de parole de l’utilisateur peut interrompre la réponse en cours de génération pour poursuivre la conversation en tenant compte de la réplique suivante. En mode sémantique, un échantillon vocal de l’interlocuteur choisi peut orienter la reconnaissance afin de réduire les distractions dues aux autres voix et au bruit de fond.
Les instructions définissent le rôle de l’assistant et le style de la conversation. Le rendu vocal peut tenir compte du ton, du rythme et de l’émotion ; la version 3.0 propose cinq voix système et des voix fondées sur un échantillon de parole. Le modèle prend en charge 11 langues, dont le russe, ainsi que les variantes dialectales chinoises indiquées par le fabricant. Chez le fabricant, la voix est définie lors de la première mise à jour des paramètres de session ; l’envoi ultérieur d’une nouvelle voix dans la même conversation est ignoré. Ces réglages nécessitent la compatibilité de la méthode d’accès choisie.
Les appels de fonctions sont pris en charge. Le modèle formule l’action nécessaire, l’application connectée l’exécute et renvoie le résultat dans la conversation. Cela permet de fonder le dialogue sur des données réelles et de le poursuivre après une opération. L’assistant vocal peut utiliser les résultats des outils en conservant le contexte de l’échange. Les capacités du fabricant comprennent également une recherche web intégrée si la méthode choisie la fournit. La recherche web et les appels de fonctions ne peuvent pas être activés simultanément dans une même session.
L’historique contient par défaut 20 tours de conversation ; une plage allant d’un à 50 est prévue. L’audio accumulé est limité à 300 secondes ; les parties anciennes de l’historique sont supprimées lorsque les limites sont dépassées. Cela diffère de la durée d’une réplique : l’historique détermine quels éléments précédents restent disponibles pour continuer le dialogue.
Le contexte formel est de 40 960 tokens. L’entrée est limitée à 16 384 tokens et la sortie à 8192 ; les mêmes limites d’entrée et de sortie sont indiquées pour le mode de raisonnement, avec une limite distincte de 1024 tokens pour la chaîne de raisonnement.
Le streaming audio utilise du PCM mono sur 16 bits : 16 kHz en entrée et 24 kHz en sortie. Le texte et les données audio appartiennent à la même conversation. Ni l’entrée visuelle ni la génération d’images ne sont annoncées pour ce modèle précis ; il est spécialisé dans la parole, le texte et l’interaction vocale.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus est un modèle d’Alibaba pour le dialogue vocal en direct. Il accepte la parole et le texte, répond en audio et en texte et permet une conversation bidirectionnelle avec un échange naturel de répliques. Le son peut être envoyé et reçu par fragments : l’interaction évolue donc au fil de la conversation.\n\n### Déterminer quand l’interlocuteur a terminé\n\nPlusieurs moyens permettent de délimiter une prise de parole : l’activité sonore, l’achèvement du sens de la phrase et un contrôle explicite. Chez le fabricant, le mode est choisi avant l’envoi du premier audio ; le modifier après le début de la conversation nécessite une nouvelle connexion. La prise en charge de ce contrôle dépend de la méthode choisie. Le mode sémantique tient compte des pauses et des hésitations : un bref moment d’incertitude ne signifie pas nécessairement que l’utilisateur a terminé. Une nouvelle prise de parole de l’utilisateur peut interrompre la réponse en cours de génération pour poursuivre la conversation en tenant compte de la réplique suivante. En mode sémantique, un échantillon vocal de l’interlocuteur choisi peut orienter la reconnaissance afin de réduire les distractions dues aux autres voix et au bruit de fond.\n\nLes instructions définissent le rôle de l’assistant et le style de la conversation. Le rendu vocal peut tenir compte du ton, du rythme et de l’émotion ; la version 3.0 propose cinq voix système et des voix fondées sur un échantillon de parole. Le modèle prend en charge 11 langues, dont le russe, ainsi que les variantes dialectales chinoises indiquées par le fabricant. Chez le fabricant, la voix est définie lors de la première mise à jour des paramètres de session ; l’envoi ultérieur d’une nouvelle voix dans la même conversation est ignoré. Ces réglages nécessitent la compatibilité de la méthode d’accès choisie.\n\n### Outils et historique de la conversation\n\nLes appels de fonctions sont pris en charge. Le modèle formule l’action nécessaire, l’application connectée l’exécute et renvoie le résultat dans la conversation. Cela permet de fonder le dialogue sur des données réelles et de le poursuivre après une opération. L’assistant vocal peut utiliser les résultats des outils en conservant le contexte de l’échange. Les capacités du fabricant comprennent également une recherche web intégrée si la méthode choisie la fournit. La recherche web et les appels de fonctions ne peuvent pas être activés simultanément dans une même session.\n\nL’historique contient par défaut 20 tours de conversation ; une plage allant d’un à 50 est prévue. L’audio accumulé est limité à 300 secondes ; les parties anciennes de l’historique sont supprimées lorsque les limites sont dépassées. Cela diffère de la durée d’une réplique : l’historique détermine quels éléments précédents restent disponibles pour continuer le dialogue.\n\n### Contexte textuel et son\n\nLe contexte formel est de 40 960 tokens. L’entrée est limitée à 16 384 tokens et la sortie à 8192 ; les mêmes limites d’entrée et de sortie sont indiquées pour le mode de raisonnement, avec une limite distincte de 1024 tokens pour la chaîne de raisonnement.\n\nLe streaming audio utilise du PCM mono sur 16 bits : 16 kHz en entrée et 24 kHz en sortie. Le texte et les données audio appartiennent à la même conversation. Ni l’entrée visuelle ni la génération d’images ne sont annoncées pour ce modèle précis ; il est spécialisé dans la parole, le texte et l’interaction vocale.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "6da9782e56a4af14dec9aecc7cd9ba2497405f6692a616915d514923e457c37d", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "fr-ch", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModèle de dialogue vocal en direct qui accepte la parole et le texte, puis répond oralement ou par écrit. Il est conçu pour des échanges à un rythme naturel et pour utiliser des outils.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Qwen-Audio-3.0-Realtime-Plus est un modèle d’Alibaba pour le dialogue vocal en direct. Il accepte la parole et le texte, répond en audio et en texte et permet une conversation bidirectionnelle avec un échange naturel de répliques. Le son peut être envoyé et reçu par fragments : l’interaction évolue donc au fil de la conversation.
Plusieurs moyens permettent de délimiter une prise de parole : l’activité sonore, l’achèvement du sens de la phrase et un contrôle explicite. Chez le fabricant, le mode est choisi avant l’envoi du premier audio ; le modifier après le début de la conversation nécessite une nouvelle connexion. La prise en charge de ce contrôle dépend de la méthode choisie. Le mode sémantique tient compte des pauses et des hésitations : un bref moment d’incertitude ne signifie pas nécessairement que l’utilisateur a terminé. Une nouvelle prise de parole de l’utilisateur peut interrompre la réponse en cours de génération pour poursuivre la conversation en tenant compte de la réplique suivante. En mode sémantique, un échantillon vocal de l’interlocuteur choisi peut orienter la reconnaissance afin de réduire les distractions dues aux autres voix et au bruit de fond.
Les instructions définissent le rôle de l’assistant et le style de la conversation. Le rendu vocal peut tenir compte du ton, du rythme et de l’émotion ; la version 3.0 propose cinq voix système et des voix fondées sur un échantillon de parole. Le modèle prend en charge 11 langues, dont le russe, ainsi que les variantes dialectales chinoises indiquées par le fabricant. Chez le fabricant, la voix est définie lors de la première mise à jour des paramètres de session ; l’envoi ultérieur d’une nouvelle voix dans la même conversation est ignoré. Ces réglages nécessitent la compatibilité de la méthode d’accès choisie.
Les appels de fonctions sont pris en charge. Le modèle formule l’action nécessaire, l’application connectée l’exécute et renvoie le résultat dans la conversation. Cela permet de fonder le dialogue sur des données réelles et de le poursuivre après une opération. L’assistant vocal peut utiliser les résultats des outils en conservant le contexte de l’échange. Les capacités du fabricant comprennent également une recherche web intégrée si la méthode choisie la fournit. La recherche web et les appels de fonctions ne peuvent pas être activés simultanément dans une même session.
L’historique contient par défaut 20 tours de conversation ; une plage allant d’un à 50 est prévue. L’audio accumulé est limité à 300 secondes ; les parties anciennes de l’historique sont supprimées lorsque les limites sont dépassées. Cela diffère de la durée d’une réplique : l’historique détermine quels éléments précédents restent disponibles pour continuer le dialogue.
Le contexte formel est de 40 960 tokens. L’entrée est limitée à 16 384 tokens et la sortie à 8192 ; les mêmes limites d’entrée et de sortie sont indiquées pour le mode de raisonnement, avec une limite distincte de 1024 tokens pour la chaîne de raisonnement.
Le streaming audio utilise du PCM mono sur 16 bits : 16 kHz en entrée et 24 kHz en sortie. Le texte et les données audio appartiennent à la même conversation. Ni l’entrée visuelle ni la génération d’images ne sont annoncées pour ce modèle précis ; il est spécialisé dans la parole, le texte et l’interaction vocale.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champquery.model | Typestring | ExigenceObligatoire | Valeurs et limites qwen-audio-3.0-realtime-plus | Par défaut— |
Champsession.input_audio_format | Typestring | ExigenceFacultatif | Valeurs et limites pcm16, pcm | Par défaut— |
Champsession.output_audio_format | Typestring | ExigenceFacultatif | Valeurs et limites pcm16, pcm | Par défaut— |
Champsession.instructions | Typestring | ExigenceFacultatif | Valeurs et limites La limite s’applique à: politique de session sélectionnée | Par défaut— |
Champsession.max_history_turns | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 La limite s’applique à: politique de session sélectionnée | Par défaut— |
Champinput_audio_buffer.append.audio | Typebase64_string | ExigenceObligatoire | Valeurs et limites Contenu en entrée: PCM16 mono ; entrée à 16 kHz, sortie à 24 kHz ; longueur en octets non nulle et paire | Par défaut— |
realtime_text_audio
| Paramètre | Contrat |
|---|---|
Paramètrematerial_types | Contrattext, audio |
Paramètrerequired | Contratnull |
Paramètreoptional_controls | Contratnull |
Paramètrecontent_type | ContratWebSocket |
Cycle de vie : exact retained published method
Les structures des méthodes et les identifiants sont exacts ; la capacité du fournisseur est distincte de l’admission.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\névénements de session
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Assemblez chaque fragment audio renvoyé et chaque résultat textuel ou événementiel pour chaque identifiant réel de réponse.
Conservez les identifiants réels de session, de réponse et d’événement, ainsi que les justificatifs.
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse426 · invalid_request_error | ConditionAbsence de demande de changement de protocole vers WebSocket | Étape suivanteUtilisez un client WebSocket avec Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Utilisez les chemins de méthode indiqués ci-dessus.