Qwen-Audio-3.0-Realtime-Plus 是 Alibaba 的即時語音對話模型。它接受語音與文字，以音訊與文字回應，並支援自然交換話語的雙向對話。聲音可分段傳送與接收，讓互動隨對話進行。
可透過聲音活動、語意完整度或明確控制，判斷一次發話的邊界。在模型開發商提供的模式中，須在傳送第一段音訊前選定模式；開始對話後若要變更，必須建立新的連線。這種控制是否可用，取決於選定的方法。語意模式會考量停頓與填充詞：短暫猶豫不一定表示使用者已說完。使用者的新發話可中斷正在形成的回應，讓對話依下一段發話繼續。語意模式下，可用指定對話者的語音樣本引導辨識，以減少其他人聲及背景雜音的干擾。
指令設定助理角色及交談風格。語音表達可考量語調、速度與情緒；3.0 版本提供五種系統聲音，以及依語音樣本設定的聲音。模型支援 11 種語言，包括俄語，也支援模型開發商列出的漢語方言變體。在模型開發商的設定方式中，聲音於第一次更新工作階段設定時指定；同一段對話之後傳入的新聲音會被忽略。這些設定須由選定的呼叫方式支援。
支援函式呼叫。模型提出所需動作，連接的應用程式執行動作，再將結果傳回對話。這讓對話能圍繞實際資料展開，並在操作完成後繼續。語音助理可利用工具結果，同時保留對話脈絡。模型開發商的功能也包括內建網路搜尋，前提是選定的方法有提供。網路搜尋與函式呼叫不能在同一工作階段同時啟用。
預設歷史保留 20 輪對話，可設定的範圍為一至 50 輪。累積音訊的上限為 300 秒；超過限制時，較舊的歷史片段會被刪除。這與單次發話的長度不同：歷史設定決定繼續對話時，哪些先前素材仍可使用。
正式脈絡長度為 40 960 個 Token。輸入長度上限為 16 384 個 Token，輸出上限為 8192；推理模式也採用相同的輸入與輸出上限，另外限制推理鏈最多為 1024 個 Token。
串流聲音使用單聲道、16 位元 PCM：輸入為 16 kHz，輸出為 24 kHz。文字與音訊資料屬於同一段對話。此特定模型未宣稱支援視覺輸入或輸出圖片；專長是語音、文字及語音互動。
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus 是 Alibaba 的即時語音對話模型。它接受語音與文字，以音訊與文字回應，並支援自然交換話語的雙向對話。聲音可分段傳送與接收，讓互動隨對話進行。\n\n### 判斷對方是否說完\n\n可透過聲音活動、語意完整度或明確控制，判斷一次發話的邊界。在模型開發商提供的模式中，須在傳送第一段音訊前選定模式；開始對話後若要變更，必須建立新的連線。這種控制是否可用，取決於選定的方法。語意模式會考量停頓與填充詞：短暫猶豫不一定表示使用者已說完。使用者的新發話可中斷正在形成的回應，讓對話依下一段發話繼續。語意模式下，可用指定對話者的語音樣本引導辨識，以減少其他人聲及背景雜音的干擾。\n\n指令設定助理角色及交談風格。語音表達可考量語調、速度與情緒；3.0 版本提供五種系統聲音，以及依語音樣本設定的聲音。模型支援 11 種語言，包括俄語，也支援模型開發商列出的漢語方言變體。在模型開發商的設定方式中，聲音於第一次更新工作階段設定時指定；同一段對話之後傳入的新聲音會被忽略。這些設定須由選定的呼叫方式支援。\n\n### 工具與對話歷史\n\n支援函式呼叫。模型提出所需動作，連接的應用程式執行動作，再將結果傳回對話。這讓對話能圍繞實際資料展開，並在操作完成後繼續。語音助理可利用工具結果，同時保留對話脈絡。模型開發商的功能也包括內建網路搜尋，前提是選定的方法有提供。網路搜尋與函式呼叫不能在同一工作階段同時啟用。\n\n預設歷史保留 20 輪對話，可設定的範圍為一至 50 輪。累積音訊的上限為 300 秒；超過限制時，較舊的歷史片段會被刪除。這與單次發話的長度不同：歷史設定決定繼續對話時，哪些先前素材仍可使用。\n\n### 文字脈絡與聲音\n\n正式脈絡長度為 40 960 個 Token。輸入長度上限為 16 384 個 Token，輸出上限為 8192；推理模式也採用相同的輸入與輸出上限，另外限制推理鏈最多為 1024 個 Token。\n\n串流聲音使用單聲道、16 位元 PCM：輸入為 16 kHz，輸出為 24 kHz。文字與音訊資料屬於同一段對話。此特定模型未宣稱支援視覺輸入或輸出圖片；專長是語音、文字及語音互動。", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "36cb690eb63552c7f36cc16933ce1bf1aad0da6bc379e0c0e1aa2584e8edc248", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "zh-hant-tw", "methods": [ { "html": "qwen-audio-3.0-realtime-plus即時語音對話模型，接受語音與文字，並以語音或文字回應。設計重點是自然的交談節奏，以及與工具互動。
此說明介紹模型的能力。Ailoot 可用的輸入、輸出與選項，依所選方法列於下方。
Qwen-Audio-3.0-Realtime-Plus 是 Alibaba 的即時語音對話模型。它接受語音與文字，以音訊與文字回應，並支援自然交換話語的雙向對話。聲音可分段傳送與接收，讓互動隨對話進行。
可透過聲音活動、語意完整度或明確控制，判斷一次發話的邊界。在模型開發商提供的模式中，須在傳送第一段音訊前選定模式；開始對話後若要變更，必須建立新的連線。這種控制是否可用，取決於選定的方法。語意模式會考量停頓與填充詞：短暫猶豫不一定表示使用者已說完。使用者的新發話可中斷正在形成的回應，讓對話依下一段發話繼續。語意模式下，可用指定對話者的語音樣本引導辨識，以減少其他人聲及背景雜音的干擾。
指令設定助理角色及交談風格。語音表達可考量語調、速度與情緒；3.0 版本提供五種系統聲音，以及依語音樣本設定的聲音。模型支援 11 種語言，包括俄語，也支援模型開發商列出的漢語方言變體。在模型開發商的設定方式中，聲音於第一次更新工作階段設定時指定；同一段對話之後傳入的新聲音會被忽略。這些設定須由選定的呼叫方式支援。
支援函式呼叫。模型提出所需動作，連接的應用程式執行動作，再將結果傳回對話。這讓對話能圍繞實際資料展開，並在操作完成後繼續。語音助理可利用工具結果，同時保留對話脈絡。模型開發商的功能也包括內建網路搜尋，前提是選定的方法有提供。網路搜尋與函式呼叫不能在同一工作階段同時啟用。
預設歷史保留 20 輪對話，可設定的範圍為一至 50 輪。累積音訊的上限為 300 秒；超過限制時，較舊的歷史片段會被刪除。這與單次發話的長度不同：歷史設定決定繼續對話時，哪些先前素材仍可使用。
正式脈絡長度為 40 960 個 Token。輸入長度上限為 16 384 個 Token，輸出上限為 8192；推理模式也採用相同的輸入與輸出上限，另外限制推理鏈最多為 1024 個 Token。
串流聲音使用單聲道、16 位元 PCM：輸入為 16 kHz，輸出為 24 kHz。文字與音訊資料屬於同一段對話。此特定模型未宣稱支援視覺輸入或輸出圖片；專長是語音、文字及語音互動。
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| 欄位 | 類型 | 要求 | 值與限制 | 預設值 |
|---|---|---|---|---|
欄位query.model | 類型string | 要求必填 | 值與限制 qwen-audio-3.0-realtime-plus | 預設值— |
欄位session.input_audio_format | 類型string | 要求選填 | 值與限制 pcm16, pcm | 預設值— |
欄位session.output_audio_format | 類型string | 要求選填 | 值與限制 pcm16, pcm | 預設值— |
欄位session.instructions | 類型string | 要求選填 | 值與限制 限制適用對象: 所選的工作階段政策 | 預設值— |
欄位session.max_history_turns | 類型integer | 要求選填 | 值與限制 最小值: 1 限制適用對象: 所選的工作階段政策 | 預設值— |
欄位input_audio_buffer.append.audio | 類型base64_string | 要求必填 | 值與限制 輸入內容: PCM16 單聲道；輸入 16 kHz，輸出 24 kHz；位元組長度須非零且為偶數 | 預設值— |
realtime_text_audio
| 參數 | 規格 |
|---|---|
參數material_types | 規格text, audio |
參數required | 規格null |
參數optional_controls | 規格null |
參數content_type | 規格WebSocket |
生命週期： exact retained published method
方法結構與 ID 均為精確值；供應商能力與准入狀態分開。
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot 會在請求前預留估算金額。取得結果後，依實測用量結算最終費用。串流結算採用最終用量紀錄。預留金額與結算的運作方式 →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n工作階段事件
請保留所有完整傳回的回應、檔案與內容區塊。
請依每個實際回應 ID，組合所有回傳的音訊增量片段與文字／事件結果。
請保留實際的工作階段／回應／事件 ID 與紀錄憑證。
| 回應 | 條件 | 下一步 |
|---|---|---|
回應426 · invalid_request_error | 條件未進行 WebSocket 升級 | 下一步請使用 WebSocket 用戶端，並帶入 Upgrade: websocket。 |
Ailoot qwen-audio-3.0-realtime-plus
請使用上方列出的 API 方法路徑。