Qwen-Audio-3.0-Realtime-Plus ialah model Alibaba untuk dialog suara langsung. Model menerima pertuturan dan teks, menjawab melalui audio dan teks serta menyokong perbualan dua hala dengan pertukaran ujaran yang semula jadi. Audio boleh dihantar dan diterima secara berbahagi, jadi interaksi berkembang sepanjang perbualan.
Beberapa cara disediakan untuk menentukan sempadan ujaran: berdasarkan aktiviti bunyi, kelengkapan makna dan kawalan yang dinyatakan secara jelas. Dalam sistem pengeluar, mod dipilih sebelum audio pertama dihantar; sambungan baharu diperlukan untuk menukarnya selepas perbualan bermula. Sokongan kawalan ini bergantung pada kaedah yang dipilih. Mod semantik mengambil kira jeda dan kata pengisi: keraguan seketika tidak semestinya bermaksud pengguna sudah selesai menyampaikan fikirannya. Pertuturan baharu daripada pengguna boleh mengganggu respons yang sedang dijana supaya perbualan diteruskan dengan mengambil kira ujaran seterusnya. Dalam mod semantik, pengecaman boleh dipandu oleh sampel pertuturan individu yang dipilih untuk mengurangkan gangguan daripada suara orang lain dan bunyi latar.
Arahan menentukan peranan pembantu dan gaya perbualan. Penyampaian suara boleh mengambil kira nada, tempo dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan sampel pertuturan. Model menyokong 11 bahasa, termasuk bahasa Rusia, serta variasi dialek Cina yang dinyatakan oleh pengeluar. Dalam sistem pengeluar, suara ditetapkan semasa kemas kini tetapan sesi yang pertama; suara baharu yang dihantar kemudian dalam perbualan yang sama diabaikan. Tetapan ini memerlukan sokongan daripada kaedah akses yang dipilih.
Panggilan fungsi disokong. Model menentukan tindakan yang diperlukan, aplikasi yang disambungkan melaksanakannya dan mengembalikan hasil ke dalam dialog. Ini membolehkan perbualan dibina berdasarkan data sebenar dan diteruskan selepas operasi selesai. Pembantu suara boleh menggunakan hasil alat sambil mengekalkan konteks perbualan. Keupayaan pengeluar turut merangkumi carian web terbina dalam jika disediakan oleh kaedah yang dipilih. Carian web dan panggilan fungsi tidak boleh diaktifkan serentak dalam satu sesi.
Secara lalai, sejarah mengandungi 20 giliran perbualan, dengan julat yang disediakan daripada satu hingga 50. Had 300 saat ditetapkan bagi audio terkumpul; bahagian sejarah yang lama dibuang apabila had dilampaui. Ini berbeza daripada tempoh satu ujaran: sejarah menentukan bahan terdahulu yang masih tersedia apabila dialog diteruskan.
Konteks formal ialah 40 960 token. Panjang input maksimum ialah 16 384 token, manakala output maksimum ialah 8192; had input dan output yang sama dinyatakan bagi mod penaakulan, dengan had rantaian penaakulan berasingan sebanyak 1024 token.
Audio penstriman menggunakan PCM satu saluran dengan perwakilan 16 bit: input pada 16 kHz dan output pada 24 kHz. Data teks dan audio tergolong dalam perbualan yang sama. Input visual dan penghasilan imej tidak dinyatakan bagi model khusus ini; pengkhususannya ialah pertuturan, teks dan interaksi suara.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus ialah model Alibaba untuk dialog suara langsung. Model menerima pertuturan dan teks, menjawab melalui audio dan teks serta menyokong perbualan dua hala dengan pertukaran ujaran yang semula jadi. Audio boleh dihantar dan diterima secara berbahagi, jadi interaksi berkembang sepanjang perbualan.\n\n### Menentukan bila pengguna selesai bercakap\n\nBeberapa cara disediakan untuk menentukan sempadan ujaran: berdasarkan aktiviti bunyi, kelengkapan makna dan kawalan yang dinyatakan secara jelas. Dalam sistem pengeluar, mod dipilih sebelum audio pertama dihantar; sambungan baharu diperlukan untuk menukarnya selepas perbualan bermula. Sokongan kawalan ini bergantung pada kaedah yang dipilih. Mod semantik mengambil kira jeda dan kata pengisi: keraguan seketika tidak semestinya bermaksud pengguna sudah selesai menyampaikan fikirannya. Pertuturan baharu daripada pengguna boleh mengganggu respons yang sedang dijana supaya perbualan diteruskan dengan mengambil kira ujaran seterusnya. Dalam mod semantik, pengecaman boleh dipandu oleh sampel pertuturan individu yang dipilih untuk mengurangkan gangguan daripada suara orang lain dan bunyi latar.\n\nArahan menentukan peranan pembantu dan gaya perbualan. Penyampaian suara boleh mengambil kira nada, tempo dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan sampel pertuturan. Model menyokong 11 bahasa, termasuk bahasa Rusia, serta variasi dialek Cina yang dinyatakan oleh pengeluar. Dalam sistem pengeluar, suara ditetapkan semasa kemas kini tetapan sesi yang pertama; suara baharu yang dihantar kemudian dalam perbualan yang sama diabaikan. Tetapan ini memerlukan sokongan daripada kaedah akses yang dipilih.\n\n### Alat dan sejarah perbualan\n\nPanggilan fungsi disokong. Model menentukan tindakan yang diperlukan, aplikasi yang disambungkan melaksanakannya dan mengembalikan hasil ke dalam dialog. Ini membolehkan perbualan dibina berdasarkan data sebenar dan diteruskan selepas operasi selesai. Pembantu suara boleh menggunakan hasil alat sambil mengekalkan konteks perbualan. Keupayaan pengeluar turut merangkumi carian web terbina dalam jika disediakan oleh kaedah yang dipilih. Carian web dan panggilan fungsi tidak boleh diaktifkan serentak dalam satu sesi.\n\nSecara lalai, sejarah mengandungi 20 giliran perbualan, dengan julat yang disediakan daripada satu hingga 50. Had 300 saat ditetapkan bagi audio terkumpul; bahagian sejarah yang lama dibuang apabila had dilampaui. Ini berbeza daripada tempoh satu ujaran: sejarah menentukan bahan terdahulu yang masih tersedia apabila dialog diteruskan.\n\n### Konteks teks dan audio\n\nKonteks formal ialah 40 960 token. Panjang input maksimum ialah 16 384 token, manakala output maksimum ialah 8192; had input dan output yang sama dinyatakan bagi mod penaakulan, dengan had rantaian penaakulan berasingan sebanyak 1024 token.\n\nAudio penstriman menggunakan PCM satu saluran dengan perwakilan 16 bit: input pada 16 kHz dan output pada 24 kHz. Data teks dan audio tergolong dalam perbualan yang sama. Input visual dan penghasilan imej tidak dinyatakan bagi model khusus ini; pengkhususannya ialah pertuturan, teks dan interaksi suara.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "2bcd1828fb485b359b7293ed6b915cb5cca95d18b247a2862a2794b22574b6e3", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "ms", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModel dialog suara langsung yang menerima pertuturan dan teks, lalu menjawab melalui suara atau teks. Direka untuk tempo perbualan yang semula jadi dan interaksi dengan alat.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Qwen-Audio-3.0-Realtime-Plus ialah model Alibaba untuk dialog suara langsung. Model menerima pertuturan dan teks, menjawab melalui audio dan teks serta menyokong perbualan dua hala dengan pertukaran ujaran yang semula jadi. Audio boleh dihantar dan diterima secara berbahagi, jadi interaksi berkembang sepanjang perbualan.
Beberapa cara disediakan untuk menentukan sempadan ujaran: berdasarkan aktiviti bunyi, kelengkapan makna dan kawalan yang dinyatakan secara jelas. Dalam sistem pengeluar, mod dipilih sebelum audio pertama dihantar; sambungan baharu diperlukan untuk menukarnya selepas perbualan bermula. Sokongan kawalan ini bergantung pada kaedah yang dipilih. Mod semantik mengambil kira jeda dan kata pengisi: keraguan seketika tidak semestinya bermaksud pengguna sudah selesai menyampaikan fikirannya. Pertuturan baharu daripada pengguna boleh mengganggu respons yang sedang dijana supaya perbualan diteruskan dengan mengambil kira ujaran seterusnya. Dalam mod semantik, pengecaman boleh dipandu oleh sampel pertuturan individu yang dipilih untuk mengurangkan gangguan daripada suara orang lain dan bunyi latar.
Arahan menentukan peranan pembantu dan gaya perbualan. Penyampaian suara boleh mengambil kira nada, tempo dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan sampel pertuturan. Model menyokong 11 bahasa, termasuk bahasa Rusia, serta variasi dialek Cina yang dinyatakan oleh pengeluar. Dalam sistem pengeluar, suara ditetapkan semasa kemas kini tetapan sesi yang pertama; suara baharu yang dihantar kemudian dalam perbualan yang sama diabaikan. Tetapan ini memerlukan sokongan daripada kaedah akses yang dipilih.
Panggilan fungsi disokong. Model menentukan tindakan yang diperlukan, aplikasi yang disambungkan melaksanakannya dan mengembalikan hasil ke dalam dialog. Ini membolehkan perbualan dibina berdasarkan data sebenar dan diteruskan selepas operasi selesai. Pembantu suara boleh menggunakan hasil alat sambil mengekalkan konteks perbualan. Keupayaan pengeluar turut merangkumi carian web terbina dalam jika disediakan oleh kaedah yang dipilih. Carian web dan panggilan fungsi tidak boleh diaktifkan serentak dalam satu sesi.
Secara lalai, sejarah mengandungi 20 giliran perbualan, dengan julat yang disediakan daripada satu hingga 50. Had 300 saat ditetapkan bagi audio terkumpul; bahagian sejarah yang lama dibuang apabila had dilampaui. Ini berbeza daripada tempoh satu ujaran: sejarah menentukan bahan terdahulu yang masih tersedia apabila dialog diteruskan.
Konteks formal ialah 40 960 token. Panjang input maksimum ialah 16 384 token, manakala output maksimum ialah 8192; had input dan output yang sama dinyatakan bagi mod penaakulan, dengan had rantaian penaakulan berasingan sebanyak 1024 token.
Audio penstriman menggunakan PCM satu saluran dengan perwakilan 16 bit: input pada 16 kHz dan output pada 24 kHz. Data teks dan audio tergolong dalam perbualan yang sama. Input visual dan penghasilan imej tidak dinyatakan bagi model khusus ini; pengkhususannya ialah pertuturan, teks dan interaksi suara.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanquery.model | Jenisstring | KeperluanDiperlukan | Nilai & had qwen-audio-3.0-realtime-plus | Lalai— |
Medansession.input_audio_format | Jenisstring | KeperluanPilihan | Nilai & had pcm16, pcm | Lalai— |
Medansession.output_audio_format | Jenisstring | KeperluanPilihan | Nilai & had pcm16, pcm | Lalai— |
Medansession.instructions | Jenisstring | KeperluanPilihan | Nilai & had Had terpakai pada: dasar sesi yang dipilih | Lalai— |
Medansession.max_history_turns | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Had terpakai pada: dasar sesi yang dipilih | Lalai— |
Medaninput_audio_buffer.append.audio | Jenisbase64_string | KeperluanDiperlukan | Nilai & had Kandungan input: PCM16 mono; input 16 kHz, output 24 kHz; panjang bait genap yang tidak kosong | Lalai— |
realtime_text_audio
| Parameter | Kontrak |
|---|---|
Parametermaterial_types | Kontraktext, audio |
Parameterrequired | Kontraknull |
Parameteroptional_controls | Kontraknull |
Parametercontent_type | KontrakWebSocket |
Kitar hayat: exact retained published method
Struktur kaedah dan ID adalah tepat; keupayaan pembekal berasingan daripada penerimaan permintaan.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nperistiwa sesi
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Gabungkan setiap delta audio dan hasil teks/peristiwa yang dikembalikan bagi setiap ID respons sebenar.
Simpan ID sesi/respons/peristiwa sebenar dan resit.
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons426 · invalid_request_error | SyaratTiada naik taraf WebSocket | Langkah seterusnyaGunakan klien WebSocket dengan Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Gunakan laluan kaedah yang dipaparkan di atas.