Qwen-Audio-3.0-Realtime-Plus adalah model Alibaba untuk percakapan suara langsung. Model menerima ucapan dan teks, menjawab dengan audio dan teks, serta mendukung percakapan dua arah dengan pertukaran giliran yang alami. Audio dapat dikirim dan diterima secara bertahap, sehingga interaksi berkembang selama percakapan berlangsung.
Tersedia beberapa cara untuk menentukan batas giliran bicara: berdasarkan aktivitas suara, kelengkapan makna, dan kendali eksplisit. Pada layanan produsen, mode dipilih sebelum audio pertama dikirim; perubahan mode setelah percakapan dimulai memerlukan koneksi baru. Dukungan terhadap kendali ini ditentukan oleh metode yang dipilih. Mode semantik mempertimbangkan jeda dan kata pengisi: keraguan singkat tidak selalu berarti pengguna telah selesai menyampaikan pikirannya. Ucapan baru dari pengguna dapat menyela jawaban yang sedang dibuat, sehingga percakapan berlanjut dengan mempertimbangkan giliran berikutnya. Dalam mode semantik, pengenalan dapat diarahkan pada contoh ucapan lawan bicara yang dipilih agar tidak mudah terganggu oleh suara orang lain dan kebisingan latar.
Instruksi menentukan peran asisten dan gaya komunikasi. Penyampaian suara dapat mempertimbangkan nada, tempo, dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan contoh ucapan. Model mendukung 11 bahasa, termasuk bahasa Rusia, serta varian dialek Tionghoa yang disebutkan produsen. Pada layanan produsen, suara ditetapkan saat pengaturan sesi pertama kali diperbarui; pengiriman suara baru berikutnya dalam percakapan yang sama diabaikan. Pengaturan ini memerlukan dukungan dari metode akses yang dipilih.
Pemanggilan fungsi didukung. Model membentuk tindakan yang diperlukan, aplikasi yang terhubung menjalankannya dan mengembalikan hasil ke percakapan. Dengan demikian, percakapan dapat dibangun berdasarkan data faktual dan dilanjutkan setelah operasi selesai. Asisten suara dapat menggunakan hasil alat sambil mempertahankan konteks percakapan. Kemampuan produsen juga mencakup pencarian web bawaan jika metode yang dipilih menyediakannya. Pencarian web dan pemanggilan fungsi tidak dapat diaktifkan bersamaan dalam satu sesi.
Secara default, riwayat memuat 20 giliran percakapan, dengan rentang yang tersedia dari satu hingga 50. Audio yang terkumpul dibatasi hingga 300 detik; bagian riwayat yang lama dihapus jika batas terlampaui. Ini berbeda dari durasi satu giliran bicara: riwayat menentukan materi sebelumnya yang tetap tersedia saat percakapan dilanjutkan.
Konteks formal berjumlah 40 960 token. Panjang masukan maksimum adalah 16 384 token, sedangkan keluaran 8192; batas masukan dan keluaran yang sama juga dinyatakan untuk mode penalaran, dengan batas rantai penalaran terpisah sebesar 1024 token.
Audio streaming menggunakan PCM satu kanal dengan representasi 16 bit: masukan pada 16 kHz dan keluaran pada 24 kHz. Data teks dan audio merupakan bagian dari percakapan yang sama. Masukan visual dan keluaran gambar tidak dinyatakan untuk model khusus ini; spesialisasinya adalah ucapan, teks, dan interaksi suara.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus adalah model Alibaba untuk percakapan suara langsung. Model menerima ucapan dan teks, menjawab dengan audio dan teks, serta mendukung percakapan dua arah dengan pertukaran giliran yang alami. Audio dapat dikirim dan diterima secara bertahap, sehingga interaksi berkembang selama percakapan berlangsung.\n\n### Menentukan kapan lawan bicara selesai berbicara\n\nTersedia beberapa cara untuk menentukan batas giliran bicara: berdasarkan aktivitas suara, kelengkapan makna, dan kendali eksplisit. Pada layanan produsen, mode dipilih sebelum audio pertama dikirim; perubahan mode setelah percakapan dimulai memerlukan koneksi baru. Dukungan terhadap kendali ini ditentukan oleh metode yang dipilih. Mode semantik mempertimbangkan jeda dan kata pengisi: keraguan singkat tidak selalu berarti pengguna telah selesai menyampaikan pikirannya. Ucapan baru dari pengguna dapat menyela jawaban yang sedang dibuat, sehingga percakapan berlanjut dengan mempertimbangkan giliran berikutnya. Dalam mode semantik, pengenalan dapat diarahkan pada contoh ucapan lawan bicara yang dipilih agar tidak mudah terganggu oleh suara orang lain dan kebisingan latar.\n\nInstruksi menentukan peran asisten dan gaya komunikasi. Penyampaian suara dapat mempertimbangkan nada, tempo, dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan contoh ucapan. Model mendukung 11 bahasa, termasuk bahasa Rusia, serta varian dialek Tionghoa yang disebutkan produsen. Pada layanan produsen, suara ditetapkan saat pengaturan sesi pertama kali diperbarui; pengiriman suara baru berikutnya dalam percakapan yang sama diabaikan. Pengaturan ini memerlukan dukungan dari metode akses yang dipilih.\n\n### Alat dan riwayat percakapan\n\nPemanggilan fungsi didukung. Model membentuk tindakan yang diperlukan, aplikasi yang terhubung menjalankannya dan mengembalikan hasil ke percakapan. Dengan demikian, percakapan dapat dibangun berdasarkan data faktual dan dilanjutkan setelah operasi selesai. Asisten suara dapat menggunakan hasil alat sambil mempertahankan konteks percakapan. Kemampuan produsen juga mencakup pencarian web bawaan jika metode yang dipilih menyediakannya. Pencarian web dan pemanggilan fungsi tidak dapat diaktifkan bersamaan dalam satu sesi.\n\nSecara default, riwayat memuat 20 giliran percakapan, dengan rentang yang tersedia dari satu hingga 50. Audio yang terkumpul dibatasi hingga 300 detik; bagian riwayat yang lama dihapus jika batas terlampaui. Ini berbeda dari durasi satu giliran bicara: riwayat menentukan materi sebelumnya yang tetap tersedia saat percakapan dilanjutkan.\n\n### Konteks teks dan audio\n\nKonteks formal berjumlah 40 960 token. Panjang masukan maksimum adalah 16 384 token, sedangkan keluaran 8192; batas masukan dan keluaran yang sama juga dinyatakan untuk mode penalaran, dengan batas rantai penalaran terpisah sebesar 1024 token.\n\nAudio streaming menggunakan PCM satu kanal dengan representasi 16 bit: masukan pada 16 kHz dan keluaran pada 24 kHz. Data teks dan audio merupakan bagian dari percakapan yang sama. Masukan visual dan keluaran gambar tidak dinyatakan untuk model khusus ini; spesialisasinya adalah ucapan, teks, dan interaksi suara.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "8959ba1226fa927428b30269c212a9803404c44ca92469ea710d6b8f87abecbd", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "id", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModel percakapan suara langsung yang menerima ucapan dan teks serta menjawab dengan suara atau teks. Dirancang untuk ritme percakapan yang alami dan interaksi dengan alat.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Qwen-Audio-3.0-Realtime-Plus adalah model Alibaba untuk percakapan suara langsung. Model menerima ucapan dan teks, menjawab dengan audio dan teks, serta mendukung percakapan dua arah dengan pertukaran giliran yang alami. Audio dapat dikirim dan diterima secara bertahap, sehingga interaksi berkembang selama percakapan berlangsung.
Tersedia beberapa cara untuk menentukan batas giliran bicara: berdasarkan aktivitas suara, kelengkapan makna, dan kendali eksplisit. Pada layanan produsen, mode dipilih sebelum audio pertama dikirim; perubahan mode setelah percakapan dimulai memerlukan koneksi baru. Dukungan terhadap kendali ini ditentukan oleh metode yang dipilih. Mode semantik mempertimbangkan jeda dan kata pengisi: keraguan singkat tidak selalu berarti pengguna telah selesai menyampaikan pikirannya. Ucapan baru dari pengguna dapat menyela jawaban yang sedang dibuat, sehingga percakapan berlanjut dengan mempertimbangkan giliran berikutnya. Dalam mode semantik, pengenalan dapat diarahkan pada contoh ucapan lawan bicara yang dipilih agar tidak mudah terganggu oleh suara orang lain dan kebisingan latar.
Instruksi menentukan peran asisten dan gaya komunikasi. Penyampaian suara dapat mempertimbangkan nada, tempo, dan emosi; versi 3.0 menyediakan lima suara sistem dan suara berdasarkan contoh ucapan. Model mendukung 11 bahasa, termasuk bahasa Rusia, serta varian dialek Tionghoa yang disebutkan produsen. Pada layanan produsen, suara ditetapkan saat pengaturan sesi pertama kali diperbarui; pengiriman suara baru berikutnya dalam percakapan yang sama diabaikan. Pengaturan ini memerlukan dukungan dari metode akses yang dipilih.
Pemanggilan fungsi didukung. Model membentuk tindakan yang diperlukan, aplikasi yang terhubung menjalankannya dan mengembalikan hasil ke percakapan. Dengan demikian, percakapan dapat dibangun berdasarkan data faktual dan dilanjutkan setelah operasi selesai. Asisten suara dapat menggunakan hasil alat sambil mempertahankan konteks percakapan. Kemampuan produsen juga mencakup pencarian web bawaan jika metode yang dipilih menyediakannya. Pencarian web dan pemanggilan fungsi tidak dapat diaktifkan bersamaan dalam satu sesi.
Secara default, riwayat memuat 20 giliran percakapan, dengan rentang yang tersedia dari satu hingga 50. Audio yang terkumpul dibatasi hingga 300 detik; bagian riwayat yang lama dihapus jika batas terlampaui. Ini berbeda dari durasi satu giliran bicara: riwayat menentukan materi sebelumnya yang tetap tersedia saat percakapan dilanjutkan.
Konteks formal berjumlah 40 960 token. Panjang masukan maksimum adalah 16 384 token, sedangkan keluaran 8192; batas masukan dan keluaran yang sama juga dinyatakan untuk mode penalaran, dengan batas rantai penalaran terpisah sebesar 1024 token.
Audio streaming menggunakan PCM satu kanal dengan representasi 16 bit: masukan pada 16 kHz dan keluaran pada 24 kHz. Data teks dan audio merupakan bagian dari percakapan yang sama. Masukan visual dan keluaran gambar tidak dinyatakan untuk model khusus ini; spesialisasinya adalah ucapan, teks, dan interaksi suara.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolomquery.model | Jenisstring | PersyaratanWajib | Nilai & batasan qwen-audio-3.0-realtime-plus | Bawaan— |
Kolomsession.input_audio_format | Jenisstring | PersyaratanOpsional | Nilai & batasan pcm16, pcm | Bawaan— |
Kolomsession.output_audio_format | Jenisstring | PersyaratanOpsional | Nilai & batasan pcm16, pcm | Bawaan— |
Kolomsession.instructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Batas berlaku untuk: kebijakan sesi yang dipilih | Bawaan— |
Kolomsession.max_history_turns | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Batas berlaku untuk: kebijakan sesi yang dipilih | Bawaan— |
Kolominput_audio_buffer.append.audio | Jenisbase64_string | PersyaratanWajib | Nilai & batasan Konten masukan: PCM16 mono; masukan 16 kHz, keluaran 24 kHz; panjang byte genap dan tidak kosong | Bawaan— |
realtime_text_audio
| Parameter | Kontrak |
|---|---|
Parametermaterial_types | Kontraktext, audio |
Parameterrequired | Kontraknull |
Parameteroptional_controls | Kontraknull |
Parametercontent_type | KontrakWebSocket |
Siklus hidup: exact retained published method
Struktur metode dan ID bersifat eksak; kemampuan pemasok terpisah dari penerimaan permintaan.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nperistiwa sesi
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Gabungkan setiap delta audio dan hasil teks/peristiwa yang dikembalikan untuk setiap ID respons aktual.
Simpan ID sesi/respons/peristiwa aktual beserta catatan buktinya.
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons426 · invalid_request_error | KondisiTidak ada peningkatan koneksi WebSocket | Langkah berikutnyaGunakan klien WebSocket dengan Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Gunakan jalur metode yang ditampilkan di atas.