Qwen-Audio-3.0-Realtime-Plus هو نموذج من Alibaba للحوار الصوتي المباشر. يقبل الكلام والنص ويجيب بالصوت والنص ويدعم محادثة ثنائية الاتجاه مع تبادل طبيعي للأدوار. يمكن إرسال الصوت واستقباله على أجزاء، لذا يتطور التفاعل أثناء المحادثة.
تتوفر عدة طرق لتحديد حدود دور الكلام: النشاط الصوتي، والاكتمال الدلالي، والتحكم الصريح. لدى المصنّع يُختار الوضع قبل إرسال أول صوت؛ ويتطلب تغييره بعد بدء المحادثة اتصالًا جديدًا. يعتمد دعم هذا التحكم على الطريقة المختارة. يراعي الوضع الدلالي التوقفات وحشوات الكلام: التردد القصير لا يعني بالضرورة أن المستخدم أنهى فكرته. يمكن لكلام جديد من المستخدم أن يقاطع الإجابة الجاري تكوينها، لتستمر المحادثة مع مراعاة الدور التالي. في الوضع الدلالي يمكن توجيه التعرف إلى عينة صوتية للمتحدث المختار لتقليل التأثر بأصوات الآخرين وضوضاء الخلفية.
تحدد التعليمات دور المساعد وأسلوب التواصل. يمكن للأداء الصوتي مراعاة النبرة والسرعة والعاطفة؛ ويتوفر في الإصدار 3.0 خمسة أصوات نظامية وأصوات مبنية على عينة كلام. يدعم النموذج 11 لغة، منها الروسية، إلى جانب أنواع اللهجات الصينية التي يحددها المصنّع. لدى المصنّع يُحدد الصوت عند أول تحديث لإعدادات الجلسة؛ ويُتجاهل إرسال صوت جديد لاحقًا في المحادثة نفسها. تتطلب هذه الإعدادات دعم طريقة الاستدعاء المختارة.
يُدعم استدعاء الدوال. يشكّل النموذج الفعل المطلوب، وينفذه التطبيق المتصل، ثم يعيد النتيجة إلى الحوار. يتيح ذلك بناء المحادثة على بيانات فعلية ومتابعتها بعد إتمام العملية. يمكن للمساعد الصوتي الاستناد إلى نتائج الأدوات مع الحفاظ على سياق الحديث. تشمل إمكانات المصنّع أيضًا بحثًا مدمجًا على الويب إذا كانت الطريقة المختارة توفره. لا يمكن تفعيل بحث الويب واستدعاء الدوال معًا في جلسة واحدة.
يتضمن السجل افتراضيًا 20 دورًا في المحادثة، مع نطاق من دور واحد إلى 50. يبلغ الحد للصوت المتراكم 300 ثانية؛ وتُحذف الأجزاء القديمة من السجل عند تجاوز الحدود. يختلف ذلك عن مدة الدور الواحد: فالسجل يحدد المادة السابقة التي تظل متاحة عند متابعة الحوار.
يبلغ السياق الرسمي 40 960 توكنًا. الحد الأقصى للإدخال 16 384 توكنًا وللإخراج 8192؛ وتُذكر حدود الإدخال والإخراج نفسها لوضع الاستدلال، مع حد منفصل لسلسلة الاستدلال قدره 1024 توكنًا.
للصوت المتدفق يُستخدم PCM أحادي القناة بتمثيل 16 بت: تردد الإدخال 16 كيلوهرتز والإخراج 24 كيلوهرتز. تنتمي البيانات النصية والصوتية إلى محادثة واحدة. لم يُعلن عن إدخال بصري أو إخراج صور لهذا النموذج بعينه؛ فهو متخصص في الكلام والنص والتفاعل الصوتي.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus هو نموذج من Alibaba للحوار الصوتي المباشر. يقبل الكلام والنص ويجيب بالصوت والنص ويدعم محادثة ثنائية الاتجاه مع تبادل طبيعي للأدوار. يمكن إرسال الصوت واستقباله على أجزاء، لذا يتطور التفاعل أثناء المحادثة.\n\n### متى ينتهي المتحدث من فكرته\n\nتتوفر عدة طرق لتحديد حدود دور الكلام: النشاط الصوتي، والاكتمال الدلالي، والتحكم الصريح. لدى المصنّع يُختار الوضع قبل إرسال أول صوت؛ ويتطلب تغييره بعد بدء المحادثة اتصالًا جديدًا. يعتمد دعم هذا التحكم على الطريقة المختارة. يراعي الوضع الدلالي التوقفات وحشوات الكلام: التردد القصير لا يعني بالضرورة أن المستخدم أنهى فكرته. يمكن لكلام جديد من المستخدم أن يقاطع الإجابة الجاري تكوينها، لتستمر المحادثة مع مراعاة الدور التالي. في الوضع الدلالي يمكن توجيه التعرف إلى عينة صوتية للمتحدث المختار لتقليل التأثر بأصوات الآخرين وضوضاء الخلفية.\n\nتحدد التعليمات دور المساعد وأسلوب التواصل. يمكن للأداء الصوتي مراعاة النبرة والسرعة والعاطفة؛ ويتوفر في الإصدار 3.0 خمسة أصوات نظامية وأصوات مبنية على عينة كلام. يدعم النموذج 11 لغة، منها الروسية، إلى جانب أنواع اللهجات الصينية التي يحددها المصنّع. لدى المصنّع يُحدد الصوت عند أول تحديث لإعدادات الجلسة؛ ويُتجاهل إرسال صوت جديد لاحقًا في المحادثة نفسها. تتطلب هذه الإعدادات دعم طريقة الاستدعاء المختارة.\n\n### الأدوات وسجل المحادثة\n\nيُدعم استدعاء الدوال. يشكّل النموذج الفعل المطلوب، وينفذه التطبيق المتصل، ثم يعيد النتيجة إلى الحوار. يتيح ذلك بناء المحادثة على بيانات فعلية ومتابعتها بعد إتمام العملية. يمكن للمساعد الصوتي الاستناد إلى نتائج الأدوات مع الحفاظ على سياق الحديث. تشمل إمكانات المصنّع أيضًا بحثًا مدمجًا على الويب إذا كانت الطريقة المختارة توفره. لا يمكن تفعيل بحث الويب واستدعاء الدوال معًا في جلسة واحدة.\n\nيتضمن السجل افتراضيًا 20 دورًا في المحادثة، مع نطاق من دور واحد إلى 50. يبلغ الحد للصوت المتراكم 300 ثانية؛ وتُحذف الأجزاء القديمة من السجل عند تجاوز الحدود. يختلف ذلك عن مدة الدور الواحد: فالسجل يحدد المادة السابقة التي تظل متاحة عند متابعة الحوار.\n\n### السياق النصي والصوت\n\nيبلغ السياق الرسمي 40 960 توكنًا. الحد الأقصى للإدخال 16 384 توكنًا وللإخراج 8192؛ وتُذكر حدود الإدخال والإخراج نفسها لوضع الاستدلال، مع حد منفصل لسلسلة الاستدلال قدره 1024 توكنًا.\n\nللصوت المتدفق يُستخدم PCM أحادي القناة بتمثيل 16 بت: تردد الإدخال 16 كيلوهرتز والإخراج 24 كيلوهرتز. تنتمي البيانات النصية والصوتية إلى محادثة واحدة. لم يُعلن عن إدخال بصري أو إخراج صور لهذا النموذج بعينه؛ فهو متخصص في الكلام والنص والتفاعل الصوتي.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "e62a8b88e9404c4574c61131e6404e0e4a244604fa18c399509db9eb51fee454", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "ar", "methods": [ { "html": "qwen-audio-3.0-realtime-plusنموذج لحوار صوتي مباشر يقبل الكلام والنص ويجيب بالصوت أو النص. مصمم لوتيرة تواصل طبيعية والتفاعل مع الأدوات.
يغطي هذا الوصف قدرات النموذج. وترد أدناه المدخلات والمخرجات والخيارات المتاحة في Ailoot للطريقة المحددة.
Qwen-Audio-3.0-Realtime-Plus هو نموذج من Alibaba للحوار الصوتي المباشر. يقبل الكلام والنص ويجيب بالصوت والنص ويدعم محادثة ثنائية الاتجاه مع تبادل طبيعي للأدوار. يمكن إرسال الصوت واستقباله على أجزاء، لذا يتطور التفاعل أثناء المحادثة.
تتوفر عدة طرق لتحديد حدود دور الكلام: النشاط الصوتي، والاكتمال الدلالي، والتحكم الصريح. لدى المصنّع يُختار الوضع قبل إرسال أول صوت؛ ويتطلب تغييره بعد بدء المحادثة اتصالًا جديدًا. يعتمد دعم هذا التحكم على الطريقة المختارة. يراعي الوضع الدلالي التوقفات وحشوات الكلام: التردد القصير لا يعني بالضرورة أن المستخدم أنهى فكرته. يمكن لكلام جديد من المستخدم أن يقاطع الإجابة الجاري تكوينها، لتستمر المحادثة مع مراعاة الدور التالي. في الوضع الدلالي يمكن توجيه التعرف إلى عينة صوتية للمتحدث المختار لتقليل التأثر بأصوات الآخرين وضوضاء الخلفية.
تحدد التعليمات دور المساعد وأسلوب التواصل. يمكن للأداء الصوتي مراعاة النبرة والسرعة والعاطفة؛ ويتوفر في الإصدار 3.0 خمسة أصوات نظامية وأصوات مبنية على عينة كلام. يدعم النموذج 11 لغة، منها الروسية، إلى جانب أنواع اللهجات الصينية التي يحددها المصنّع. لدى المصنّع يُحدد الصوت عند أول تحديث لإعدادات الجلسة؛ ويُتجاهل إرسال صوت جديد لاحقًا في المحادثة نفسها. تتطلب هذه الإعدادات دعم طريقة الاستدعاء المختارة.
يُدعم استدعاء الدوال. يشكّل النموذج الفعل المطلوب، وينفذه التطبيق المتصل، ثم يعيد النتيجة إلى الحوار. يتيح ذلك بناء المحادثة على بيانات فعلية ومتابعتها بعد إتمام العملية. يمكن للمساعد الصوتي الاستناد إلى نتائج الأدوات مع الحفاظ على سياق الحديث. تشمل إمكانات المصنّع أيضًا بحثًا مدمجًا على الويب إذا كانت الطريقة المختارة توفره. لا يمكن تفعيل بحث الويب واستدعاء الدوال معًا في جلسة واحدة.
يتضمن السجل افتراضيًا 20 دورًا في المحادثة، مع نطاق من دور واحد إلى 50. يبلغ الحد للصوت المتراكم 300 ثانية؛ وتُحذف الأجزاء القديمة من السجل عند تجاوز الحدود. يختلف ذلك عن مدة الدور الواحد: فالسجل يحدد المادة السابقة التي تظل متاحة عند متابعة الحوار.
يبلغ السياق الرسمي 40 960 توكنًا. الحد الأقصى للإدخال 16 384 توكنًا وللإخراج 8192؛ وتُذكر حدود الإدخال والإخراج نفسها لوضع الاستدلال، مع حد منفصل لسلسلة الاستدلال قدره 1024 توكنًا.
للصوت المتدفق يُستخدم PCM أحادي القناة بتمثيل 16 بت: تردد الإدخال 16 كيلوهرتز والإخراج 24 كيلوهرتز. تنتمي البيانات النصية والصوتية إلى محادثة واحدة. لم يُعلن عن إدخال بصري أو إخراج صور لهذا النموذج بعينه؛ فهو متخصص في الكلام والنص والتفاعل الصوتي.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| الحقل | النوع | المتطلب | القيم والحدود | القيمة الافتراضية |
|---|---|---|---|---|
الحقلquery.model | النوعstring | المتطلبمطلوب | القيم والحدود qwen-audio-3.0-realtime-plus | القيمة الافتراضية— |
الحقلsession.input_audio_format | النوعstring | المتطلباختياري | القيم والحدود pcm16, pcm | القيمة الافتراضية— |
الحقلsession.output_audio_format | النوعstring | المتطلباختياري | القيم والحدود pcm16, pcm | القيمة الافتراضية— |
الحقلsession.instructions | النوعstring | المتطلباختياري | القيم والحدود نطاق تطبيق الحد: سياسة الجلسة المختارة | القيمة الافتراضية— |
الحقلsession.max_history_turns | النوعinteger | المتطلباختياري | القيم والحدود الحد الأدنى: 1 نطاق تطبيق الحد: سياسة الجلسة المختارة | القيمة الافتراضية— |
الحقلinput_audio_buffer.append.audio | النوعbase64_string | المتطلبمطلوب | القيم والحدود محتوى الإدخال: PCM16 أحادي القناة؛ إدخال بتردد 16 kHz ومخرجات بتردد 24 kHz؛ طول بالبايت غير صفري وعدد بايتات زوجي | القيمة الافتراضية— |
realtime_text_audio
| المعلمة | المواصفات |
|---|---|
المعلمةmaterial_types | المواصفاتtext, audio |
المعلمةrequired | المواصفاتnull |
المعلمةoptional_controls | المواصفاتnull |
المعلمةcontent_type | المواصفاتWebSocket |
دورة الحياة: exact retained published method
بُنى الطرق ومعرّفاتها دقيقة؛ قدرة المورد منفصلة عن السماح بالطلب.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusتحجز Ailoot مبلغًا تقديريًا قبل الطلب. وبعد ظهور النتيجة، تُسوّي الرسوم النهائية بناءً على الاستخدام المقاس. وتستخدم تسوية البث سجل الاستخدام النهائي. كيفية عمل حجز المبلغ وتسوية الرسوم →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nأحداث الجلسة
احتفظ بكل استجابة كاملة وكل ملف وجزء محتوى تم إرجاعه.
جمّع كل جزء صوتي مُعاد وكل نتيجة نصية أو حدث لكل معرّف استجابة فعلي.
احتفظ بالمعرّفات الفعلية للجلسة والاستجابة والأحداث وبسجلات الإثبات.
| الاستجابة | الشرط | الخطوة التالية |
|---|---|---|
الاستجابة426 · invalid_request_error | الشرطلم تتم ترقية الاتصال إلى WebSocket | الخطوة التاليةاستخدم عميل WebSocket مع Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
استخدم مسارات الطرائق المعروضة أعلاه.