Qwen-Audio-3.0-Realtime-Plus je model Alibaba pro hlasový dialog v reálném čase. Přijímá řeč i text, odpovídá zvukem i textem a podporuje obousměrný rozhovor s přirozeným střídáním replik. Zvuk lze odesílat a přijímat po částech, takže interakce probíhá průběžně během rozhovoru.
K dispozici je několik způsobů určování hranic repliky: podle zvukové aktivity, podle významového dokončení a pomocí explicitního řízení. U výrobce se režim volí před odesláním prvního zvuku; změna po zahájení rozhovoru vyžaduje nové spojení. Podpora tohoto řízení závisí na zvolené metodě. Významový režim zohledňuje pauzy a výplňové výrazy: krátké zaváhání nemusí znamenat, že uživatel dokončil myšlenku. Další promluva uživatele může přerušit právě vytvářenou odpověď, aby rozhovor pokračoval s ohledem na následující repliku. Ve významovém režimu lze rozpoznávání zaměřit na řečový vzorek vybraného účastníka rozhovoru, aby je méně rušily cizí hlasy a hluk v pozadí.
Instrukce určují roli asistenta a styl komunikace. Hlasový projev může zohledňovat tón, tempo a emoce; pro verzi 3.0 je k dispozici pět systémových hlasů a hlasy podle řečového vzorku. Model podporuje 11 jazyků včetně ruštiny a také varianty čínských dialektů uvedené výrobcem. U výrobce se hlas nastavuje při první aktualizaci nastavení relace; následné zadání nového hlasu v témže rozhovoru se ignoruje. Tato nastavení vyžadují podporu zvoleného způsobu volání.
Podporováno je volání funkcí. Model navrhne potřebnou akci, připojená aplikace ji provede a vrátí výsledek do dialogu. Díky tomu lze vést rozhovor na základě skutečných dat a pokračovat v něm po provedené operaci. Hlasový asistent může vycházet z výsledků nástrojů a přitom zachovávat kontext rozhovoru. Možnosti výrobce zahrnují také vestavěné vyhledávání na webu, pokud je poskytuje zvolená metoda. Vyhledávání na webu a volání funkcí nelze zapnout současně v jedné relaci.
Ve výchozím nastavení historie obsahuje 20 kol rozhovoru; dostupný rozsah je od jednoho do 50. Pro nahromaděný zvuk je stanoven limit 300 sekund; při překročení omezení se staré části historie odstraňují. Tento limit se liší od délky jednotlivé repliky: historie určuje, jaký předchozí materiál zůstává dostupný při pokračování dialogu.
Formální velikost kontextu je 40 960 tokenů. Maximální délka vstupu je 16 384 tokenů a výstupu 8192; stejné limity vstupu a výstupu jsou uvedeny pro režim uvažování, se samostatným limitem řetězce uvažování 1024 tokenů.
Pro streamovaný zvuk je určen jednokanálový PCM v 16bitovém formátu: na vstupu 16 kHz, na výstupu 24 kHz. Textová a zvuková data patří do jednoho rozhovoru. Vizuální vstup ani generování obrázků nejsou pro tento konkrétní model deklarovány; specializuje se na řeč, text a hlasovou interakci.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus je model Alibaba pro hlasový dialog v reálném čase. Přijímá řeč i text, odpovídá zvukem i textem a podporuje obousměrný rozhovor s přirozeným střídáním replik. Zvuk lze odesílat a přijímat po částech, takže interakce probíhá průběžně během rozhovoru.\n\n### Kdy účastník rozhovoru dokončil myšlenku\n\nK dispozici je několik způsobů určování hranic repliky: podle zvukové aktivity, podle významového dokončení a pomocí explicitního řízení. U výrobce se režim volí před odesláním prvního zvuku; změna po zahájení rozhovoru vyžaduje nové spojení. Podpora tohoto řízení závisí na zvolené metodě. Významový režim zohledňuje pauzy a výplňové výrazy: krátké zaváhání nemusí znamenat, že uživatel dokončil myšlenku. Další promluva uživatele může přerušit právě vytvářenou odpověď, aby rozhovor pokračoval s ohledem na následující repliku. Ve významovém režimu lze rozpoznávání zaměřit na řečový vzorek vybraného účastníka rozhovoru, aby je méně rušily cizí hlasy a hluk v pozadí.\n\nInstrukce určují roli asistenta a styl komunikace. Hlasový projev může zohledňovat tón, tempo a emoce; pro verzi 3.0 je k dispozici pět systémových hlasů a hlasy podle řečového vzorku. Model podporuje 11 jazyků včetně ruštiny a také varianty čínských dialektů uvedené výrobcem. U výrobce se hlas nastavuje při první aktualizaci nastavení relace; následné zadání nového hlasu v témže rozhovoru se ignoruje. Tato nastavení vyžadují podporu zvoleného způsobu volání.\n\n### Nástroje a historie rozhovoru\n\nPodporováno je volání funkcí. Model navrhne potřebnou akci, připojená aplikace ji provede a vrátí výsledek do dialogu. Díky tomu lze vést rozhovor na základě skutečných dat a pokračovat v něm po provedené operaci. Hlasový asistent může vycházet z výsledků nástrojů a přitom zachovávat kontext rozhovoru. Možnosti výrobce zahrnují také vestavěné vyhledávání na webu, pokud je poskytuje zvolená metoda. Vyhledávání na webu a volání funkcí nelze zapnout současně v jedné relaci.\n\nVe výchozím nastavení historie obsahuje 20 kol rozhovoru; dostupný rozsah je od jednoho do 50. Pro nahromaděný zvuk je stanoven limit 300 sekund; při překročení omezení se staré části historie odstraňují. Tento limit se liší od délky jednotlivé repliky: historie určuje, jaký předchozí materiál zůstává dostupný při pokračování dialogu.\n\n### Textový kontext a zvuk\n\nFormální velikost kontextu je 40 960 tokenů. Maximální délka vstupu je 16 384 tokenů a výstupu 8192; stejné limity vstupu a výstupu jsou uvedeny pro režim uvažování, se samostatným limitem řetězce uvažování 1024 tokenů.\n\nPro streamovaný zvuk je určen jednokanálový PCM v 16bitovém formátu: na vstupu 16 kHz, na výstupu 24 kHz. Textová a zvuková data patří do jednoho rozhovoru. Vizuální vstup ani generování obrázků nejsou pro tento konkrétní model deklarovány; specializuje se na řeč, text a hlasovou interakci.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "9a00f7ccf6212e14dc1de7fbfe58219822e3bdb394bf73f44a8600c63105c447", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "cs", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModel pro hlasový dialog v reálném čase, který přijímá řeč i text a odpovídá hlasem nebo textem. Je navržen pro přirozené tempo rozhovoru a práci s nástroji.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
Qwen-Audio-3.0-Realtime-Plus je model Alibaba pro hlasový dialog v reálném čase. Přijímá řeč i text, odpovídá zvukem i textem a podporuje obousměrný rozhovor s přirozeným střídáním replik. Zvuk lze odesílat a přijímat po částech, takže interakce probíhá průběžně během rozhovoru.
K dispozici je několik způsobů určování hranic repliky: podle zvukové aktivity, podle významového dokončení a pomocí explicitního řízení. U výrobce se režim volí před odesláním prvního zvuku; změna po zahájení rozhovoru vyžaduje nové spojení. Podpora tohoto řízení závisí na zvolené metodě. Významový režim zohledňuje pauzy a výplňové výrazy: krátké zaváhání nemusí znamenat, že uživatel dokončil myšlenku. Další promluva uživatele může přerušit právě vytvářenou odpověď, aby rozhovor pokračoval s ohledem na následující repliku. Ve významovém režimu lze rozpoznávání zaměřit na řečový vzorek vybraného účastníka rozhovoru, aby je méně rušily cizí hlasy a hluk v pozadí.
Instrukce určují roli asistenta a styl komunikace. Hlasový projev může zohledňovat tón, tempo a emoce; pro verzi 3.0 je k dispozici pět systémových hlasů a hlasy podle řečového vzorku. Model podporuje 11 jazyků včetně ruštiny a také varianty čínských dialektů uvedené výrobcem. U výrobce se hlas nastavuje při první aktualizaci nastavení relace; následné zadání nového hlasu v témže rozhovoru se ignoruje. Tato nastavení vyžadují podporu zvoleného způsobu volání.
Podporováno je volání funkcí. Model navrhne potřebnou akci, připojená aplikace ji provede a vrátí výsledek do dialogu. Díky tomu lze vést rozhovor na základě skutečných dat a pokračovat v něm po provedené operaci. Hlasový asistent může vycházet z výsledků nástrojů a přitom zachovávat kontext rozhovoru. Možnosti výrobce zahrnují také vestavěné vyhledávání na webu, pokud je poskytuje zvolená metoda. Vyhledávání na webu a volání funkcí nelze zapnout současně v jedné relaci.
Ve výchozím nastavení historie obsahuje 20 kol rozhovoru; dostupný rozsah je od jednoho do 50. Pro nahromaděný zvuk je stanoven limit 300 sekund; při překročení omezení se staré části historie odstraňují. Tento limit se liší od délky jednotlivé repliky: historie určuje, jaký předchozí materiál zůstává dostupný při pokračování dialogu.
Formální velikost kontextu je 40 960 tokenů. Maximální délka vstupu je 16 384 tokenů a výstupu 8192; stejné limity vstupu a výstupu jsou uvedeny pro režim uvažování, se samostatným limitem řetězce uvažování 1024 tokenů.
Pro streamovaný zvuk je určen jednokanálový PCM v 16bitovém formátu: na vstupu 16 kHz, na výstupu 24 kHz. Textová a zvuková data patří do jednoho rozhovoru. Vizuální vstup ani generování obrázků nejsou pro tento konkrétní model deklarovány; specializuje se na řeč, text a hlasovou interakci.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polequery.model | Typstring | PožadavekPovinné | Hodnoty a limity qwen-audio-3.0-realtime-plus | Výchozí— |
Polesession.input_audio_format | Typstring | PožadavekVolitelné | Hodnoty a limity pcm16, pcm | Výchozí— |
Polesession.output_audio_format | Typstring | PožadavekVolitelné | Hodnoty a limity pcm16, pcm | Výchozí— |
Polesession.instructions | Typstring | PožadavekVolitelné | Hodnoty a limity Limit platí pro: zvolená pravidla relace | Výchozí— |
Polesession.max_history_turns | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Limit platí pro: zvolená pravidla relace | Výchozí— |
Poleinput_audio_buffer.append.audio | Typbase64_string | PožadavekPovinné | Hodnoty a limity Vstupní obsah: PCM16 mono; vstup 16 kHz, výstup 24 kHz; neprázdná sudá délka v bajtech | Výchozí— |
realtime_text_audio
| Parametr | Kontrakt |
|---|---|
Parametrmaterial_types | Kontrakttext, audio |
Parametrrequired | Kontraktnull |
Parametroptional_controls | Kontraktnull |
Parametrcontent_type | KontraktWebSocket |
Životní cyklus: exact retained published method
Struktury metod a ID jsou přesné; schopnosti dodavatele jsou oddělené od připuštění požadavku.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nudálosti relace
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Pro každé skutečné ID odpovědi sestavte všechny vrácené zvukové přírůstky a textové výsledky či události.
Uchovejte skutečná ID relací, odpovědí a událostí i doklady.
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď426 · invalid_request_error | PodmínkaBez přepnutí na WebSocket | Další krokPoužijte klienta WebSocket s Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Použijte cesty metod uvedené výše.