Qwen-Audio-3.0-Realtime-Plus je model družbe Alibaba za glasovni pogovor v živo. Sprejema govor in besedilo, odgovarja z zvokom in besedilom ter podpira dvosmeren pogovor z naravnim izmenjavanjem replik. Zvok je mogoče pošiljati in prejemati po delih, zato interakcija poteka med samim pogovorom.
Na voljo je več načinov določanja meja replike: glede na zvočno aktivnost, pomensko zaključenost in z izrecnim upravljanjem. Pri proizvajalcu se način izbere pred pošiljanjem prvega zvoka; za spremembo po začetku pogovora je potrebna nova povezava. Podpora za to upravljanje je odvisna od izbranega načina dostopa. Pomenski način upošteva premore in govorna mašila: kratko oklevanje še ne pomeni nujno, da je uporabnik končal misel. Nov uporabnikov govor lahko prekine nastajajoči odgovor, da se pogovor nadaljuje ob upoštevanju naslednje replike. V pomenskem načinu lahko prepoznavanje usmerite na govorni vzorec izbranega sogovornika, da se manj odziva na druge glasove in hrup v ozadju.
Navodila določajo vlogo pomočnika in slog pogovora. Glasovna izvedba lahko upošteva ton, tempo in čustvo; za različico 3.0 je predvidenih pet sistemskih glasov in glasovi na podlagi govornega vzorca. Model podpira 11 jezikov, vključno z ruščino, ter različice kitajskih narečij, ki jih navaja proizvajalec. Pri proizvajalcu se glas določi ob prvi posodobitvi nastavitev seje; poznejše pošiljanje novega glasu v istem pogovoru se prezre. Te nastavitve zahtevajo podporo izbranega načina dostopa.
Podprto je klicanje funkcij. Model oblikuje potrebno dejanje, povezana aplikacija pa ga izvede in rezultat vrne v pogovor. Tako lahko pogovor temelji na dejanskih podatkih in se nadaljuje po izvedeni operaciji. Glasovni pomočnik lahko uporablja rezultate orodij, pri tem pa ohranja kontekst pogovora. Zmožnosti proizvajalca vključujejo tudi vgrajeno spletno iskanje, če ga omogoča izbrani način dostopa. Spletnega iskanja in klicev funkcij ni mogoče hkrati vključiti v eni seji.
Zgodovina privzeto vsebuje 20 korakov pogovora, predviden pa je razpon od enega do 50. Za nakopičeni zvok velja omejitev 300 sekund; ob prekoračitvi omejitev se starejši deli zgodovine odstranijo. To se razlikuje od trajanja posamezne replike: zgodovina določa, katero prejšnje gradivo ostane na voljo pri nadaljevanju pogovora.
Formalni kontekst obsega 40 960 tokenov. Največja dolžina vhoda je 16 384 tokenov, izhoda pa 8192; enaki vhodni in izhodni omejitvi sta navedeni za način sklepanja, z ločeno omejitvijo verige sklepanja na 1024 tokenov.
Za pretočni zvok je predviden enokanalni PCM s 16-bitnim zapisom: na vhodu 16 kHz, na izhodu pa 24 kHz. Besedilni in zvočni podatki pripadajo istemu pogovoru. Za ta konkretni model vizualni vhod in izhod v obliki slik nista navedena; specializiran je za govor, besedilo in glasovno interakcijo.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus je model družbe Alibaba za glasovni pogovor v živo. Sprejema govor in besedilo, odgovarja z zvokom in besedilom ter podpira dvosmeren pogovor z naravnim izmenjavanjem replik. Zvok je mogoče pošiljati in prejemati po delih, zato interakcija poteka med samim pogovorom.\n\n### Kdaj sogovornik konča misel\n\nNa voljo je več načinov določanja meja replike: glede na zvočno aktivnost, pomensko zaključenost in z izrecnim upravljanjem. Pri proizvajalcu se način izbere pred pošiljanjem prvega zvoka; za spremembo po začetku pogovora je potrebna nova povezava. Podpora za to upravljanje je odvisna od izbranega načina dostopa. Pomenski način upošteva premore in govorna mašila: kratko oklevanje še ne pomeni nujno, da je uporabnik končal misel. Nov uporabnikov govor lahko prekine nastajajoči odgovor, da se pogovor nadaljuje ob upoštevanju naslednje replike. V pomenskem načinu lahko prepoznavanje usmerite na govorni vzorec izbranega sogovornika, da se manj odziva na druge glasove in hrup v ozadju.\n\nNavodila določajo vlogo pomočnika in slog pogovora. Glasovna izvedba lahko upošteva ton, tempo in čustvo; za različico 3.0 je predvidenih pet sistemskih glasov in glasovi na podlagi govornega vzorca. Model podpira 11 jezikov, vključno z ruščino, ter različice kitajskih narečij, ki jih navaja proizvajalec. Pri proizvajalcu se glas določi ob prvi posodobitvi nastavitev seje; poznejše pošiljanje novega glasu v istem pogovoru se prezre. Te nastavitve zahtevajo podporo izbranega načina dostopa.\n\n### Orodja in zgodovina pogovora\n\nPodprto je klicanje funkcij. Model oblikuje potrebno dejanje, povezana aplikacija pa ga izvede in rezultat vrne v pogovor. Tako lahko pogovor temelji na dejanskih podatkih in se nadaljuje po izvedeni operaciji. Glasovni pomočnik lahko uporablja rezultate orodij, pri tem pa ohranja kontekst pogovora. Zmožnosti proizvajalca vključujejo tudi vgrajeno spletno iskanje, če ga omogoča izbrani način dostopa. Spletnega iskanja in klicev funkcij ni mogoče hkrati vključiti v eni seji.\n\nZgodovina privzeto vsebuje 20 korakov pogovora, predviden pa je razpon od enega do 50. Za nakopičeni zvok velja omejitev 300 sekund; ob prekoračitvi omejitev se starejši deli zgodovine odstranijo. To se razlikuje od trajanja posamezne replike: zgodovina določa, katero prejšnje gradivo ostane na voljo pri nadaljevanju pogovora.\n\n### Besedilni kontekst in zvok\n\nFormalni kontekst obsega 40 960 tokenov. Največja dolžina vhoda je 16 384 tokenov, izhoda pa 8192; enaki vhodni in izhodni omejitvi sta navedeni za način sklepanja, z ločeno omejitvijo verige sklepanja na 1024 tokenov.\n\nZa pretočni zvok je predviden enokanalni PCM s 16-bitnim zapisom: na vhodu 16 kHz, na izhodu pa 24 kHz. Besedilni in zvočni podatki pripadajo istemu pogovoru. Za ta konkretni model vizualni vhod in izhod v obliki slik nista navedena; specializiran je za govor, besedilo in glasovno interakcijo.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "a584087c7453b5425fe5e97be1c9b07178df4dce14edc12282f8f68ccd2c3228", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "sl", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModel za glasovni pogovor v živo, ki sprejema govor in besedilo ter odgovarja z glasom ali besedilom. Zasnovan je za naraven tempo pogovora in uporabo orodij.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Qwen-Audio-3.0-Realtime-Plus je model družbe Alibaba za glasovni pogovor v živo. Sprejema govor in besedilo, odgovarja z zvokom in besedilom ter podpira dvosmeren pogovor z naravnim izmenjavanjem replik. Zvok je mogoče pošiljati in prejemati po delih, zato interakcija poteka med samim pogovorom.
Na voljo je več načinov določanja meja replike: glede na zvočno aktivnost, pomensko zaključenost in z izrecnim upravljanjem. Pri proizvajalcu se način izbere pred pošiljanjem prvega zvoka; za spremembo po začetku pogovora je potrebna nova povezava. Podpora za to upravljanje je odvisna od izbranega načina dostopa. Pomenski način upošteva premore in govorna mašila: kratko oklevanje še ne pomeni nujno, da je uporabnik končal misel. Nov uporabnikov govor lahko prekine nastajajoči odgovor, da se pogovor nadaljuje ob upoštevanju naslednje replike. V pomenskem načinu lahko prepoznavanje usmerite na govorni vzorec izbranega sogovornika, da se manj odziva na druge glasove in hrup v ozadju.
Navodila določajo vlogo pomočnika in slog pogovora. Glasovna izvedba lahko upošteva ton, tempo in čustvo; za različico 3.0 je predvidenih pet sistemskih glasov in glasovi na podlagi govornega vzorca. Model podpira 11 jezikov, vključno z ruščino, ter različice kitajskih narečij, ki jih navaja proizvajalec. Pri proizvajalcu se glas določi ob prvi posodobitvi nastavitev seje; poznejše pošiljanje novega glasu v istem pogovoru se prezre. Te nastavitve zahtevajo podporo izbranega načina dostopa.
Podprto je klicanje funkcij. Model oblikuje potrebno dejanje, povezana aplikacija pa ga izvede in rezultat vrne v pogovor. Tako lahko pogovor temelji na dejanskih podatkih in se nadaljuje po izvedeni operaciji. Glasovni pomočnik lahko uporablja rezultate orodij, pri tem pa ohranja kontekst pogovora. Zmožnosti proizvajalca vključujejo tudi vgrajeno spletno iskanje, če ga omogoča izbrani način dostopa. Spletnega iskanja in klicev funkcij ni mogoče hkrati vključiti v eni seji.
Zgodovina privzeto vsebuje 20 korakov pogovora, predviden pa je razpon od enega do 50. Za nakopičeni zvok velja omejitev 300 sekund; ob prekoračitvi omejitev se starejši deli zgodovine odstranijo. To se razlikuje od trajanja posamezne replike: zgodovina določa, katero prejšnje gradivo ostane na voljo pri nadaljevanju pogovora.
Formalni kontekst obsega 40 960 tokenov. Največja dolžina vhoda je 16 384 tokenov, izhoda pa 8192; enaki vhodni in izhodni omejitvi sta navedeni za način sklepanja, z ločeno omejitvijo verige sklepanja na 1024 tokenov.
Za pretočni zvok je predviden enokanalni PCM s 16-bitnim zapisom: na vhodu 16 kHz, na izhodu pa 24 kHz. Besedilni in zvočni podatki pripadajo istemu pogovoru. Za ta konkretni model vizualni vhod in izhod v obliki slik nista navedena; specializiran je za govor, besedilo in glasovno interakcijo.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljequery.model | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve qwen-audio-3.0-realtime-plus | Privzeto— |
Poljesession.input_audio_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve pcm16, pcm | Privzeto— |
Poljesession.output_audio_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve pcm16, pcm | Privzeto— |
Poljesession.instructions | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Omejitev velja za: izbrani pravilnik seje | Privzeto— |
Poljesession.max_history_turns | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Omejitev velja za: izbrani pravilnik seje | Privzeto— |
Poljeinput_audio_buffer.append.audio | Vrstabase64_string | ZahtevaObvezno | Vrednosti in omejitve Vhodna vsebina: PCM16 mono; vhod 16 kHz, izhod 24 kHz; neprazna soda dolžina v bajtih | Privzeto— |
realtime_text_audio
| Parameter | Specifikacija |
|---|---|
Parametermaterial_types | Specifikacijatext, audio |
Parameterrequired | Specifikacijanull |
Parameteroptional_controls | Specifikacijanull |
Parametercontent_type | SpecifikacijaWebSocket |
Življenjski cikel: exact retained published method
Strukture metod in ID so natančno določeni; zmožnost ponudnika je ločena od sprejema zahteve.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\ndogodki seje
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Za vsak dejanski ID odgovora združite vse vrnjene zvočne prirastke ter besedilne rezultate in rezultate dogodkov.
Ohranite dejanske ID-je seje/odgovora/dogodkov in dokazila.
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor426 · invalid_request_error | PogojBrez nadgradnje WebSocket | Naslednji korakUporabite odjemalca WebSocket z Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Uporabite zgoraj navedene poti metod.