Qwen-Audio-3.0-Realtime-Plus är en modell från Alibaba för röstsamtal i realtid. Den tar emot tal och text, svarar med ljud och text och stöder samtal i båda riktningarna med naturlig turtagning. Ljud kan skickas och tas emot i delar, så att samspelet utvecklas under samtalets gång.
Det finns flera sätt att avgöra gränserna för en replik: ljudaktivitet, semantisk avslutning och uttrycklig styrning. Hos tillverkaren väljs läget innan det första ljudet skickas. För att ändra det efter att samtalet har börjat krävs en ny anslutning. Stödet för denna styrning beror på den valda metoden. Det semantiska läget tar hänsyn till pauser och utfyllnadsord: en kort tvekan behöver inte betyda att användaren har talat färdigt. Användarens nya tal kan avbryta ett svar som håller på att skapas så att samtalet fortsätter med hänsyn till nästa replik. I det semantiska läget går det att rikta igenkänningen mot ett röstprov från den valda samtalspartnern för att minska störningar från andra röster och bakgrundsljud.
Instruktionerna anger assistentens roll och samtalsstil. Röstuttrycket kan ta hänsyn till ton, tempo och känsla. Version 3.0 har fem systemröster och röster baserade på röstprov. Modellen stöder 11 språk, inklusive ryska, samt de kinesiska dialektvarianter som tillverkaren anger. Hos tillverkaren anges rösten vid den första uppdateringen av sessionsinställningarna. Om en ny röst sedan skickas i samma samtal ignoreras den. Dessa inställningar kräver stöd i det valda anropssättet.
Funktionsanrop stöds. Modellen formulerar den åtgärd som behövs, den anslutna applikationen utför den och återför resultatet till dialogen. Det gör det möjligt att bygga samtalet kring faktiska uppgifter och fortsätta efter den utförda åtgärden. Röstassistenten kan använda verktygsresultaten och samtidigt behålla samtalets sammanhang. Tillverkarens möjligheter omfattar även inbyggd webbsökning om den valda metoden tillhandahåller den. Webbsökning och funktionsanrop kan inte aktiveras samtidigt i samma session.
Som standard innehåller historiken 20 samtalsturer, med ett tillåtet intervall från en till 50. För samlat ljud finns en gräns på 300 sekunder. Äldre delar av historiken tas bort när gränserna överskrids. Detta skiljer sig från en enskild repliks längd: historiken avgör vilket tidigare material som finns kvar när dialogen fortsätter.
Den formella kontexten är 40 960 token. Maximal indatalängd är 16 384 token och maximal utdatalängd 8192. Samma in- och utdatagränser anges för resonemangsläget, med en separat gräns för resonemangskedjan på 1024 token.
Strömmande ljud använder enkanalig PCM med 16-bitars representation: 16 kHz på ingången och 24 kHz på utgången. Text och ljud hör till samma samtal. Visuell indata och generering av bilder har inte uppgetts för just den här modellen. Dess specialisering är tal, text och röstbaserad interaktion.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus är en modell från Alibaba för röstsamtal i realtid. Den tar emot tal och text, svarar med ljud och text och stöder samtal i båda riktningarna med naturlig turtagning. Ljud kan skickas och tas emot i delar, så att samspelet utvecklas under samtalets gång.\n\n### När samtalspartnern har talat färdigt\n\nDet finns flera sätt att avgöra gränserna för en replik: ljudaktivitet, semantisk avslutning och uttrycklig styrning. Hos tillverkaren väljs läget innan det första ljudet skickas. För att ändra det efter att samtalet har börjat krävs en ny anslutning. Stödet för denna styrning beror på den valda metoden. Det semantiska läget tar hänsyn till pauser och utfyllnadsord: en kort tvekan behöver inte betyda att användaren har talat färdigt. Användarens nya tal kan avbryta ett svar som håller på att skapas så att samtalet fortsätter med hänsyn till nästa replik. I det semantiska läget går det att rikta igenkänningen mot ett röstprov från den valda samtalspartnern för att minska störningar från andra röster och bakgrundsljud.\n\nInstruktionerna anger assistentens roll och samtalsstil. Röstuttrycket kan ta hänsyn till ton, tempo och känsla. Version 3.0 har fem systemröster och röster baserade på röstprov. Modellen stöder 11 språk, inklusive ryska, samt de kinesiska dialektvarianter som tillverkaren anger. Hos tillverkaren anges rösten vid den första uppdateringen av sessionsinställningarna. Om en ny röst sedan skickas i samma samtal ignoreras den. Dessa inställningar kräver stöd i det valda anropssättet.\n\n### Verktyg och samtalshistorik\n\nFunktionsanrop stöds. Modellen formulerar den åtgärd som behövs, den anslutna applikationen utför den och återför resultatet till dialogen. Det gör det möjligt att bygga samtalet kring faktiska uppgifter och fortsätta efter den utförda åtgärden. Röstassistenten kan använda verktygsresultaten och samtidigt behålla samtalets sammanhang. Tillverkarens möjligheter omfattar även inbyggd webbsökning om den valda metoden tillhandahåller den. Webbsökning och funktionsanrop kan inte aktiveras samtidigt i samma session.\n\nSom standard innehåller historiken 20 samtalsturer, med ett tillåtet intervall från en till 50. För samlat ljud finns en gräns på 300 sekunder. Äldre delar av historiken tas bort när gränserna överskrids. Detta skiljer sig från en enskild repliks längd: historiken avgör vilket tidigare material som finns kvar när dialogen fortsätter.\n\n### Textkontext och ljud\n\nDen formella kontexten är 40 960 token. Maximal indatalängd är 16 384 token och maximal utdatalängd 8192. Samma in- och utdatagränser anges för resonemangsläget, med en separat gräns för resonemangskedjan på 1024 token.\n\nStrömmande ljud använder enkanalig PCM med 16-bitars representation: 16 kHz på ingången och 24 kHz på utgången. Text och ljud hör till samma samtal. Visuell indata och generering av bilder har inte uppgetts för just den här modellen. Dess specialisering är tal, text och röstbaserad interaktion.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "5bbc84ea0fc35677bbef243ef45d6c5d126aff970855ba26bade04866de7c0b4", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "sv", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModell för röstsamtal i realtid som tar emot tal och text och svarar med röst eller text. Utformad för ett naturligt samtalstempo och samverkan med verktyg.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
Qwen-Audio-3.0-Realtime-Plus är en modell från Alibaba för röstsamtal i realtid. Den tar emot tal och text, svarar med ljud och text och stöder samtal i båda riktningarna med naturlig turtagning. Ljud kan skickas och tas emot i delar, så att samspelet utvecklas under samtalets gång.
Det finns flera sätt att avgöra gränserna för en replik: ljudaktivitet, semantisk avslutning och uttrycklig styrning. Hos tillverkaren väljs läget innan det första ljudet skickas. För att ändra det efter att samtalet har börjat krävs en ny anslutning. Stödet för denna styrning beror på den valda metoden. Det semantiska läget tar hänsyn till pauser och utfyllnadsord: en kort tvekan behöver inte betyda att användaren har talat färdigt. Användarens nya tal kan avbryta ett svar som håller på att skapas så att samtalet fortsätter med hänsyn till nästa replik. I det semantiska läget går det att rikta igenkänningen mot ett röstprov från den valda samtalspartnern för att minska störningar från andra röster och bakgrundsljud.
Instruktionerna anger assistentens roll och samtalsstil. Röstuttrycket kan ta hänsyn till ton, tempo och känsla. Version 3.0 har fem systemröster och röster baserade på röstprov. Modellen stöder 11 språk, inklusive ryska, samt de kinesiska dialektvarianter som tillverkaren anger. Hos tillverkaren anges rösten vid den första uppdateringen av sessionsinställningarna. Om en ny röst sedan skickas i samma samtal ignoreras den. Dessa inställningar kräver stöd i det valda anropssättet.
Funktionsanrop stöds. Modellen formulerar den åtgärd som behövs, den anslutna applikationen utför den och återför resultatet till dialogen. Det gör det möjligt att bygga samtalet kring faktiska uppgifter och fortsätta efter den utförda åtgärden. Röstassistenten kan använda verktygsresultaten och samtidigt behålla samtalets sammanhang. Tillverkarens möjligheter omfattar även inbyggd webbsökning om den valda metoden tillhandahåller den. Webbsökning och funktionsanrop kan inte aktiveras samtidigt i samma session.
Som standard innehåller historiken 20 samtalsturer, med ett tillåtet intervall från en till 50. För samlat ljud finns en gräns på 300 sekunder. Äldre delar av historiken tas bort när gränserna överskrids. Detta skiljer sig från en enskild repliks längd: historiken avgör vilket tidigare material som finns kvar när dialogen fortsätter.
Den formella kontexten är 40 960 token. Maximal indatalängd är 16 384 token och maximal utdatalängd 8192. Samma in- och utdatagränser anges för resonemangsläget, med en separat gräns för resonemangskedjan på 1024 token.
Strömmande ljud använder enkanalig PCM med 16-bitars representation: 16 kHz på ingången och 24 kHz på utgången. Text och ljud hör till samma samtal. Visuell indata och generering av bilder har inte uppgetts för just den här modellen. Dess specialisering är tal, text och röstbaserad interaktion.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältquery.model | Typstring | KravObligatoriskt | Värden & gränser qwen-audio-3.0-realtime-plus | Standard— |
Fältsession.input_audio_format | Typstring | KravValfritt | Värden & gränser pcm16, pcm | Standard— |
Fältsession.output_audio_format | Typstring | KravValfritt | Värden & gränser pcm16, pcm | Standard— |
Fältsession.instructions | Typstring | KravValfritt | Värden & gränser Gränsen gäller för: vald sessionspolicy | Standard— |
Fältsession.max_history_turns | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Gränsen gäller för: vald sessionspolicy | Standard— |
Fältinput_audio_buffer.append.audio | Typbase64_string | KravObligatoriskt | Värden & gränser Indatainnehåll: PCM16 mono; 16 kHz indata, 24 kHz utdata; icke-tom och jämn bytelängd | Standard— |
realtime_text_audio
| Parameter | Avtal |
|---|---|
Parametermaterial_types | Avtaltext, audio |
Parameterrequired | Avtalnull |
Parameteroptional_controls | Avtalnull |
Parametercontent_type | AvtalWebSocket |
Livscykel: exact retained published method
Metodernas strukturer och ID:n är exakta; leverantörens funktioner är åtskilda från att begäran tillåts.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nsessionshändelser
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Sammanfoga alla returnerade ljuddelta och alla text- eller händelseresultat för varje faktiskt svars-ID.
Behåll faktiska sessions-, svars- och händelse-ID:n samt kvittenser.
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar426 · invalid_request_error | VillkorIngen WebSocket-uppgradering | Nästa stegAnvänd en WebSocket-klient med Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Använd metodsökvägarna som visas ovan.