Qwen-Audio-3.0-Realtime-Plus는 실시간 음성 대화를 위한 Alibaba 모델입니다. 음성과 텍스트를 입력받고 오디오와 텍스트로 응답하며, 자연스럽게 말을 주고받는 양방향 대화를 지원합니다. 소리를 나누어 전송하고 수신할 수 있어, 대화가 진행되는 동안 상호작용이 이어집니다.
발화의 끝을 판단하는 방식은 음성 활동, 의미상의 완결성, 명시적 제어 등 여러 가지입니다. 개발사 서비스에서는 첫 오디오를 전송하기 전에 모드를 선택하며, 대화를 시작한 뒤 변경하려면 새 연결이 필요합니다. 이러한 제어의 지원 여부는 선택한 호출 방식에 따라 달라집니다. 의미 기반 모드는 멈춤과 간투사를 고려하므로, 잠시 머뭇거렸다고 해서 반드시 사용자가 말을 마쳤다고 판단하지는 않습니다. 사용자가 새로 말하면 생성 중인 응답을 중단하고 다음 발화를 반영해 대화를 이어갈 수 있습니다. 의미 기반 모드에서는 선택한 상대방의 음성 샘플에 맞춰 인식을 유도하여 다른 사람의 목소리와 배경 소음에 덜 반응하도록 할 수 있습니다.
지시로 도우미의 역할과 대화 스타일을 정합니다. 음성 표현은 어조, 속도, 감정을 반영할 수 있습니다. 3.0 버전에는 시스템 음성 5개와 음성 샘플을 기반으로 한 목소리가 마련되어 있습니다. 모델은 러시아어를 포함한 11개 언어와 개발사가 명시한 중국어 방언 변형을 지원합니다. 개발사 서비스에서는 세션 설정을 처음 업데이트할 때 목소리를 지정하며, 같은 대화에서 이후에 전달한 새 목소리는 무시됩니다. 이러한 설정을 사용하려면 선택한 호출 방식이 이를 지원해야 합니다.
함수 호출을 지원합니다. 모델이 필요한 작업을 제시하면 연결된 애플리케이션이 이를 실행하고 결과를 대화로 반환합니다. 이를 통해 실제 데이터를 바탕으로 대화하고 작업 수행 후에도 이어갈 수 있습니다. 음성 도우미는 대화 맥락을 유지하면서 도구의 결과를 활용할 수 있습니다. 개발사의 기능에는 내장 웹 검색도 포함되지만, 선택한 호출 방식이 이를 제공해야 합니다. 한 세션에서 웹 검색과 함수 호출을 동시에 활성화할 수는 없습니다.
기본 대화 기록은 20턴이며, 1~50턴 범위를 설정할 수 있습니다. 누적 오디오는 300초로 제한되며, 제한을 넘으면 오래된 기록 부분이 삭제됩니다. 이는 개별 발화의 길이와 다릅니다. 기록은 대화를 이어갈 때 이전 자료 중 어느 부분을 사용할 수 있는지를 정합니다.
공식 컨텍스트 크기는 40 960토큰입니다. 최대 입력 길이는 16 384토큰, 출력은 8192토큰입니다. 추론 모드에도 같은 입력·출력 제한이 명시되어 있으며, 별도로 추론 과정은 1024토큰으로 제한됩니다.
스트리밍 오디오는 16비트 단일 채널 PCM을 사용합니다. 입력 샘플링 주파수는 16kHz, 출력은 24kHz입니다. 텍스트와 오디오 데이터는 하나의 대화에 속합니다. 이 특정 모델의 시각 입력과 이미지 출력은 발표되지 않았으며, 음성, 텍스트, 음성 상호작용에 특화되어 있습니다.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus는 실시간 음성 대화를 위한 Alibaba 모델입니다. 음성과 텍스트를 입력받고 오디오와 텍스트로 응답하며, 자연스럽게 말을 주고받는 양방향 대화를 지원합니다. 소리를 나누어 전송하고 수신할 수 있어, 대화가 진행되는 동안 상호작용이 이어집니다.\n\n### 상대방의 말이 끝났는지 판단하기\n\n발화의 끝을 판단하는 방식은 음성 활동, 의미상의 완결성, 명시적 제어 등 여러 가지입니다. 개발사 서비스에서는 첫 오디오를 전송하기 전에 모드를 선택하며, 대화를 시작한 뒤 변경하려면 새 연결이 필요합니다. 이러한 제어의 지원 여부는 선택한 호출 방식에 따라 달라집니다. 의미 기반 모드는 멈춤과 간투사를 고려하므로, 잠시 머뭇거렸다고 해서 반드시 사용자가 말을 마쳤다고 판단하지는 않습니다. 사용자가 새로 말하면 생성 중인 응답을 중단하고 다음 발화를 반영해 대화를 이어갈 수 있습니다. 의미 기반 모드에서는 선택한 상대방의 음성 샘플에 맞춰 인식을 유도하여 다른 사람의 목소리와 배경 소음에 덜 반응하도록 할 수 있습니다.\n\n지시로 도우미의 역할과 대화 스타일을 정합니다. 음성 표현은 어조, 속도, 감정을 반영할 수 있습니다. 3.0 버전에는 시스템 음성 5개와 음성 샘플을 기반으로 한 목소리가 마련되어 있습니다. 모델은 러시아어를 포함한 11개 언어와 개발사가 명시한 중국어 방언 변형을 지원합니다. 개발사 서비스에서는 세션 설정을 처음 업데이트할 때 목소리를 지정하며, 같은 대화에서 이후에 전달한 새 목소리는 무시됩니다. 이러한 설정을 사용하려면 선택한 호출 방식이 이를 지원해야 합니다.\n\n### 도구와 대화 기록\n\n함수 호출을 지원합니다. 모델이 필요한 작업을 제시하면 연결된 애플리케이션이 이를 실행하고 결과를 대화로 반환합니다. 이를 통해 실제 데이터를 바탕으로 대화하고 작업 수행 후에도 이어갈 수 있습니다. 음성 도우미는 대화 맥락을 유지하면서 도구의 결과를 활용할 수 있습니다. 개발사의 기능에는 내장 웹 검색도 포함되지만, 선택한 호출 방식이 이를 제공해야 합니다. 한 세션에서 웹 검색과 함수 호출을 동시에 활성화할 수는 없습니다.\n\n기본 대화 기록은 20턴이며, 1~50턴 범위를 설정할 수 있습니다. 누적 오디오는 300초로 제한되며, 제한을 넘으면 오래된 기록 부분이 삭제됩니다. 이는 개별 발화의 길이와 다릅니다. 기록은 대화를 이어갈 때 이전 자료 중 어느 부분을 사용할 수 있는지를 정합니다.\n\n### 텍스트 컨텍스트와 오디오\n\n공식 컨텍스트 크기는 40 960토큰입니다. 최대 입력 길이는 16 384토큰, 출력은 8192토큰입니다. 추론 모드에도 같은 입력·출력 제한이 명시되어 있으며, 별도로 추론 과정은 1024토큰으로 제한됩니다.\n\n스트리밍 오디오는 16비트 단일 채널 PCM을 사용합니다. 입력 샘플링 주파수는 16kHz, 출력은 24kHz입니다. 텍스트와 오디오 데이터는 하나의 대화에 속합니다. 이 특정 모델의 시각 입력과 이미지 출력은 발표되지 않았으며, 음성, 텍스트, 음성 상호작용에 특화되어 있습니다.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "f212893233ba211df59545f8c2aea416f4c83a827994748722dda56437db74bd", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "ko", "methods": [ { "html": "qwen-audio-3.0-realtime-plus음성과 텍스트를 입력받고 음성 또는 텍스트로 응답하는 실시간 음성 대화 모델입니다. 자연스러운 대화 속도와 도구를 이용한 상호작용을 고려해 설계되었습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Qwen-Audio-3.0-Realtime-Plus는 실시간 음성 대화를 위한 Alibaba 모델입니다. 음성과 텍스트를 입력받고 오디오와 텍스트로 응답하며, 자연스럽게 말을 주고받는 양방향 대화를 지원합니다. 소리를 나누어 전송하고 수신할 수 있어, 대화가 진행되는 동안 상호작용이 이어집니다.
발화의 끝을 판단하는 방식은 음성 활동, 의미상의 완결성, 명시적 제어 등 여러 가지입니다. 개발사 서비스에서는 첫 오디오를 전송하기 전에 모드를 선택하며, 대화를 시작한 뒤 변경하려면 새 연결이 필요합니다. 이러한 제어의 지원 여부는 선택한 호출 방식에 따라 달라집니다. 의미 기반 모드는 멈춤과 간투사를 고려하므로, 잠시 머뭇거렸다고 해서 반드시 사용자가 말을 마쳤다고 판단하지는 않습니다. 사용자가 새로 말하면 생성 중인 응답을 중단하고 다음 발화를 반영해 대화를 이어갈 수 있습니다. 의미 기반 모드에서는 선택한 상대방의 음성 샘플에 맞춰 인식을 유도하여 다른 사람의 목소리와 배경 소음에 덜 반응하도록 할 수 있습니다.
지시로 도우미의 역할과 대화 스타일을 정합니다. 음성 표현은 어조, 속도, 감정을 반영할 수 있습니다. 3.0 버전에는 시스템 음성 5개와 음성 샘플을 기반으로 한 목소리가 마련되어 있습니다. 모델은 러시아어를 포함한 11개 언어와 개발사가 명시한 중국어 방언 변형을 지원합니다. 개발사 서비스에서는 세션 설정을 처음 업데이트할 때 목소리를 지정하며, 같은 대화에서 이후에 전달한 새 목소리는 무시됩니다. 이러한 설정을 사용하려면 선택한 호출 방식이 이를 지원해야 합니다.
함수 호출을 지원합니다. 모델이 필요한 작업을 제시하면 연결된 애플리케이션이 이를 실행하고 결과를 대화로 반환합니다. 이를 통해 실제 데이터를 바탕으로 대화하고 작업 수행 후에도 이어갈 수 있습니다. 음성 도우미는 대화 맥락을 유지하면서 도구의 결과를 활용할 수 있습니다. 개발사의 기능에는 내장 웹 검색도 포함되지만, 선택한 호출 방식이 이를 제공해야 합니다. 한 세션에서 웹 검색과 함수 호출을 동시에 활성화할 수는 없습니다.
기본 대화 기록은 20턴이며, 1~50턴 범위를 설정할 수 있습니다. 누적 오디오는 300초로 제한되며, 제한을 넘으면 오래된 기록 부분이 삭제됩니다. 이는 개별 발화의 길이와 다릅니다. 기록은 대화를 이어갈 때 이전 자료 중 어느 부분을 사용할 수 있는지를 정합니다.
공식 컨텍스트 크기는 40 960토큰입니다. 최대 입력 길이는 16 384토큰, 출력은 8192토큰입니다. 추론 모드에도 같은 입력·출력 제한이 명시되어 있으며, 별도로 추론 과정은 1024토큰으로 제한됩니다.
스트리밍 오디오는 16비트 단일 채널 PCM을 사용합니다. 입력 샘플링 주파수는 16kHz, 출력은 24kHz입니다. 텍스트와 오디오 데이터는 하나의 대화에 속합니다. 이 특정 모델의 시각 입력과 이미지 출력은 발표되지 않았으며, 음성, 텍스트, 음성 상호작용에 특화되어 있습니다.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드query.model | 유형string | 요건필수 | 값과 한도 qwen-audio-3.0-realtime-plus | 기본값— |
필드session.input_audio_format | 유형string | 요건선택 사항 | 값과 한도 pcm16, pcm | 기본값— |
필드session.output_audio_format | 유형string | 요건선택 사항 | 값과 한도 pcm16, pcm | 기본값— |
필드session.instructions | 유형string | 요건선택 사항 | 값과 한도 한도 적용 대상: 선택한 세션 정책 | 기본값— |
필드session.max_history_turns | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 한도 적용 대상: 선택한 세션 정책 | 기본값— |
필드input_audio_buffer.append.audio | 유형base64_string | 요건필수 | 값과 한도 입력 콘텐츠: PCM16 모노; 입력 16 kHz, 출력 24 kHz; 비어 있지 않은 짝수 바이트 길이 | 기본값— |
realtime_text_audio
| 매개변수 | 명세 |
|---|---|
매개변수material_types | 명세text, audio |
매개변수required | 명세null |
매개변수optional_controls | 명세null |
매개변수content_type | 명세WebSocket |
수명 주기: exact retained published method
메서드 형식과 ID는 정확합니다. 공급자의 기능 지원과 요청 수락은 별개입니다.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n세션 이벤트
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 실제 응답 ID에 대해 반환된 모든 오디오 델타와 텍스트/이벤트 결과를 조합하세요.
실제 세션/응답/이벤트 ID와 처리 기록을 보존하세요.
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답426 · invalid_request_error | 조건WebSocket 업그레이드 없음 | 다음 단계Upgrade: websocket을 사용하는 WebSocket 클라이언트를 사용하세요. |
Ailoot qwen-audio-3.0-realtime-plus
위에 표시된 메서드 경로를 사용하세요.