{ "aboutHtml": "

Qwen-Audio-3.0-Realtime-Plus é um modelo da Alibaba para diálogo de voz em tempo real. Recebe fala e texto, responde com áudio e texto e suporta uma conversa bidirecional com uma troca natural de intervenções. O som pode ser enviado e recebido por partes, permitindo que a interação evolua durante a conversa.

Quando o interlocutor termina a ideia

Estão previstas várias formas de determinar os limites de uma intervenção: pela atividade sonora, pela conclusão semântica e por controlo explícito. No fabricante, o modo é escolhido antes de enviar o primeiro áudio; para o alterar depois de começar a conversa, é necessária uma nova ligação. O suporte deste controlo depende do método selecionado. O modo semântico considera pausas e hesitações: uma breve dúvida não significa necessariamente que o utilizador terminou a ideia. Uma nova intervenção do utilizador pode interromper a resposta em formação, permitindo continuar a conversa com a intervenção seguinte em conta. No modo semântico, o reconhecimento pode ser orientado por uma amostra de fala do interlocutor escolhido, para reduzir a influência de outras vozes e do ruído de fundo.

As instruções definem o papel do assistente e o estilo de comunicação. A expressão vocal pode considerar o tom, o ritmo e a emoção; a versão 3.0 prevê cinco vozes de sistema e vozes baseadas numa amostra de fala. O modelo suporta 11 línguas, incluindo russo, bem como as variantes dialetais chinesas indicadas pelo fabricante. No fabricante, a voz é definida na primeira atualização das configurações da sessão; o envio posterior de outra voz na mesma conversa é ignorado. Estas configurações exigem suporte do meio de acesso escolhido.

Ferramentas e histórico da conversa

É suportada a chamada de funções. O modelo formula a ação necessária, a aplicação ligada executa-a e devolve o resultado ao diálogo. Isto permite construir a conversa em torno de dados factuais e continuá-la após a operação realizada. Um assistente de voz pode apoiar-se nos resultados das ferramentas, mantendo o contexto da conversa. As capacidades do fabricante incluem também pesquisa na Web integrada, se esta for disponibilizada pelo método escolhido. A pesquisa na Web e as chamadas de funções não podem ser ativadas em simultâneo na mesma sessão.

Por predefinição, o histórico contém 20 turnos de conversa, estando previsto um intervalo entre um e 50. Para o áudio acumulado, existe um limite de 300 segundos; as partes mais antigas do histórico são eliminadas quando os limites são ultrapassados. Isto é diferente da duração de uma intervenção individual: o histórico determina que material anterior continua disponível quando o diálogo prossegue.

Contexto textual e som

O contexto formal é de 40 960 tokens. O comprimento máximo da entrada é de 16 384 tokens e o da saída é de 8192; os mesmos limites de entrada e saída são indicados para o modo de raciocínio, com um limite separado de 1024 tokens para a cadeia de raciocínio.

Para áudio em streaming, está previsto PCM de canal único com representação de 16 bits: 16 kHz na entrada e 24 kHz na saída. Os dados textuais e de áudio pertencem à mesma conversa. Não estão anunciadas entrada visual nem geração de imagens para este modelo específico; a sua especialização é fala, texto e interação por voz.

", "aboutText": "Qwen-Audio-3.0-Realtime-Plus é um modelo da Alibaba para diálogo de voz em tempo real. Recebe fala e texto, responde com áudio e texto e suporta uma conversa bidirecional com uma troca natural de intervenções. O som pode ser enviado e recebido por partes, permitindo que a interação evolua durante a conversa.\n\n### Quando o interlocutor termina a ideia\n\nEstão previstas várias formas de determinar os limites de uma intervenção: pela atividade sonora, pela conclusão semântica e por controlo explícito. No fabricante, o modo é escolhido antes de enviar o primeiro áudio; para o alterar depois de começar a conversa, é necessária uma nova ligação. O suporte deste controlo depende do método selecionado. O modo semântico considera pausas e hesitações: uma breve dúvida não significa necessariamente que o utilizador terminou a ideia. Uma nova intervenção do utilizador pode interromper a resposta em formação, permitindo continuar a conversa com a intervenção seguinte em conta. No modo semântico, o reconhecimento pode ser orientado por uma amostra de fala do interlocutor escolhido, para reduzir a influência de outras vozes e do ruído de fundo.\n\nAs instruções definem o papel do assistente e o estilo de comunicação. A expressão vocal pode considerar o tom, o ritmo e a emoção; a versão 3.0 prevê cinco vozes de sistema e vozes baseadas numa amostra de fala. O modelo suporta 11 línguas, incluindo russo, bem como as variantes dialetais chinesas indicadas pelo fabricante. No fabricante, a voz é definida na primeira atualização das configurações da sessão; o envio posterior de outra voz na mesma conversa é ignorado. Estas configurações exigem suporte do meio de acesso escolhido.\n\n### Ferramentas e histórico da conversa\n\nÉ suportada a chamada de funções. O modelo formula a ação necessária, a aplicação ligada executa-a e devolve o resultado ao diálogo. Isto permite construir a conversa em torno de dados factuais e continuá-la após a operação realizada. Um assistente de voz pode apoiar-se nos resultados das ferramentas, mantendo o contexto da conversa. As capacidades do fabricante incluem também pesquisa na Web integrada, se esta for disponibilizada pelo método escolhido. A pesquisa na Web e as chamadas de funções não podem ser ativadas em simultâneo na mesma sessão.\n\nPor predefinição, o histórico contém 20 turnos de conversa, estando previsto um intervalo entre um e 50. Para o áudio acumulado, existe um limite de 300 segundos; as partes mais antigas do histórico são eliminadas quando os limites são ultrapassados. Isto é diferente da duração de uma intervenção individual: o histórico determina que material anterior continua disponível quando o diálogo prossegue.\n\n### Contexto textual e som\n\nO contexto formal é de 40 960 tokens. O comprimento máximo da entrada é de 16 384 tokens e o da saída é de 8192; os mesmos limites de entrada e saída são indicados para o modo de raciocínio, com um limite separado de 1024 tokens para a cadeia de raciocínio.\n\nPara áudio em streaming, está previsto PCM de canal único com representação de 16 bits: 16 kHz na entrada e 24 kHz na saída. Os dados textuais e de áudio pertencem à mesma conversa. Não estão anunciadas entrada visual nem geração de imagens para este modelo específico; a sua especialização é fala, texto e interação por voz.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "7a4e1eb67972f528ed12c6fdd559bec055734869548b33a1efb068629fc64a51", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "pt-pt", "methods": [ { "html": "
Al

qwen-audio-3.0-realtime-plus

Alibaba /qwen-audio-3.0-realtime-plus

Introdução

Modelo de diálogo de voz em tempo real que recebe fala e texto e responde por voz ou texto. Concebido para um ritmo natural de conversa e para interação com ferramentas.

Entradas aceites
Texto · Áudio
Resultados
Texto · Áudio
Sobre o modelo

Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.

Qwen-Audio-3.0-Realtime-Plus é um modelo da Alibaba para diálogo de voz em tempo real. Recebe fala e texto, responde com áudio e texto e suporta uma conversa bidirecional com uma troca natural de intervenções. O som pode ser enviado e recebido por partes, permitindo que a interação evolua durante a conversa.

Quando o interlocutor termina a ideia

Estão previstas várias formas de determinar os limites de uma intervenção: pela atividade sonora, pela conclusão semântica e por controlo explícito. No fabricante, o modo é escolhido antes de enviar o primeiro áudio; para o alterar depois de começar a conversa, é necessária uma nova ligação. O suporte deste controlo depende do método selecionado. O modo semântico considera pausas e hesitações: uma breve dúvida não significa necessariamente que o utilizador terminou a ideia. Uma nova intervenção do utilizador pode interromper a resposta em formação, permitindo continuar a conversa com a intervenção seguinte em conta. No modo semântico, o reconhecimento pode ser orientado por uma amostra de fala do interlocutor escolhido, para reduzir a influência de outras vozes e do ruído de fundo.

As instruções definem o papel do assistente e o estilo de comunicação. A expressão vocal pode considerar o tom, o ritmo e a emoção; a versão 3.0 prevê cinco vozes de sistema e vozes baseadas numa amostra de fala. O modelo suporta 11 línguas, incluindo russo, bem como as variantes dialetais chinesas indicadas pelo fabricante. No fabricante, a voz é definida na primeira atualização das configurações da sessão; o envio posterior de outra voz na mesma conversa é ignorado. Estas configurações exigem suporte do meio de acesso escolhido.

Ferramentas e histórico da conversa

É suportada a chamada de funções. O modelo formula a ação necessária, a aplicação ligada executa-a e devolve o resultado ao diálogo. Isto permite construir a conversa em torno de dados factuais e continuá-la após a operação realizada. Um assistente de voz pode apoiar-se nos resultados das ferramentas, mantendo o contexto da conversa. As capacidades do fabricante incluem também pesquisa na Web integrada, se esta for disponibilizada pelo método escolhido. A pesquisa na Web e as chamadas de funções não podem ser ativadas em simultâneo na mesma sessão.

Por predefinição, o histórico contém 20 turnos de conversa, estando previsto um intervalo entre um e 50. Para o áudio acumulado, existe um limite de 300 segundos; as partes mais antigas do histórico são eliminadas quando os limites são ultrapassados. Isto é diferente da duração de uma intervenção individual: o histórico determina que material anterior continua disponível quando o diálogo prossegue.

Contexto textual e som

O contexto formal é de 40 960 tokens. O comprimento máximo da entrada é de 16 384 tokens e o da saída é de 8192; os mesmos limites de entrada e saída são indicados para o modo de raciocínio, com um limite separado de 1024 tokens para a cadeia de raciocínio.

Para áudio em streaming, está previsto PCM de canal único com representação de 16 bits: 16 kHz na entrada e 24 kHz na saída. Os dados textuais e de áudio pertencem à mesma conversa. Não estão anunciadas entrada visual nem geração de imagens para este modelo específico; a sua especialização é fala, texto e interação por voz.

Disponível no Ailoot · entradas e métodos

Ailoot · Voz em tempo real GET /v1/realtime?model=qwen-audio-3.0-realtime-plus
Entrada
text, audio
Saída
text, audio
Formato de saída
eventos da sessão
CampoTipoRequisitoValores e limitesPredefinição
Campoquery.modelTipostringRequisitoObrigatórioValores e limites
qwen-audio-3.0-realtime-plus
Predefinição—
Camposession.input_audio_formatTipostringRequisitoOpcionalValores e limites
pcm16, pcm
Predefinição—
Camposession.output_audio_formatTipostringRequisitoOpcionalValores e limites
pcm16, pcm
Predefinição—
Camposession.instructionsTipostringRequisitoOpcionalValores e limites
O limite aplica-se a: política de sessão selecionada
Predefinição—
Camposession.max_history_turnsTipointegerRequisitoOpcionalValores e limites
Mínimo: 1
O limite aplica-se a: política de sessão selecionada
Predefinição—
Campoinput_audio_buffer.append.audioTipobase64_stringRequisitoObrigatórioValores e limites
Conteúdo de entrada: PCM16 mono; entrada de 16 kHz, saída de 24 kHz; comprimento em bytes não vazio e par
Predefinição—
Combinações de materiais de entrada

realtime_text_audio

Parâmetros e ciclo de vida do método
ParâmetroContrato
Parâmetromaterial_typesContratotext, audio
ParâmetrorequiredContratonull
Parâmetrooptional_controlsContratonull
Parâmetrocontent_typeContratoWebSocket

Ciclo de vida: exact retained published method

As estruturas dos métodos e os ID são exatos; a capacidade do fornecedor é distinta da admissão dos pedidos.

Tarifários

Tarifas dos métodos Ailoot

Ailoot Voz em tempo realGET /v1/realtime?model=qwen-audio-3.0-realtime-plus
Entrada
0,0008 US$ / 1K
Saída
0,0064 US$ / 1K
Entrada
0,0048 US$ por minuto de áudio
Saída
0,018 US$ por minuto de áudio de saída

O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →

Exemplos de pedidos

Ailoot · Voz em tempo real

# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n    raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570  # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n    global current_response, pending\n    left = deadline - time.monotonic()\n    if left <= 0:\n        raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n    event = json.loads(ws.recv(timeout=min(60, left)))\n    log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n    log.flush()\n    kind = event.get("type")\n    if kind == "error":\n        raise RuntimeError(json.dumps(event, ensure_ascii=False))\n    if kind == "response.created":\n        current_response = event["response"]["id"]\n    if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n        identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n        if kind in {"response.audio.delta", "response.output_audio.delta"}:\n            raw = base64.b64decode(event["delta"], validate=True)\n            if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n            audio.setdefault(identity, bytearray()).extend(raw)\n        elif kind.endswith(".done"):\n            texts[identity] = event.get("text", event.get("transcript", ""))\n        else:\n            texts[identity] = texts.get(identity, "") + event["delta"]\n            print(event["delta"], end="", flush=True)\n    if kind == "response.done":\n        response = event["response"]\n        complete.append(response)\n        if current_response is None: current_response = response["id"]\n        if response["id"] == current_response: pending = False\n    return event\n\ndef wait_for(ws, log, kind):\n    while True:\n        event = receive(ws, log)\n        if event.get("type") == kind: return event\n\ndef send(ws, event):\n    ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n    # One exact model query; no reconnect/retry loop and no provider credentials.\n    with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n        with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n            wait_for(ws, log, "session.created")\n            send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n            wait_for(ws, log, "session.updated")\n            send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n            send(ws, {"type":"response.create"})\n            pending = True\n            try:\n                while pending: receive(ws, log)\n            except KeyboardInterrupt:\n                # Cancel the actual current inference, then preserve its returned status.\n                send(ws, {"type":"response.cancel"})\n                while pending: receive(ws, log)\n    if not complete or complete[-1].get("status") != "completed":\n        raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n    manifest = {"responses":complete, "parts":[]}\n    for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n        record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n        if identity in audio:\n            raw = bytes(audio[identity])\n            pcm_file = out / ("audio-" + str(number) + ".pcm")\n            wav_file = out / ("audio-" + str(number) + ".wav")\n            pcm_file.write_bytes(raw)\n            with wave.open(str(wav_file), "wb") as wav:\n                wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n            record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n        if identity in texts:\n            text_file = out / ("text-" + str(number) + ".txt")\n            text_file.write_text(texts[identity], encoding="utf-8")\n            record["text"] = str(text_file)\n        manifest["parts"].append(record)\n    (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n    print("\\nSaved every received event and result in", out)\n

Receber e guardar os resultados

Ailoot · Voz em tempo real

eventos da sessão

Guardar todos os resultados concluídos

Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.

Reúna todos os fragmentos incrementais de áudio devolvidos e todos os resultados de texto/eventos para cada ID real de resposta.

Se for necessário verificar a resposta original

Conserve os IDs reais de sessão/resposta/evento e os comprovativos.

Erros e passos seguintes
RespostaCondiçãoPasso seguinte
Resposta426 · invalid_request_errorCondiçãoSem mudança de protocolo para WebSocketPasso seguinteUtilize um cliente WebSocket com Upgrade: websocket.

Aliases

Aliases do modelo

Ailoot qwen-audio-3.0-realtime-plus

Aliases dos caminhos dos métodos

Use os caminhos dos métodos indicados acima.

IDs de chamada relacionados

qwen-audio-3.0-realtime-plus

", "method_identity": { "effective_request_model_id": "qwen-audio-3.0-realtime-plus", "fmt": "realtime", "http": "GET", "path": "/v1/realtime?model=qwen-audio-3.0-realtime-plus", "request_model_id": "qwen-audio-3.0-realtime-plus", "route_label": "Core" }, "method_key": "Core|realtime|/v1/realtime?model=qwen-audio-3.0-realtime-plus|qwen-audio-3.0-realtime-plus", "ordinal": 0, "rawMethod": { "cache_read": null, "cache_write": null, "cache_write_1h": null, "cache_write_5m": null, "conditional_meter": null, "contract": { "data": { "all_results": "Reúna todos os fragmentos incrementais de áudio devolvidos e todos os resultados de texto/eventos para cada ID real de resposta.", "endpoint": { "http": "GET", "path": "/v1/realtime", "query": { "model": "qwen-audio-3.0-realtime-plus" }, "transport": "WebSocket", "url": "wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus" }, "errors": [ { "condition": "Sem mudança de protocolo para WebSocket", "http_status": 426, "recovery": "Utilize um cliente WebSocket com Upgrade: websocket.", "type": "invalid_request_error" } ], "hints": [ "Append the model query once; do not add another ?model to a URL that already contains it.", "Use the actual WebSocket upgrade and API-key authentication.", "Tools, web search and voiceprint enhancement are not supported on this exact route." ], "ignored_fields": [], "lifecycle": { "close": "Close the actual establishedWebSocket session; no fakeHTTP cancelpath.", "mode": "WebSocket session", "unknown": "Conserve os IDs reais de sessão/resposta/evento e os comprovativos." }, "material_combinations": [ { "events": [ "session.update", "input_audio_buffer.append", "input_audio_buffer.commit", "input_audio_buffer.clear", "response.create", "response.cancel", "conversation.item.create", "conversation.item.retrieve", "conversation.item.delete" ], "mode": "realtime_text_audio" } ], "operation_modes": [ "realtime_text_audio" ], "outputs": { "all_outputs": "Assemble every returned audio delta and text/event result for each actual response ID.", "audio_format": "PCM16 mono 24 kHz", "family": [ "text", "audio" ], "format": "eventos da sessão" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "qwen-audio-3.0-realtime-plus" ], "enum_known": true, "enum_status": "specified", "name": "query.model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "pcm16", "pcm" ], "enum_known": true, "enum_status": "specified", "name": "session.input_audio_format", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "pcm16", "pcm" ], "enum_known": true, "enum_status": "specified", "name": "session.output_audio_format", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "limit_scope": "política de sessão selecionada", "name": "session.instructions", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "limit_scope": "política de sessão selecionada", "minimum": 1, "name": "session.max_history_turns", "required": false, "type": "integer" }, { "availability": "source_interface", "content": "PCM16 mono; entrada de 16 kHz, saída de 24 kHz; comprimento em bytes não vazio e par", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "name": "input_audio_buffer.append.audio", "required": true, "type": "base64_string" } ], "unsupported": [] }, "hints": [ "As estruturas dos métodos e os ID são exatos; a capacidade do fornecedor é distinta da admissão dos pedidos." ], "input": { "content_type": "WebSocket", "material_types": [ "text", "audio" ], "optional_controls": null, "required": null }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "GET", "path": "/v1/realtime?model=qwen-audio-3.0-realtime-plus" }, "operation_modes": [ "realtime" ], "output": { "family": [ "text", "audio" ], "format": "session events", "multioutputs": "retain every actual response output" } }, "ctx": null, "examples": [ { "code": "# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get(\"AILOOT_API_KEY\", \"\")\nif not key.strip():\n raise SystemExit(\"Set your AILOOT_API_KEY before connecting\")\nfile = Path(os.environ.get(\"AILOOT_TEXT_FILE\", \"\"))\nif not file.is_file(): raise SystemExit(\"Set AILOOT_TEXT_FILE to your actual UTF-8 material\")\nmaterial = file.read_text(encoding=\"utf-8\")\nif not material.strip(): raise SystemExit(\"Text material must not be empty\")\nout = Path(\"realtime-results\")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError(\"Client session limit; preserve IDs and partial results, do not replay\")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + \"\\n\")\n log.flush()\n kind = event.get(\"type\")\n if kind == \"error\":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == \"response.created\":\n current_response = event[\"response\"][\"id\"]\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\", \"response.text.delta\", \"response.output_text.delta\", \"response.audio_transcript.delta\", \"response.output_audio_transcript.delta\", \"response.text.done\", \"response.audio_transcript.done\"}:\n identity = (event[\"response_id\"], event[\"item_id\"], event[\"output_index\"], event[\"content_index\"])\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\"}:\n raw = base64.b64decode(event[\"delta\"], validate=True)\n if len(raw) % 2: raise ValueError(\"Output PCM16 chunk must have an even byte length\")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(\".done\"):\n texts[identity] = event.get(\"text\", event.get(\"transcript\", \"\"))\n else:\n texts[identity] = texts.get(identity, \"\") + event[\"delta\"]\n print(event[\"delta\"], end=\"\", flush=True)\n if kind == \"response.done\":\n response = event[\"response\"]\n complete.append(response)\n if current_response is None: current_response = response[\"id\"]\n if response[\"id\"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get(\"type\") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect(\"wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus\", additional_headers={\"Authorization\": \"Bearer \" + key}) as ws:\n with (out / \"events.jsonl\").open(\"w\", encoding=\"utf-8\") as log:\n wait_for(ws, log, \"session.created\")\n send(ws, {\"type\":\"session.update\", \"session\":{\"modalities\":[\"audio\",\"text\"], \"input_audio_format\":\"pcm\", \"output_audio_format\":\"pcm\", \"turn_detection\":None}})\n wait_for(ws, log, \"session.updated\")\n send(ws, {\"type\":\"conversation.item.create\", \"item\":{\"type\":\"message\", \"role\":\"user\", \"content\":[{\"type\":\"input_text\", \"text\":material}]}})\n send(ws, {\"type\":\"response.create\"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {\"type\":\"response.cancel\"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get(\"status\") != \"completed\":\n raise RuntimeError(\"Response did not complete normally; inspect saved events and status\")\nfinally:\n manifest = {\"responses\":complete, \"parts\":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {\"response_id\":identity[0], \"item_id\":identity[1], \"output_index\":identity[2], \"content_index\":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / (\"audio-\" + str(number) + \".pcm\")\n wav_file = out / (\"audio-\" + str(number) + \".wav\")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), \"wb\") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({\"pcm\":str(pcm_file), \"wav\":str(wav_file), \"sample_rate_hz\":24000})\n if identity in texts:\n text_file = out / (\"text-\" + str(number) + \".txt\")\n text_file.write_text(texts[identity], encoding=\"utf-8\")\n record[\"text\"] = str(text_file)\n manifest[\"parts\"].append(record)\n (out / \"results.json\").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(\"\\nSaved every received event and result in\", out)\n", "label": "Python WebSocket · text material and all text/audio results", "language": "python" }, { "code": "# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get(\"AILOOT_API_KEY\", \"\")\nif not key.strip():\n raise SystemExit(\"Set your AILOOT_API_KEY before connecting\")\nfile = Path(os.environ.get(\"AILOOT_AUDIO_FILE\", \"\"))\nif not file.is_file(): raise SystemExit(\"Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording\")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b\"RIFF\"):\n raise SystemExit(\"Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header\")\nout = Path(\"realtime-results\")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError(\"Client session limit; preserve IDs and partial results, do not replay\")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + \"\\n\")\n log.flush()\n kind = event.get(\"type\")\n if kind == \"error\":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == \"response.created\":\n current_response = event[\"response\"][\"id\"]\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\", \"response.text.delta\", \"response.output_text.delta\", \"response.audio_transcript.delta\", \"response.output_audio_transcript.delta\", \"response.text.done\", \"response.audio_transcript.done\"}:\n identity = (event[\"response_id\"], event[\"item_id\"], event[\"output_index\"], event[\"content_index\"])\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\"}:\n raw = base64.b64decode(event[\"delta\"], validate=True)\n if len(raw) % 2: raise ValueError(\"Output PCM16 chunk must have an even byte length\")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(\".done\"):\n texts[identity] = event.get(\"text\", event.get(\"transcript\", \"\"))\n else:\n texts[identity] = texts.get(identity, \"\") + event[\"delta\"]\n print(event[\"delta\"], end=\"\", flush=True)\n if kind == \"response.done\":\n response = event[\"response\"]\n complete.append(response)\n if current_response is None: current_response = response[\"id\"]\n if response[\"id\"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get(\"type\") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect(\"wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus\", additional_headers={\"Authorization\": \"Bearer \" + key}) as ws:\n with (out / \"events.jsonl\").open(\"w\", encoding=\"utf-8\") as log:\n wait_for(ws, log, \"session.created\")\n send(ws, {\"type\":\"session.update\", \"session\":{\"modalities\":[\"audio\",\"text\"], \"input_audio_format\":\"pcm\", \"output_audio_format\":\"pcm\", \"turn_detection\":None}})\n wait_for(ws, log, \"session.updated\")\n for offset in range(0, len(material), 640):\n send(ws, {\"type\":\"input_audio_buffer.append\", \"audio\":base64.b64encode(material[offset:offset+640]).decode(\"ascii\")})\n time.sleep(0.02)\n send(ws, {\"type\":\"input_audio_buffer.commit\"})\n wait_for(ws, log, \"input_audio_buffer.committed\")\n send(ws, {\"type\":\"response.create\"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {\"type\":\"response.cancel\"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get(\"status\") != \"completed\":\n raise RuntimeError(\"Response did not complete normally; inspect saved events and status\")\nfinally:\n manifest = {\"responses\":complete, \"parts\":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {\"response_id\":identity[0], \"item_id\":identity[1], \"output_index\":identity[2], \"content_index\":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / (\"audio-\" + str(number) + \".pcm\")\n wav_file = out / (\"audio-\" + str(number) + \".wav\")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), \"wb\") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({\"pcm\":str(pcm_file), \"wav\":str(wav_file), \"sample_rate_hz\":24000})\n if identity in texts:\n text_file = out / (\"text-\" + str(number) + \".txt\")\n text_file.write_text(texts[identity], encoding=\"utf-8\")\n record[\"text\"] = str(text_file)\n manifest[\"parts\"].append(record)\n (out / \"results.json\").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(\"\\nSaved every received event and result in\", out)\n", "label": "Python WebSocket · actual PCM recording and all results", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "realtime", "http": "GET", "img_in": null, "img_out": null, "in": 0.8, "input": [ "text", "audio" ], "label": "Voz em tempo real", "max_out": null, "max_tool_calls": null, "out": 6.4, "output": [ "text", "audio" ], "path": "/v1/realtime?model=qwen-audio-3.0-realtime-plus", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.8, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 6.4, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.0048, "amount_unit": "usd_per_display_unit", "key": "audio_input_second", "label": "per minute of audio", "side": "in" }, { "amount": 0.018, "amount_unit": "usd_per_display_unit", "key": "audio_output_second", "label": "per minute of output audio", "side": "out" } ] } ], "request_model_id": "qwen-audio-3.0-realtime-plus", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "conditional", "units": [ { "key": "audio_input_second", "label": "per minute of audio", "side": "in", "usd": 0.0048 }, { "key": "audio_output_second", "label": "per minute of output audio", "side": "out", "usd": 0.018 } ] } } ], "model_id": "qwen-audio-3.0-realtime-plus", "nativeProvenance": { "input_facts_canonical_sha256": "7002d019a209f7db1ef0c638c87bdc62deb35886fd4a87efd9057a54cd6efe38", "input_html_sha256": "f9174cb5574c0105124dd9a48c8375d1334cbbfba1c65d30826a19c6ecb2877e", "private_audit_sha256": "ca94a34269aecd63ded3770f852c916644ef20d0dec3bf5d3f7978a486d9c53d", "role": "historical-normalized-input-audit-hashes", "schema": "ailoot-native-model-provenance-v2" }, "page": { "canonical": "https://ailoot.ai/models/pt-pt/qwen-audio-3-0-realtime-plus/", "description": "Modelo de diálogo de voz em tempo real que recebe fala e texto e responde por voz ou texto. Concebido para um ritmo natural de conversa e para interação com ferramentas.", "locale": "pt-pt", "md_url": "https://ailoot.ai/models/pt-pt/qwen-audio-3-0-realtime-plus/index.md", "title": "qwen-audio-3.0-realtime-plus — Ailoot", "url": "https://ailoot.ai/models/pt-pt/qwen-audio-3-0-realtime-plus/" }, "rawModel": { "about": "Qwen-Audio-3.0-Realtime-Plus é um modelo da Alibaba para diálogo de voz em tempo real. Recebe fala e texto, responde com áudio e texto e suporta uma conversa bidirecional com uma troca natural de intervenções. O som pode ser enviado e recebido por partes, permitindo que a interação evolua durante a conversa.\n\n### Quando o interlocutor termina a ideia\n\nEstão previstas várias formas de determinar os limites de uma intervenção: pela atividade sonora, pela conclusão semântica e por controlo explícito. No fabricante, o modo é escolhido antes de enviar o primeiro áudio; para o alterar depois de começar a conversa, é necessária uma nova ligação. O suporte deste controlo depende do método selecionado. O modo semântico considera pausas e hesitações: uma breve dúvida não significa necessariamente que o utilizador terminou a ideia. Uma nova intervenção do utilizador pode interromper a resposta em formação, permitindo continuar a conversa com a intervenção seguinte em conta. No modo semântico, o reconhecimento pode ser orientado por uma amostra de fala do interlocutor escolhido, para reduzir a influência de outras vozes e do ruído de fundo.\n\nAs instruções definem o papel do assistente e o estilo de comunicação. A expressão vocal pode considerar o tom, o ritmo e a emoção; a versão 3.0 prevê cinco vozes de sistema e vozes baseadas numa amostra de fala. O modelo suporta 11 línguas, incluindo russo, bem como as variantes dialetais chinesas indicadas pelo fabricante. No fabricante, a voz é definida na primeira atualização das configurações da sessão; o envio posterior de outra voz na mesma conversa é ignorado. Estas configurações exigem suporte do meio de acesso escolhido.\n\n### Ferramentas e histórico da conversa\n\nÉ suportada a chamada de funções. O modelo formula a ação necessária, a aplicação ligada executa-a e devolve o resultado ao diálogo. Isto permite construir a conversa em torno de dados factuais e continuá-la após a operação realizada. Um assistente de voz pode apoiar-se nos resultados das ferramentas, mantendo o contexto da conversa. As capacidades do fabricante incluem também pesquisa na Web integrada, se esta for disponibilizada pelo método escolhido. A pesquisa na Web e as chamadas de funções não podem ser ativadas em simultâneo na mesma sessão.\n\nPor predefinição, o histórico contém 20 turnos de conversa, estando previsto um intervalo entre um e 50. Para o áudio acumulado, existe um limite de 300 segundos; as partes mais antigas do histórico são eliminadas quando os limites são ultrapassados. Isto é diferente da duração de uma intervenção individual: o histórico determina que material anterior continua disponível quando o diálogo prossegue.\n\n### Contexto textual e som\n\nO contexto formal é de 40 960 tokens. O comprimento máximo da entrada é de 16 384 tokens e o da saída é de 8192; os mesmos limites de entrada e saída são indicados para o modo de raciocínio, com um limite separado de 1024 tokens para a cadeia de raciocínio.\n\nPara áudio em streaming, está previsto PCM de canal único com representação de 16 bits: 16 kHz na entrada e 24 kHz na saída. Os dados textuais e de áudio pertencem à mesma conversa. Não estão anunciadas entrada visual nem geração de imagens para este modelo específico; a sua especialização é fala, texto e interação por voz.", "alias_of": null, "aliases": [], "author": "Alibaba", "ctx": null, "formats": [ "realtime" ], "id": "qwen-audio-3.0-realtime-plus", "input": [ "text", "audio" ], "kind": "speech", "max_out": null, "methods": [ { "cache_read": null, "cache_write": null, "cache_write_1h": null, "cache_write_5m": null, "conditional_meter": null, "contract": { "data": { "all_results": "Reúna todos os fragmentos incrementais de áudio devolvidos e todos os resultados de texto/eventos para cada ID real de resposta.", "endpoint": { "http": "GET", "path": "/v1/realtime", "query": { "model": "qwen-audio-3.0-realtime-plus" }, "transport": "WebSocket", "url": "wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus" }, "errors": [ { "condition": "Sem mudança de protocolo para WebSocket", "http_status": 426, "recovery": "Utilize um cliente WebSocket com Upgrade: websocket.", "type": "invalid_request_error" } ], "hints": [ "Append the model query once; do not add another ?model to a URL that already contains it.", "Use the actual WebSocket upgrade and API-key authentication.", "Tools, web search and voiceprint enhancement are not supported on this exact route." ], "ignored_fields": [], "lifecycle": { "close": "Close the actual establishedWebSocket session; no fakeHTTP cancelpath.", "mode": "WebSocket session", "unknown": "Conserve os IDs reais de sessão/resposta/evento e os comprovativos." }, "material_combinations": [ { "events": [ "session.update", "input_audio_buffer.append", "input_audio_buffer.commit", "input_audio_buffer.clear", "response.create", "response.cancel", "conversation.item.create", "conversation.item.retrieve", "conversation.item.delete" ], "mode": "realtime_text_audio" } ], "operation_modes": [ "realtime_text_audio" ], "outputs": { "all_outputs": "Assemble every returned audio delta and text/event result for each actual response ID.", "audio_format": "PCM16 mono 24 kHz", "family": [ "text", "audio" ], "format": "eventos da sessão" }, "parameters": [ { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "qwen-audio-3.0-realtime-plus" ], "enum_known": true, "enum_status": "specified", "name": "query.model", "required": true, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "pcm16", "pcm" ], "enum_known": true, "enum_status": "specified", "name": "session.input_audio_format", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": [ "pcm16", "pcm" ], "enum_known": true, "enum_status": "specified", "name": "session.output_audio_format", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "limit_scope": "política de sessão selecionada", "name": "session.instructions", "required": false, "type": "string" }, { "availability": "source_interface", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "limit_scope": "política de sessão selecionada", "minimum": 1, "name": "session.max_history_turns", "required": false, "type": "integer" }, { "availability": "source_interface", "content": "PCM16 mono; entrada de 16 kHz, saída de 24 kHz; comprimento em bytes não vazio e par", "default": null, "default_known": false, "default_status": "not_specified", "enum": null, "enum_known": false, "enum_status": "not_specified", "name": "input_audio_buffer.append.audio", "required": true, "type": "base64_string" } ], "unsupported": [] }, "hints": [ "As estruturas dos métodos e os ID são exatos; a capacidade do fornecedor é distinta da admissão dos pedidos." ], "input": { "content_type": "WebSocket", "material_types": [ "text", "audio" ], "optional_controls": null, "required": null }, "lifecycle": { "mode": "exact retained published method" }, "method": { "http": "GET", "path": "/v1/realtime?model=qwen-audio-3.0-realtime-plus" }, "operation_modes": [ "realtime" ], "output": { "family": [ "text", "audio" ], "format": "session events", "multioutputs": "retain every actual response output" } }, "ctx": null, "examples": [ { "code": "# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get(\"AILOOT_API_KEY\", \"\")\nif not key.strip():\n raise SystemExit(\"Set your AILOOT_API_KEY before connecting\")\nfile = Path(os.environ.get(\"AILOOT_TEXT_FILE\", \"\"))\nif not file.is_file(): raise SystemExit(\"Set AILOOT_TEXT_FILE to your actual UTF-8 material\")\nmaterial = file.read_text(encoding=\"utf-8\")\nif not material.strip(): raise SystemExit(\"Text material must not be empty\")\nout = Path(\"realtime-results\")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError(\"Client session limit; preserve IDs and partial results, do not replay\")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + \"\\n\")\n log.flush()\n kind = event.get(\"type\")\n if kind == \"error\":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == \"response.created\":\n current_response = event[\"response\"][\"id\"]\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\", \"response.text.delta\", \"response.output_text.delta\", \"response.audio_transcript.delta\", \"response.output_audio_transcript.delta\", \"response.text.done\", \"response.audio_transcript.done\"}:\n identity = (event[\"response_id\"], event[\"item_id\"], event[\"output_index\"], event[\"content_index\"])\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\"}:\n raw = base64.b64decode(event[\"delta\"], validate=True)\n if len(raw) % 2: raise ValueError(\"Output PCM16 chunk must have an even byte length\")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(\".done\"):\n texts[identity] = event.get(\"text\", event.get(\"transcript\", \"\"))\n else:\n texts[identity] = texts.get(identity, \"\") + event[\"delta\"]\n print(event[\"delta\"], end=\"\", flush=True)\n if kind == \"response.done\":\n response = event[\"response\"]\n complete.append(response)\n if current_response is None: current_response = response[\"id\"]\n if response[\"id\"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get(\"type\") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect(\"wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus\", additional_headers={\"Authorization\": \"Bearer \" + key}) as ws:\n with (out / \"events.jsonl\").open(\"w\", encoding=\"utf-8\") as log:\n wait_for(ws, log, \"session.created\")\n send(ws, {\"type\":\"session.update\", \"session\":{\"modalities\":[\"audio\",\"text\"], \"input_audio_format\":\"pcm\", \"output_audio_format\":\"pcm\", \"turn_detection\":None}})\n wait_for(ws, log, \"session.updated\")\n send(ws, {\"type\":\"conversation.item.create\", \"item\":{\"type\":\"message\", \"role\":\"user\", \"content\":[{\"type\":\"input_text\", \"text\":material}]}})\n send(ws, {\"type\":\"response.create\"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {\"type\":\"response.cancel\"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get(\"status\") != \"completed\":\n raise RuntimeError(\"Response did not complete normally; inspect saved events and status\")\nfinally:\n manifest = {\"responses\":complete, \"parts\":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {\"response_id\":identity[0], \"item_id\":identity[1], \"output_index\":identity[2], \"content_index\":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / (\"audio-\" + str(number) + \".pcm\")\n wav_file = out / (\"audio-\" + str(number) + \".wav\")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), \"wb\") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({\"pcm\":str(pcm_file), \"wav\":str(wav_file), \"sample_rate_hz\":24000})\n if identity in texts:\n text_file = out / (\"text-\" + str(number) + \".txt\")\n text_file.write_text(texts[identity], encoding=\"utf-8\")\n record[\"text\"] = str(text_file)\n manifest[\"parts\"].append(record)\n (out / \"results.json\").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(\"\\nSaved every received event and result in\", out)\n", "label": "Python WebSocket · text material and all text/audio results", "language": "python" }, { "code": "# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get(\"AILOOT_API_KEY\", \"\")\nif not key.strip():\n raise SystemExit(\"Set your AILOOT_API_KEY before connecting\")\nfile = Path(os.environ.get(\"AILOOT_AUDIO_FILE\", \"\"))\nif not file.is_file(): raise SystemExit(\"Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording\")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b\"RIFF\"):\n raise SystemExit(\"Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header\")\nout = Path(\"realtime-results\")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError(\"Client session limit; preserve IDs and partial results, do not replay\")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + \"\\n\")\n log.flush()\n kind = event.get(\"type\")\n if kind == \"error\":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == \"response.created\":\n current_response = event[\"response\"][\"id\"]\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\", \"response.text.delta\", \"response.output_text.delta\", \"response.audio_transcript.delta\", \"response.output_audio_transcript.delta\", \"response.text.done\", \"response.audio_transcript.done\"}:\n identity = (event[\"response_id\"], event[\"item_id\"], event[\"output_index\"], event[\"content_index\"])\n if kind in {\"response.audio.delta\", \"response.output_audio.delta\"}:\n raw = base64.b64decode(event[\"delta\"], validate=True)\n if len(raw) % 2: raise ValueError(\"Output PCM16 chunk must have an even byte length\")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(\".done\"):\n texts[identity] = event.get(\"text\", event.get(\"transcript\", \"\"))\n else:\n texts[identity] = texts.get(identity, \"\") + event[\"delta\"]\n print(event[\"delta\"], end=\"\", flush=True)\n if kind == \"response.done\":\n response = event[\"response\"]\n complete.append(response)\n if current_response is None: current_response = response[\"id\"]\n if response[\"id\"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get(\"type\") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect(\"wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus\", additional_headers={\"Authorization\": \"Bearer \" + key}) as ws:\n with (out / \"events.jsonl\").open(\"w\", encoding=\"utf-8\") as log:\n wait_for(ws, log, \"session.created\")\n send(ws, {\"type\":\"session.update\", \"session\":{\"modalities\":[\"audio\",\"text\"], \"input_audio_format\":\"pcm\", \"output_audio_format\":\"pcm\", \"turn_detection\":None}})\n wait_for(ws, log, \"session.updated\")\n for offset in range(0, len(material), 640):\n send(ws, {\"type\":\"input_audio_buffer.append\", \"audio\":base64.b64encode(material[offset:offset+640]).decode(\"ascii\")})\n time.sleep(0.02)\n send(ws, {\"type\":\"input_audio_buffer.commit\"})\n wait_for(ws, log, \"input_audio_buffer.committed\")\n send(ws, {\"type\":\"response.create\"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {\"type\":\"response.cancel\"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get(\"status\") != \"completed\":\n raise RuntimeError(\"Response did not complete normally; inspect saved events and status\")\nfinally:\n manifest = {\"responses\":complete, \"parts\":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {\"response_id\":identity[0], \"item_id\":identity[1], \"output_index\":identity[2], \"content_index\":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / (\"audio-\" + str(number) + \".pcm\")\n wav_file = out / (\"audio-\" + str(number) + \".wav\")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), \"wb\") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({\"pcm\":str(pcm_file), \"wav\":str(wav_file), \"sample_rate_hz\":24000})\n if identity in texts:\n text_file = out / (\"text-\" + str(number) + \".txt\")\n text_file.write_text(texts[identity], encoding=\"utf-8\")\n record[\"text\"] = str(text_file)\n manifest[\"parts\"].append(record)\n (out / \"results.json\").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding=\"utf-8\")\n print(\"\\nSaved every received event and result in\", out)\n", "label": "Python WebSocket · actual PCM recording and all results", "language": "python" } ], "family": "openai", "fast_multiplier": null, "flex_multiplier": null, "fmt": "realtime", "http": "GET", "img_in": null, "img_out": null, "in": 0.8, "input": [ "text", "audio" ], "label": "Voz em tempo real", "max_out": null, "max_tool_calls": null, "out": 6.4, "output": [ "text", "audio" ], "path": "/v1/realtime?model=qwen-audio-3.0-realtime-plus", "pricing_profiles": [ { "dimensions": {}, "label": "Core", "units": [ { "amount": 0.8, "amount_unit": "usd_per_million_tokens", "key": "in", "label": "Input", "side": "in" }, { "amount": 6.4, "amount_unit": "usd_per_million_tokens", "key": "out", "label": "Output", "side": "out" }, { "amount": 0.0048, "amount_unit": "usd_per_display_unit", "key": "audio_input_second", "label": "per minute of audio", "side": "in" }, { "amount": 0.018, "amount_unit": "usd_per_display_unit", "key": "audio_output_second", "label": "per minute of output audio", "side": "out" } ] } ], "request_model_id": "qwen-audio-3.0-realtime-plus", "route_label": "Core", "status_reads": [], "tiers": [], "tool_prices": null, "unit": "conditional", "units": [ { "key": "audio_input_second", "label": "per minute of audio", "side": "in", "usd": 0.0048 }, { "key": "audio_output_second", "label": "per minute of output audio", "side": "out", "usd": 0.018 } ] } ], "model_aliases": [ { "canonical_model_id": "qwen-audio-3.0-realtime-plus", "request_model_id": "qwen-audio-3.0-realtime-plus", "route_label": "Core" } ], "name": "qwen-audio-3.0-realtime-plus", "price": { "in": 0.8, "in_label": null, "out": 6.4, "out_label": null, "sort_in": 0.8, "sort_out": 6.4, "varies": false }, "short": "Modelo de diálogo de voz em tempo real que recebe fala e texto e responde por voz ou texto. Concebido para um ritmo natural de conversa e para interação com ferramentas." }, "renderer_schema": { "method_order": "Original DTO methods order; every exact route/format/path/caller survives.", "prices": "Original public DTO fields and original native display HTML; no flattened or normalized offers." }, "representation": "exact-public-dto-and-native-renderer-html", "representationNotes": { "current_reference": { "about_json_pointer": "/aboutHtml", "methods": [ { "contract_json_pointer": "/methods/0/rawMethod/contract", "html_json_pointer": "/methods/0/html", "method_ordinal": 0 } ], "role": "current-semantic-reference" }, "raw_input": { "examples_role": "historical-input-not-current-ready-examples", "json_pointers": [ "/rawModel", "/methods/0/rawMethod" ], "role": "historical-owner-input" }, "schema": "ailoot-native-model-representations-v1" }, "schema": "ailoot-static-model-facts-v1", "schema_version": 1, "shortText": "Modelo de diálogo de voz em tempo real que recebe fala e texto e responde por voz ou texto. Concebido para um ritmo natural de conversa e para interação com ferramentas.", "source": { "audit_sha256": "2e00086bcbfc28e64d0cebe97aa47c17d8d5618963027f8ffb9dc6123d7d25b1", "bridge_map_sha256": "1125275768b9636fc8461bc7da5061239a81ddfe508e2557843ca42c58ab0036", "raw_model_json_sha256": "c7aecd1a0a1372263f448611cc63654bf942e73b6564cfbd03caec21d315d570", "renderer_sha256": "8caea4544177cc2b7d2cb3356b5f07bfd3660386d75f2714a6f603fa5e2a6cd2" }, "sourceRevision": "ca9f06691ea8c1854a4e53765a45e774b1e26c8553cfaa0c70e02698899d68be" }