Qwen-Audio-3.0-Realtime-Plus to model Alibaba do prowadzenia rozmów głosowych na żywo. Przyjmuje mowę i tekst, odpowiada dźwiękiem i tekstem oraz obsługuje dwustronną rozmowę z naturalną wymianą wypowiedzi. Dźwięk można przesyłać i odbierać partiami, dzięki czemu interakcja rozwija się w trakcie rozmowy.
Przewidziano kilka sposobów określania granic wypowiedzi: na podstawie aktywności dźwiękowej, domknięcia znaczenia oraz jawnego sterowania. U producenta tryb wybiera się przed przesłaniem pierwszego dźwięku; jego zmiana po rozpoczęciu rozmowy wymaga nowego połączenia. Obsługa tego sterowania zależy od wybranej metody. Tryb semantyczny uwzględnia pauzy i wypełniacze mowy: krótkie zawahanie nie musi oznaczać, że użytkownik zakończył myśl. Nowa wypowiedź użytkownika może przerwać generowaną odpowiedź, aby rozmowa była kontynuowana z uwzględnieniem kolejnej wypowiedzi. W trybie semantycznym można ukierunkować rozpoznawanie na próbkę mowy wybranego rozmówcy, aby ograniczyć wpływ innych głosów i szumu tła.
Instrukcje określają rolę asystenta i styl komunikacji. Sposób wypowiedzi głosowej może uwzględniać ton, tempo i emocje; wersja 3.0 oferuje pięć głosów systemowych oraz głosy odtwarzane na podstawie próbki mowy. Model obsługuje 11 języków, w tym rosyjski, a także wskazane przez producenta chińskie warianty dialektalne. U producenta głos ustala się podczas pierwszej aktualizacji ustawień sesji; późniejsze przesłanie nowego głosu w tej samej rozmowie jest ignorowane. Ustawienia te wymagają obsługi przez wybrany sposób korzystania z modelu.
Obsługiwane jest wywoływanie funkcji. Model określa potrzebne działanie, połączona aplikacja je wykonuje i zwraca wynik do rozmowy. Pozwala to prowadzić rozmowę w oparciu o rzeczywiste dane i kontynuować ją po wykonaniu operacji. Asystent głosowy może korzystać z wyników narzędzi, zachowując kontekst rozmowy. Możliwości producenta obejmują także wbudowane wyszukiwanie w internecie, jeżeli udostępnia je wybrana metoda. Wyszukiwania w internecie i wywoływania funkcji nie można włączyć jednocześnie w jednej sesji.
Domyślnie historia obejmuje 20 tur rozmowy; dostępny zakres wynosi od jednej do 50. Dla zgromadzonego dźwięku obowiązuje limit 300 sekund; po przekroczeniu ograniczeń starsze części historii są usuwane. Jest to inny parametr niż długość pojedynczej wypowiedzi: historia określa, który wcześniejszy materiał pozostaje dostępny przy kontynuowaniu dialogu.
Formalny kontekst wynosi 40 960 tokenów. Maksymalna długość wejścia to 16 384 tokeny, a wyjścia — 8192; takie same limity wejścia i wyjścia podano dla trybu rozumowania, z osobnym limitem łańcucha rozumowania wynoszącym 1024 tokeny.
Dźwięk strumieniowy wykorzystuje jednokanałowy PCM z reprezentacją 16-bitową: na wejściu — 16 kHz, na wyjściu — 24 kHz. Dane tekstowe i dźwiękowe należą do jednej rozmowy. Dla tego konkretnego modelu nie zadeklarowano wejścia wizualnego ani generowania obrazów; jego specjalizacją są mowa, tekst i interakcja głosowa.
", "aboutText": "Qwen-Audio-3.0-Realtime-Plus to model Alibaba do prowadzenia rozmów głosowych na żywo. Przyjmuje mowę i tekst, odpowiada dźwiękiem i tekstem oraz obsługuje dwustronną rozmowę z naturalną wymianą wypowiedzi. Dźwięk można przesyłać i odbierać partiami, dzięki czemu interakcja rozwija się w trakcie rozmowy.\n\n### Kiedy rozmówca zakończył myśl\n\nPrzewidziano kilka sposobów określania granic wypowiedzi: na podstawie aktywności dźwiękowej, domknięcia znaczenia oraz jawnego sterowania. U producenta tryb wybiera się przed przesłaniem pierwszego dźwięku; jego zmiana po rozpoczęciu rozmowy wymaga nowego połączenia. Obsługa tego sterowania zależy od wybranej metody. Tryb semantyczny uwzględnia pauzy i wypełniacze mowy: krótkie zawahanie nie musi oznaczać, że użytkownik zakończył myśl. Nowa wypowiedź użytkownika może przerwać generowaną odpowiedź, aby rozmowa była kontynuowana z uwzględnieniem kolejnej wypowiedzi. W trybie semantycznym można ukierunkować rozpoznawanie na próbkę mowy wybranego rozmówcy, aby ograniczyć wpływ innych głosów i szumu tła.\n\nInstrukcje określają rolę asystenta i styl komunikacji. Sposób wypowiedzi głosowej może uwzględniać ton, tempo i emocje; wersja 3.0 oferuje pięć głosów systemowych oraz głosy odtwarzane na podstawie próbki mowy. Model obsługuje 11 języków, w tym rosyjski, a także wskazane przez producenta chińskie warianty dialektalne. U producenta głos ustala się podczas pierwszej aktualizacji ustawień sesji; późniejsze przesłanie nowego głosu w tej samej rozmowie jest ignorowane. Ustawienia te wymagają obsługi przez wybrany sposób korzystania z modelu.\n\n### Narzędzia i historia rozmowy\n\nObsługiwane jest wywoływanie funkcji. Model określa potrzebne działanie, połączona aplikacja je wykonuje i zwraca wynik do rozmowy. Pozwala to prowadzić rozmowę w oparciu o rzeczywiste dane i kontynuować ją po wykonaniu operacji. Asystent głosowy może korzystać z wyników narzędzi, zachowując kontekst rozmowy. Możliwości producenta obejmują także wbudowane wyszukiwanie w internecie, jeżeli udostępnia je wybrana metoda. Wyszukiwania w internecie i wywoływania funkcji nie można włączyć jednocześnie w jednej sesji.\n\nDomyślnie historia obejmuje 20 tur rozmowy; dostępny zakres wynosi od jednej do 50. Dla zgromadzonego dźwięku obowiązuje limit 300 sekund; po przekroczeniu ograniczeń starsze części historii są usuwane. Jest to inny parametr niż długość pojedynczej wypowiedzi: historia określa, który wcześniejszy materiał pozostaje dostępny przy kontynuowaniu dialogu.\n\n### Kontekst tekstowy i dźwięk\n\nFormalny kontekst wynosi 40 960 tokenów. Maksymalna długość wejścia to 16 384 tokeny, a wyjścia — 8192; takie same limity wejścia i wyjścia podano dla trybu rozumowania, z osobnym limitem łańcucha rozumowania wynoszącym 1024 tokeny.\n\nDźwięk strumieniowy wykorzystuje jednokanałowy PCM z reprezentacją 16-bitową: na wejściu — 16 kHz, na wyjściu — 24 kHz. Dane tekstowe i dźwiękowe należą do jednej rozmowy. Dla tego konkretnego modelu nie zadeklarowano wejścia wizualnego ani generowania obrazów; jego specjalizacją są mowa, tekst i interakcja głosowa.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "142d937666e7dbd9edb9dc0770dfdca388b6cab7da08d1b1ae84c98120148017", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "pl", "methods": [ { "html": "qwen-audio-3.0-realtime-plusModel do prowadzenia rozmów głosowych na żywo, który przyjmuje mowę i tekst oraz odpowiada głosem lub tekstem. Przeznaczony do komunikacji w naturalnym tempie i współpracy z narzędziami.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Qwen-Audio-3.0-Realtime-Plus to model Alibaba do prowadzenia rozmów głosowych na żywo. Przyjmuje mowę i tekst, odpowiada dźwiękiem i tekstem oraz obsługuje dwustronną rozmowę z naturalną wymianą wypowiedzi. Dźwięk można przesyłać i odbierać partiami, dzięki czemu interakcja rozwija się w trakcie rozmowy.
Przewidziano kilka sposobów określania granic wypowiedzi: na podstawie aktywności dźwiękowej, domknięcia znaczenia oraz jawnego sterowania. U producenta tryb wybiera się przed przesłaniem pierwszego dźwięku; jego zmiana po rozpoczęciu rozmowy wymaga nowego połączenia. Obsługa tego sterowania zależy od wybranej metody. Tryb semantyczny uwzględnia pauzy i wypełniacze mowy: krótkie zawahanie nie musi oznaczać, że użytkownik zakończył myśl. Nowa wypowiedź użytkownika może przerwać generowaną odpowiedź, aby rozmowa była kontynuowana z uwzględnieniem kolejnej wypowiedzi. W trybie semantycznym można ukierunkować rozpoznawanie na próbkę mowy wybranego rozmówcy, aby ograniczyć wpływ innych głosów i szumu tła.
Instrukcje określają rolę asystenta i styl komunikacji. Sposób wypowiedzi głosowej może uwzględniać ton, tempo i emocje; wersja 3.0 oferuje pięć głosów systemowych oraz głosy odtwarzane na podstawie próbki mowy. Model obsługuje 11 języków, w tym rosyjski, a także wskazane przez producenta chińskie warianty dialektalne. U producenta głos ustala się podczas pierwszej aktualizacji ustawień sesji; późniejsze przesłanie nowego głosu w tej samej rozmowie jest ignorowane. Ustawienia te wymagają obsługi przez wybrany sposób korzystania z modelu.
Obsługiwane jest wywoływanie funkcji. Model określa potrzebne działanie, połączona aplikacja je wykonuje i zwraca wynik do rozmowy. Pozwala to prowadzić rozmowę w oparciu o rzeczywiste dane i kontynuować ją po wykonaniu operacji. Asystent głosowy może korzystać z wyników narzędzi, zachowując kontekst rozmowy. Możliwości producenta obejmują także wbudowane wyszukiwanie w internecie, jeżeli udostępnia je wybrana metoda. Wyszukiwania w internecie i wywoływania funkcji nie można włączyć jednocześnie w jednej sesji.
Domyślnie historia obejmuje 20 tur rozmowy; dostępny zakres wynosi od jednej do 50. Dla zgromadzonego dźwięku obowiązuje limit 300 sekund; po przekroczeniu ograniczeń starsze części historii są usuwane. Jest to inny parametr niż długość pojedynczej wypowiedzi: historia określa, który wcześniejszy materiał pozostaje dostępny przy kontynuowaniu dialogu.
Formalny kontekst wynosi 40 960 tokenów. Maksymalna długość wejścia to 16 384 tokeny, a wyjścia — 8192; takie same limity wejścia i wyjścia podano dla trybu rozumowania, z osobnym limitem łańcucha rozumowania wynoszącym 1024 tokeny.
Dźwięk strumieniowy wykorzystuje jednokanałowy PCM z reprezentacją 16-bitową: na wejściu — 16 kHz, na wyjściu — 24 kHz. Dane tekstowe i dźwiękowe należą do jednej rozmowy. Dla tego konkretnego modelu nie zadeklarowano wejścia wizualnego ani generowania obrazów; jego specjalizacją są mowa, tekst i interakcja głosowa.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plustext, audiotext, audio| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polequery.model | Typstring | WymaganieWymagane | Wartości i limity qwen-audio-3.0-realtime-plus | Domyślnie— |
Polesession.input_audio_format | Typstring | WymaganieOpcjonalne | Wartości i limity pcm16, pcm | Domyślnie— |
Polesession.output_audio_format | Typstring | WymaganieOpcjonalne | Wartości i limity pcm16, pcm | Domyślnie— |
Polesession.instructions | Typstring | WymaganieOpcjonalne | Wartości i limity Limit dotyczy: wybrana polityka sesji | Domyślnie— |
Polesession.max_history_turns | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Limit dotyczy: wybrana polityka sesji | Domyślnie— |
Poleinput_audio_buffer.append.audio | Typbase64_string | WymaganieWymagane | Wartości i limity Treść wejściowa: PCM16 mono; wejście 16 kHz, wyjście 24 kHz; niezerowa, parzysta liczba bajtów | Domyślnie— |
realtime_text_audio
| Parametr | Kontrakt |
|---|---|
Parametrmaterial_types | Kontrakttext, audio |
Parametrrequired | Kontraktnull |
Parametroptional_controls | Kontraktnull |
Parametrcontent_type | KontraktWebSocket |
Cykl życia: exact retained published method
Struktury metod i ID są dokładne; możliwości dostawcy są odrębne od dopuszczenia żądania.
GET /v1/realtime?model=qwen-audio-3.0-realtime-plusAiloot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_TEXT_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_TEXT_FILE to your actual UTF-8 material")\nmaterial = file.read_text(encoding="utf-8")\nif not material.strip(): raise SystemExit("Text material must not be empty")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n send(ws, {"type":"conversation.item.create", "item":{"type":"message", "role":"user", "content":[{"type":"input_text", "text":material}]}})\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\n# Install the documented client once: python3 -m pip install websockets\nimport base64, json, os, time, wave\nfrom pathlib import Path\nfrom websockets.sync.client import connect\n\nkey = os.environ.get("AILOOT_API_KEY", "")\nif not key.strip():\n raise SystemExit("Set your AILOOT_API_KEY before connecting")\nfile = Path(os.environ.get("AILOOT_AUDIO_FILE", ""))\nif not file.is_file(): raise SystemExit("Set AILOOT_AUDIO_FILE to your raw PCM16 mono 16-kHz recording")\nmaterial = file.read_bytes()\nif not material or len(material) % 2 or material.startswith(b"RIFF"):\n raise SystemExit("Use nonempty signed little-endian PCM16 mono 16-kHz bytes, not a WAV header")\nout = Path("realtime-results")\nout.mkdir(exist_ok=True)\naudio, texts, complete = {}, {}, []\ncurrent_response = None\npending = False\ndeadline = time.monotonic() + 570 # Local client bound; lower server/session limits still apply.\n\ndef receive(ws, log):\n global current_response, pending\n left = deadline - time.monotonic()\n if left <= 0:\n raise TimeoutError("Client session limit; preserve IDs and partial results, do not replay")\n event = json.loads(ws.recv(timeout=min(60, left)))\n log.write(json.dumps(event, ensure_ascii=False) + "\\n")\n log.flush()\n kind = event.get("type")\n if kind == "error":\n raise RuntimeError(json.dumps(event, ensure_ascii=False))\n if kind == "response.created":\n current_response = event["response"]["id"]\n if kind in {"response.audio.delta", "response.output_audio.delta", "response.text.delta", "response.output_text.delta", "response.audio_transcript.delta", "response.output_audio_transcript.delta", "response.text.done", "response.audio_transcript.done"}:\n identity = (event["response_id"], event["item_id"], event["output_index"], event["content_index"])\n if kind in {"response.audio.delta", "response.output_audio.delta"}:\n raw = base64.b64decode(event["delta"], validate=True)\n if len(raw) % 2: raise ValueError("Output PCM16 chunk must have an even byte length")\n audio.setdefault(identity, bytearray()).extend(raw)\n elif kind.endswith(".done"):\n texts[identity] = event.get("text", event.get("transcript", ""))\n else:\n texts[identity] = texts.get(identity, "") + event["delta"]\n print(event["delta"], end="", flush=True)\n if kind == "response.done":\n response = event["response"]\n complete.append(response)\n if current_response is None: current_response = response["id"]\n if response["id"] == current_response: pending = False\n return event\n\ndef wait_for(ws, log, kind):\n while True:\n event = receive(ws, log)\n if event.get("type") == kind: return event\n\ndef send(ws, event):\n ws.send(json.dumps(event, ensure_ascii=False))\n\ntry:\n # One exact model query; no reconnect/retry loop and no provider credentials.\n with connect("wss://api.ailoot.ai/v1/realtime?model=qwen-audio-3.0-realtime-plus", additional_headers={"Authorization": "Bearer " + key}) as ws:\n with (out / "events.jsonl").open("w", encoding="utf-8") as log:\n wait_for(ws, log, "session.created")\n send(ws, {"type":"session.update", "session":{"modalities":["audio","text"], "input_audio_format":"pcm", "output_audio_format":"pcm", "turn_detection":None}})\n wait_for(ws, log, "session.updated")\n for offset in range(0, len(material), 640):\n send(ws, {"type":"input_audio_buffer.append", "audio":base64.b64encode(material[offset:offset+640]).decode("ascii")})\n time.sleep(0.02)\n send(ws, {"type":"input_audio_buffer.commit"})\n wait_for(ws, log, "input_audio_buffer.committed")\n send(ws, {"type":"response.create"})\n pending = True\n try:\n while pending: receive(ws, log)\n except KeyboardInterrupt:\n # Cancel the actual current inference, then preserve its returned status.\n send(ws, {"type":"response.cancel"})\n while pending: receive(ws, log)\n if not complete or complete[-1].get("status") != "completed":\n raise RuntimeError("Response did not complete normally; inspect saved events and status")\nfinally:\n manifest = {"responses":complete, "parts":[]}\n for number, identity in enumerate(dict.fromkeys(list(audio) + list(texts))):\n record = {"response_id":identity[0], "item_id":identity[1], "output_index":identity[2], "content_index":identity[3]}\n if identity in audio:\n raw = bytes(audio[identity])\n pcm_file = out / ("audio-" + str(number) + ".pcm")\n wav_file = out / ("audio-" + str(number) + ".wav")\n pcm_file.write_bytes(raw)\n with wave.open(str(wav_file), "wb") as wav:\n wav.setnchannels(1); wav.setsampwidth(2); wav.setframerate(24000); wav.writeframes(raw)\n record.update({"pcm":str(pcm_file), "wav":str(wav_file), "sample_rate_hz":24000})\n if identity in texts:\n text_file = out / ("text-" + str(number) + ".txt")\n text_file.write_text(texts[identity], encoding="utf-8")\n record["text"] = str(text_file)\n manifest["parts"].append(record)\n (out / "results.json").write_text(json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8")\n print("\\nSaved every received event and result in", out)\nzdarzenia sesji
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Połącz każdy zwrócony fragment przyrostowy dźwięku oraz wynik tekstowy lub zdarzenie dla każdego rzeczywistego identyfikatora odpowiedzi.
Zachowaj rzeczywiste identyfikatory sesji, odpowiedzi i zdarzeń oraz potwierdzenia.
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź426 · invalid_request_error | WarunekBrak przełączenia protokołu na WebSocket | Następny krokUżyj klienta WebSocket z Upgrade: websocket. |
Ailoot qwen-audio-3.0-realtime-plus
Użyj ścieżek metod podanych powyżej.