Przegląd: rozumienie różnych mediów i odpowiedzi głosowe
Qwen-Omni-Turbo to model Qwen do multimodalnego rozumienia i generowania. Przyjmuje tekst, obrazy, mowę i wideo, także połączenia tych danych wejściowych, a zwraca tekst lub tekst z naturalną mową. Producent opisuje równoczesne strumieniowanie tekstu i mowy oraz cztery naturalne głosy do rozmów. Model nadaje się więc do zadań, w których pytanie i materiał stanowiący podstawę odpowiedzi przychodzą w różnych formach, takich jak ustne pytanie o fotografię lub objaśnienie sceny audiowizualnej.
Dokładna nazwa i jej wersje
Bieżąca strona modelu producenta opisuje qwen-omni-turbo jako funkcjonalnie równoważny datowanej wersji qwen-omni-turbo-2025-03-26. Osobno wymienia qwen-omni-turbo-latest jako nazwę aktualizowaną dynamicznie i zachowuje odrębność wcześniejszej wersji qwen-omni-turbo-2025-01-19. Wersja marcowa jest opisywana jako poprawiająca możliwości wizualne względem styczniowej. Są to relacje między wersjami określone przez producenta, a nie dowód, że każda podobnie nazwana ścieżka w aplikacji używa identycznych wag lub ustawień. Zachowaj nazwę datowanej wersji, gdy zadanie wymaga dokładnie określonej wersji.
Nazwa Turbo nie oznacza osobnej edycji działającej w czasie rzeczywistym, nowszej generacji Qwen-Omni ani otwartego checkpointu Qwen2.5-Omni-7B. Ich reguły wejścia, głosy i interfejsy wymagają własnej dokumentacji. W szczególności czterech głosów opisanych dla Omni-Turbo nie należy przenosić do opisu otwartego checkpointu z dwoma głosami.
Przygotowanie zadania łączącego różne media
Określ, co model ma powiązać między danymi wejściowymi. Przy ustnym pytaniu o diagram dostarcz diagram i pytanie razem, a następnie poproś o wyjaśnienie omawianego, widocznego elementu. Przy wideo z mową określ, czy wynik ma podsumowywać to, co widać, to, co jest mówione, czy relację między nimi. Przydatny wynik może oddzielać obserwacje wizualne od obserwacji audio przed przedstawieniem wniosku.
Przy przeglądzie multimedialnym podaj odpowiedni krótki fragment zamiast kilku niezwiązanych materiałów. Oznacz obrazy i wyjaśnij ich rolę, jeśli jest ich więcej niż jeden. Zachowaj dźwięk i informacje o czasie istotne dla pytania. Poproś o wynik o konkretnym zakresie, na przykład głosowe wyjaśnienie dla słuchacza lub zwięzłą tekstową listę szczegółów sceny. Są to autorskie przykłady zastosowań udokumentowanych możliwości łączenia danych wejściowych, a nie twierdzenia, że konkretny klip został już przeanalizowany.
Wyjście tekstowe i głosowe
Opis modelu producenta obejmuje odpowiedzi tekstowe oraz równoczesne strumieniowanie tekstu i mowy. Głosowe wyjaśnienie może być odpowiednie w pomocy konwersacyjnej, natomiast tekst łatwiej sprawdzać, przeszukiwać i porównywać z materiałem źródłowym. Wybrany tryb wyjścia i mechanizmy sterowania głosem zależą od interfejsu udostępniającego model. Strumieniowanie oznacza przekazywanie wyniku w kolejnych częściach; nie jest gwarancją czasu odpowiedzi ani dowodem dostępności osobnego protokołu rozmowy w czasie rzeczywistym.
Limity kontekstu i wyjścia
Dedykowana specyfikacja podaje okno kontekstu 32 768 tokenów, maksymalną długość wejścia 30 720 tokenów i maksymalną długość wyjścia 2 048 tokenów. Przygotuj materiał źródłowy i pożądaną odpowiedź z uwzględnieniem tych odrębnych limitów. Dane multimodalne muszą mieścić się w budżecie swojej reprezentacji, a nie tylko w liczbie wpisanych znaków. Prośbę o długą narrację należy zawęzić do krótkiego wyjaśnienia mieszczącego się w limicie wyjścia.
Te limity tokenów nie wyznaczają uniwersalnej długości w minutach ani uniwersalnej liczby obrazów. Wstępne przetwarzanie mediów i wybrana wersja wpływają na ilość mieszczącego się materiału. Strona modelu nie publikuje architektury checkpointu ani liczby parametrów, dlatego oznaczenia Turbo nie należy używać do wymyślania rozmiaru ani zapożyczania architektury innego modelu Omni.
Narzędzia i istotne ograniczenia
Macierz możliwości tego konkretnego modelu nie przewiduje wywoływania funkcji, wbudowanego wyszukiwania w sieci ani wymuszanych wyjść strukturyzowanych. Wymienia inferencję wsadową w niektórych konfiguracjach producenta, a buforowanie kontekstu w innej. Prośba o listę lub odpowiedź w postaci JSON jest żądaniem formatu tekstu, a nie gwarancją egzekwowania schematu. Zdolność modelu do rozumienia zadania wizualnego lub ustnego nie daje mu także dostępu do bieżących informacji ani systemów zewnętrznych.
Sprawdź, czy odpowiedź rozróżnia widoczny materiał dowodowy, słyszalną treść i interpretację. Cytaty z wypowiedzi, małe etykiety na obrazie i wywnioskowane relacje należy porównać z dostarczonym materiałem. Przy wyniku głosowym zachowaj towarzyszący tekst, gdy jest dostępny, aby recenzent mógł sprawdzić wyjaśnienie. Praktyczną zaletą jest łączenie kilku modalności w jednej odpowiedzi, przy zwięzłym wyjściu dopasowanym do udokumentowanej wersji.
", "aboutText": "Przegląd: rozumienie różnych mediów i odpowiedzi głosowe\n\nQwen-Omni-Turbo to model Qwen do multimodalnego rozumienia i generowania. Przyjmuje tekst, obrazy, mowę i wideo, także połączenia tych danych wejściowych, a zwraca tekst lub tekst z naturalną mową. Producent opisuje równoczesne strumieniowanie tekstu i mowy oraz cztery naturalne głosy do rozmów. Model nadaje się więc do zadań, w których pytanie i materiał stanowiący podstawę odpowiedzi przychodzą w różnych formach, takich jak ustne pytanie o fotografię lub objaśnienie sceny audiowizualnej.\n\nDokładna nazwa i jej wersje\n\nBieżąca strona modelu producenta opisuje qwen-omni-turbo jako funkcjonalnie równoważny datowanej wersji qwen-omni-turbo-2025-03-26. Osobno wymienia qwen-omni-turbo-latest jako nazwę aktualizowaną dynamicznie i zachowuje odrębność wcześniejszej wersji qwen-omni-turbo-2025-01-19. Wersja marcowa jest opisywana jako poprawiająca możliwości wizualne względem styczniowej. Są to relacje między wersjami określone przez producenta, a nie dowód, że każda podobnie nazwana ścieżka w aplikacji używa identycznych wag lub ustawień. Zachowaj nazwę datowanej wersji, gdy zadanie wymaga dokładnie określonej wersji.\n\nNazwa Turbo nie oznacza osobnej edycji działającej w czasie rzeczywistym, nowszej generacji Qwen-Omni ani otwartego checkpointu Qwen2.5-Omni-7B. Ich reguły wejścia, głosy i interfejsy wymagają własnej dokumentacji. W szczególności czterech głosów opisanych dla Omni-Turbo nie należy przenosić do opisu otwartego checkpointu z dwoma głosami.\n\nPrzygotowanie zadania łączącego różne media\n\nOkreśl, co model ma powiązać między danymi wejściowymi. Przy ustnym pytaniu o diagram dostarcz diagram i pytanie razem, a następnie poproś o wyjaśnienie omawianego, widocznego elementu. Przy wideo z mową określ, czy wynik ma podsumowywać to, co widać, to, co jest mówione, czy relację między nimi. Przydatny wynik może oddzielać obserwacje wizualne od obserwacji audio przed przedstawieniem wniosku.\n\nPrzy przeglądzie multimedialnym podaj odpowiedni krótki fragment zamiast kilku niezwiązanych materiałów. Oznacz obrazy i wyjaśnij ich rolę, jeśli jest ich więcej niż jeden. Zachowaj dźwięk i informacje o czasie istotne dla pytania. Poproś o wynik o konkretnym zakresie, na przykład głosowe wyjaśnienie dla słuchacza lub zwięzłą tekstową listę szczegółów sceny. Są to autorskie przykłady zastosowań udokumentowanych możliwości łączenia danych wejściowych, a nie twierdzenia, że konkretny klip został już przeanalizowany.\n\nWyjście tekstowe i głosowe\n\nOpis modelu producenta obejmuje odpowiedzi tekstowe oraz równoczesne strumieniowanie tekstu i mowy. Głosowe wyjaśnienie może być odpowiednie w pomocy konwersacyjnej, natomiast tekst łatwiej sprawdzać, przeszukiwać i porównywać z materiałem źródłowym. Wybrany tryb wyjścia i mechanizmy sterowania głosem zależą od interfejsu udostępniającego model. Strumieniowanie oznacza przekazywanie wyniku w kolejnych częściach; nie jest gwarancją czasu odpowiedzi ani dowodem dostępności osobnego protokołu rozmowy w czasie rzeczywistym.\n\nLimity kontekstu i wyjścia\n\nDedykowana specyfikacja podaje okno kontekstu 32 768 tokenów, maksymalną długość wejścia 30 720 tokenów i maksymalną długość wyjścia 2 048 tokenów. Przygotuj materiał źródłowy i pożądaną odpowiedź z uwzględnieniem tych odrębnych limitów. Dane multimodalne muszą mieścić się w budżecie swojej reprezentacji, a nie tylko w liczbie wpisanych znaków. Prośbę o długą narrację należy zawęzić do krótkiego wyjaśnienia mieszczącego się w limicie wyjścia.\n\nTe limity tokenów nie wyznaczają uniwersalnej długości w minutach ani uniwersalnej liczby obrazów. Wstępne przetwarzanie mediów i wybrana wersja wpływają na ilość mieszczącego się materiału. Strona modelu nie publikuje architektury checkpointu ani liczby parametrów, dlatego oznaczenia Turbo nie należy używać do wymyślania rozmiaru ani zapożyczania architektury innego modelu Omni.\n\nNarzędzia i istotne ograniczenia\n\nMacierz możliwości tego konkretnego modelu nie przewiduje wywoływania funkcji, wbudowanego wyszukiwania w sieci ani wymuszanych wyjść strukturyzowanych. Wymienia inferencję wsadową w niektórych konfiguracjach producenta, a buforowanie kontekstu w innej. Prośba o listę lub odpowiedź w postaci JSON jest żądaniem formatu tekstu, a nie gwarancją egzekwowania schematu. Zdolność modelu do rozumienia zadania wizualnego lub ustnego nie daje mu także dostępu do bieżących informacji ani systemów zewnętrznych.\n\nSprawdź, czy odpowiedź rozróżnia widoczny materiał dowodowy, słyszalną treść i interpretację. Cytaty z wypowiedzi, małe etykiety na obrazie i wywnioskowane relacje należy porównać z dostarczonym materiałem. Przy wyniku głosowym zachowaj towarzyszący tekst, gdy jest dostępny, aby recenzent mógł sprawdzić wyjaśnienie. Praktyczną zaletą jest łączenie kilku modalności w jednej odpowiedzi, przy zwięzłym wyjściu dopasowanym do udokumentowanej wersji.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo łączy tekst, obrazy, audio i wideo w jednym zadaniu multimodalnym i może strumieniowo zwracać tekst wraz z wypowiedzią głosową. Łącz pytanie ustne z materiałem wizualnym lub objaśniaj klip audiowizualny w ramach podanego przez producenta kontekstu 32 768 tokenów i limitu wyjścia 2 048 tokenów.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Przegląd: rozumienie różnych mediów i odpowiedzi głosowe
Qwen-Omni-Turbo to model Qwen do multimodalnego rozumienia i generowania. Przyjmuje tekst, obrazy, mowę i wideo, także połączenia tych danych wejściowych, a zwraca tekst lub tekst z naturalną mową. Producent opisuje równoczesne strumieniowanie tekstu i mowy oraz cztery naturalne głosy do rozmów. Model nadaje się więc do zadań, w których pytanie i materiał stanowiący podstawę odpowiedzi przychodzą w różnych formach, takich jak ustne pytanie o fotografię lub objaśnienie sceny audiowizualnej.
Dokładna nazwa i jej wersje
Bieżąca strona modelu producenta opisuje qwen-omni-turbo jako funkcjonalnie równoważny datowanej wersji qwen-omni-turbo-2025-03-26. Osobno wymienia qwen-omni-turbo-latest jako nazwę aktualizowaną dynamicznie i zachowuje odrębność wcześniejszej wersji qwen-omni-turbo-2025-01-19. Wersja marcowa jest opisywana jako poprawiająca możliwości wizualne względem styczniowej. Są to relacje między wersjami określone przez producenta, a nie dowód, że każda podobnie nazwana ścieżka w aplikacji używa identycznych wag lub ustawień. Zachowaj nazwę datowanej wersji, gdy zadanie wymaga dokładnie określonej wersji.
Nazwa Turbo nie oznacza osobnej edycji działającej w czasie rzeczywistym, nowszej generacji Qwen-Omni ani otwartego checkpointu Qwen2.5-Omni-7B. Ich reguły wejścia, głosy i interfejsy wymagają własnej dokumentacji. W szczególności czterech głosów opisanych dla Omni-Turbo nie należy przenosić do opisu otwartego checkpointu z dwoma głosami.
Przygotowanie zadania łączącego różne media
Określ, co model ma powiązać między danymi wejściowymi. Przy ustnym pytaniu o diagram dostarcz diagram i pytanie razem, a następnie poproś o wyjaśnienie omawianego, widocznego elementu. Przy wideo z mową określ, czy wynik ma podsumowywać to, co widać, to, co jest mówione, czy relację między nimi. Przydatny wynik może oddzielać obserwacje wizualne od obserwacji audio przed przedstawieniem wniosku.
Przy przeglądzie multimedialnym podaj odpowiedni krótki fragment zamiast kilku niezwiązanych materiałów. Oznacz obrazy i wyjaśnij ich rolę, jeśli jest ich więcej niż jeden. Zachowaj dźwięk i informacje o czasie istotne dla pytania. Poproś o wynik o konkretnym zakresie, na przykład głosowe wyjaśnienie dla słuchacza lub zwięzłą tekstową listę szczegółów sceny. Są to autorskie przykłady zastosowań udokumentowanych możliwości łączenia danych wejściowych, a nie twierdzenia, że konkretny klip został już przeanalizowany.
Wyjście tekstowe i głosowe
Opis modelu producenta obejmuje odpowiedzi tekstowe oraz równoczesne strumieniowanie tekstu i mowy. Głosowe wyjaśnienie może być odpowiednie w pomocy konwersacyjnej, natomiast tekst łatwiej sprawdzać, przeszukiwać i porównywać z materiałem źródłowym. Wybrany tryb wyjścia i mechanizmy sterowania głosem zależą od interfejsu udostępniającego model. Strumieniowanie oznacza przekazywanie wyniku w kolejnych częściach; nie jest gwarancją czasu odpowiedzi ani dowodem dostępności osobnego protokołu rozmowy w czasie rzeczywistym.
Limity kontekstu i wyjścia
Dedykowana specyfikacja podaje okno kontekstu 32 768 tokenów, maksymalną długość wejścia 30 720 tokenów i maksymalną długość wyjścia 2 048 tokenów. Przygotuj materiał źródłowy i pożądaną odpowiedź z uwzględnieniem tych odrębnych limitów. Dane multimodalne muszą mieścić się w budżecie swojej reprezentacji, a nie tylko w liczbie wpisanych znaków. Prośbę o długą narrację należy zawęzić do krótkiego wyjaśnienia mieszczącego się w limicie wyjścia.
Te limity tokenów nie wyznaczają uniwersalnej długości w minutach ani uniwersalnej liczby obrazów. Wstępne przetwarzanie mediów i wybrana wersja wpływają na ilość mieszczącego się materiału. Strona modelu nie publikuje architektury checkpointu ani liczby parametrów, dlatego oznaczenia Turbo nie należy używać do wymyślania rozmiaru ani zapożyczania architektury innego modelu Omni.
Narzędzia i istotne ograniczenia
Macierz możliwości tego konkretnego modelu nie przewiduje wywoływania funkcji, wbudowanego wyszukiwania w sieci ani wymuszanych wyjść strukturyzowanych. Wymienia inferencję wsadową w niektórych konfiguracjach producenta, a buforowanie kontekstu w innej. Prośba o listę lub odpowiedź w postaci JSON jest żądaniem formatu tekstu, a nie gwarancją egzekwowania schematu. Zdolność modelu do rozumienia zadania wizualnego lub ustnego nie daje mu także dostępu do bieżących informacji ani systemów zewnętrznych.
Sprawdź, czy odpowiedź rozróżnia widoczny materiał dowodowy, słyszalną treść i interpretację. Cytaty z wypowiedzi, małe etykiety na obrazie i wywnioskowane relacje należy porównać z dostarczonym materiałem. Przy wyniku głosowym zachowaj towarzyszący tekst, gdy jest dostępny, aby recenzent mógł sprawdzić wyjaśnienie. Praktyczną zaletą jest łączenie kilku modalności w jednej odpowiedzi, przy zwięzłym wyjściu dopasowanym do udokumentowanej wersji.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity qwen-omni-turbo | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.0046 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0138 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra qwen-omni-turbo
Użyj ścieżek metod podanych powyżej.
qwen-omni-turboQwen-Omni-Turbo łączy tekst, obrazy, audio i wideo w jednym zadaniu multimodalnym i może strumieniowo zwracać tekst wraz z wypowiedzią głosową. Łącz pytanie ustne z materiałem wizualnym lub objaśniaj klip audiowizualny w ramach podanego przez producenta kontekstu 32 768 tokenów i limitu wyjścia 2 048 tokenów.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Przegląd: rozumienie różnych mediów i odpowiedzi głosowe
Qwen-Omni-Turbo to model Qwen do multimodalnego rozumienia i generowania. Przyjmuje tekst, obrazy, mowę i wideo, także połączenia tych danych wejściowych, a zwraca tekst lub tekst z naturalną mową. Producent opisuje równoczesne strumieniowanie tekstu i mowy oraz cztery naturalne głosy do rozmów. Model nadaje się więc do zadań, w których pytanie i materiał stanowiący podstawę odpowiedzi przychodzą w różnych formach, takich jak ustne pytanie o fotografię lub objaśnienie sceny audiowizualnej.
Dokładna nazwa i jej wersje
Bieżąca strona modelu producenta opisuje qwen-omni-turbo jako funkcjonalnie równoważny datowanej wersji qwen-omni-turbo-2025-03-26. Osobno wymienia qwen-omni-turbo-latest jako nazwę aktualizowaną dynamicznie i zachowuje odrębność wcześniejszej wersji qwen-omni-turbo-2025-01-19. Wersja marcowa jest opisywana jako poprawiająca możliwości wizualne względem styczniowej. Są to relacje między wersjami określone przez producenta, a nie dowód, że każda podobnie nazwana ścieżka w aplikacji używa identycznych wag lub ustawień. Zachowaj nazwę datowanej wersji, gdy zadanie wymaga dokładnie określonej wersji.
Nazwa Turbo nie oznacza osobnej edycji działającej w czasie rzeczywistym, nowszej generacji Qwen-Omni ani otwartego checkpointu Qwen2.5-Omni-7B. Ich reguły wejścia, głosy i interfejsy wymagają własnej dokumentacji. W szczególności czterech głosów opisanych dla Omni-Turbo nie należy przenosić do opisu otwartego checkpointu z dwoma głosami.
Przygotowanie zadania łączącego różne media
Określ, co model ma powiązać między danymi wejściowymi. Przy ustnym pytaniu o diagram dostarcz diagram i pytanie razem, a następnie poproś o wyjaśnienie omawianego, widocznego elementu. Przy wideo z mową określ, czy wynik ma podsumowywać to, co widać, to, co jest mówione, czy relację między nimi. Przydatny wynik może oddzielać obserwacje wizualne od obserwacji audio przed przedstawieniem wniosku.
Przy przeglądzie multimedialnym podaj odpowiedni krótki fragment zamiast kilku niezwiązanych materiałów. Oznacz obrazy i wyjaśnij ich rolę, jeśli jest ich więcej niż jeden. Zachowaj dźwięk i informacje o czasie istotne dla pytania. Poproś o wynik o konkretnym zakresie, na przykład głosowe wyjaśnienie dla słuchacza lub zwięzłą tekstową listę szczegółów sceny. Są to autorskie przykłady zastosowań udokumentowanych możliwości łączenia danych wejściowych, a nie twierdzenia, że konkretny klip został już przeanalizowany.
Wyjście tekstowe i głosowe
Opis modelu producenta obejmuje odpowiedzi tekstowe oraz równoczesne strumieniowanie tekstu i mowy. Głosowe wyjaśnienie może być odpowiednie w pomocy konwersacyjnej, natomiast tekst łatwiej sprawdzać, przeszukiwać i porównywać z materiałem źródłowym. Wybrany tryb wyjścia i mechanizmy sterowania głosem zależą od interfejsu udostępniającego model. Strumieniowanie oznacza przekazywanie wyniku w kolejnych częściach; nie jest gwarancją czasu odpowiedzi ani dowodem dostępności osobnego protokołu rozmowy w czasie rzeczywistym.
Limity kontekstu i wyjścia
Dedykowana specyfikacja podaje okno kontekstu 32 768 tokenów, maksymalną długość wejścia 30 720 tokenów i maksymalną długość wyjścia 2 048 tokenów. Przygotuj materiał źródłowy i pożądaną odpowiedź z uwzględnieniem tych odrębnych limitów. Dane multimodalne muszą mieścić się w budżecie swojej reprezentacji, a nie tylko w liczbie wpisanych znaków. Prośbę o długą narrację należy zawęzić do krótkiego wyjaśnienia mieszczącego się w limicie wyjścia.
Te limity tokenów nie wyznaczają uniwersalnej długości w minutach ani uniwersalnej liczby obrazów. Wstępne przetwarzanie mediów i wybrana wersja wpływają na ilość mieszczącego się materiału. Strona modelu nie publikuje architektury checkpointu ani liczby parametrów, dlatego oznaczenia Turbo nie należy używać do wymyślania rozmiaru ani zapożyczania architektury innego modelu Omni.
Narzędzia i istotne ograniczenia
Macierz możliwości tego konkretnego modelu nie przewiduje wywoływania funkcji, wbudowanego wyszukiwania w sieci ani wymuszanych wyjść strukturyzowanych. Wymienia inferencję wsadową w niektórych konfiguracjach producenta, a buforowanie kontekstu w innej. Prośba o listę lub odpowiedź w postaci JSON jest żądaniem formatu tekstu, a nie gwarancją egzekwowania schematu. Zdolność modelu do rozumienia zadania wizualnego lub ustnego nie daje mu także dostępu do bieżących informacji ani systemów zewnętrznych.
Sprawdź, czy odpowiedź rozróżnia widoczny materiał dowodowy, słyszalną treść i interpretację. Cytaty z wypowiedzi, małe etykiety na obrazie i wywnioskowane relacje należy porównać z dostarczonym materiałem. Przy wyniku głosowym zachowaj towarzyszący tekst, gdy jest dostępny, aby recenzent mógł sprawdzić wyjaśnienie. Praktyczną zaletą jest łączenie kilku modalności w jednej odpowiedzi, przy zwięzłym wyjściu dopasowanym do udokumentowanej wersji.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity qwen-omni-turbo | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.0046 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0138 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra qwen-omni-turbo
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.