Prehľad: porozumenie kombinovaným médiám a hovorené odpovede
Qwen-Omni-Turbo je model Qwen na multimodálne porozumenie a generovanie. Prijíma text, obrázky, reč a video vrátane kombinácií týchto vstupov a vytvára text alebo text s prirodzenou rečou. Výrobca opisuje súčasné streamovanie textu a reči so štyrmi možnosťami prirodzeného konverzačného hlasu. Model je preto vhodný na úlohu, pri ktorej otázka a podklady prichádzajú v rôznych formách, napríklad hovorená otázka o fotografii alebo vysvetlenie audiovizuálnej scény.
Presný názov a jeho verzie
Aktuálna stránka modelu výrobcu opisuje qwen-omni-turbo ako funkčne ekvivalentný datovanej verzii qwen-omni-turbo-2025-03-26. Samostatne uvádza qwen-omni-turbo-latest ako dynamicky aktualizovaný názov a odlišuje staršiu datovanú verziu qwen-omni-turbo-2025-01-19. Marcová verzia je opísaná ako zlepšenie vizuálnych schopností oproti januárovej. Ide o vzťahy medzi verziami určené výrobcom, nie o dôkaz, že každá podobne pomenovaná trasa aplikácie používa rovnaké váhy alebo nastavenia. Keď úloha vyžaduje presnú verziu, zachovajte názov datovanej verzie.
Názov Turbo neoznačuje samostatnú verziu pre prácu v reálnom čase, novšiu generáciu Qwen-Omni ani otvorený checkpoint Qwen2.5-Omni-7B. Ich pravidlá vstupu, hlasy a rozhrania potrebujú vlastnú dokumentáciu. Najmä štyri hlasové možnosti opísané pre Omni-Turbo sa nemajú prenášať do opisu otvoreného checkpointu s dvoma hlasmi.
Príprava úlohy s kombinovanými médiami
Uveďte, čo má model prepojiť medzi vstupmi. Pri hovorenej otázke o diagrame poskytnite diagram spolu s otázkou a potom požiadajte o vysvetlenie viditeľného prvku, o ktorom sa hovorí. Pri videu s rečou uveďte, či chcete zhrnutie toho, čo je vidieť, čo je povedané, alebo ako tieto dve zložky súvisia. Užitočný výstup môže pred záverom oddeliť vizuálne pozorovania od zvukových.
Pri multimediálnej kontrole poskytnite relevantný krátky úryvok namiesto viacerých nesúvisiacich materiálov. Označte obrázky a vysvetlite ich úlohu, ak ich je viac. Zachovajte zvuk a časové informácie dôležité pre otázku. Požiadajte o cielený výsledok, napríklad hovorené vysvetlenie pre poslucháča alebo stručný textový zoznam detailov scény. Ide o navrhnuté použitia dokumentovaných schopností kombinovaného vstupu, nie o tvrdenia, že konkrétna ukážka už bola analyzovaná.
Textový a hlasový výstup
Opis modelu výrobcu podporuje textové odpovede a súčasne streamovaný text a reč. Hovorené vysvetlenie môže byť vhodné pre konverzačnú pomoc, zatiaľ čo text sa ľahšie kontroluje, prehľadáva a porovnáva so zdrojovým materiálom. Zvolený režim výstupu a ovládacie prvky hlasu závisia od rozhrania, ktoré model sprístupňuje. Streamovanie označuje poskytovanie v postupných častiach; nejde o garantovaný čas odpovede ani dôkaz, že je dostupný samostatný protokol na konverzáciu v reálnom čase.
Limity kontextu a výstupu
Samostatná špecifikácia uvádza kontextové okno 32 768 tokenov, maximálnu dĺžku vstupu 30 720 tokenov a maximálnu dĺžku výstupu 2 048 tokenov. Zdrojový materiál a požadovanú odpoveď pripravte s ohľadom na tieto samostatné limity. Multimodálny vstup sa musí zmestiť do limitu svojej reprezentácie, nie iba do počtu napísaných znakov. Požiadavku na dlhé rozprávanie treba zúžiť na krátke vysvetlenie, ktoré sa zmestí do výstupného limitu.
Tieto tokenové limity neurčujú univerzálne trvanie v minútach ani univerzálny počet obrázkov. Predspracovanie médií a zvolená verzia ovplyvňujú, koľko materiálu sa zmestí. Stránka modelu nezverejňuje architektúru checkpointu ani počet parametrov, preto sa označenie Turbo nemá používať na vymýšľanie veľkosti ani na preberanie architektúry iného modelu Omni.
Nástroje a podstatné obmedzenia
Matica schopností tohto konkrétneho modelu nepodporuje volanie funkcií, vstavané vyhľadávanie na webe ani štruktúrované výstupy s vynúteným dodržiavaním schémy. Uvádza dávkovú inferenciu v niektorých konfiguráciách výrobcu a ukladanie kontextu do vyrovnávacej pamäte v inej. Žiadosť o zoznam alebo odpoveď vo formáte JSON je požiadavkou na textový formát, nie zárukou dodržania schémy. Schopnosť modelu porozumieť vizuálnej alebo hovorenej úlohe mu tiež nedáva prístup k aktuálnym informáciám ani externým systémom.
Skontrolujte, či odpoveď rozlišuje viditeľné podklady, počuteľný obsah a interpretáciu. Citácie hovoreného obsahu, malé vizuálne označenia a odvodené vzťahy treba porovnať s poskytnutým materiálom. Pri hovorenom výsledku zachovajte sprievodný text, ak je k dispozícii, aby kontrolór mohol preskúmať vysvetlenie. Praktickou výhodou je prepojenie viacerých modalít v jednej odpovedi so stručným výstupom, ktorého rozsah zodpovedá dokumentovanej verzii.
", "aboutText": "Prehľad: porozumenie kombinovaným médiám a hovorené odpovede\n\nQwen-Omni-Turbo je model Qwen na multimodálne porozumenie a generovanie. Prijíma text, obrázky, reč a video vrátane kombinácií týchto vstupov a vytvára text alebo text s prirodzenou rečou. Výrobca opisuje súčasné streamovanie textu a reči so štyrmi možnosťami prirodzeného konverzačného hlasu. Model je preto vhodný na úlohu, pri ktorej otázka a podklady prichádzajú v rôznych formách, napríklad hovorená otázka o fotografii alebo vysvetlenie audiovizuálnej scény.\n\nPresný názov a jeho verzie\n\nAktuálna stránka modelu výrobcu opisuje qwen-omni-turbo ako funkčne ekvivalentný datovanej verzii qwen-omni-turbo-2025-03-26. Samostatne uvádza qwen-omni-turbo-latest ako dynamicky aktualizovaný názov a odlišuje staršiu datovanú verziu qwen-omni-turbo-2025-01-19. Marcová verzia je opísaná ako zlepšenie vizuálnych schopností oproti januárovej. Ide o vzťahy medzi verziami určené výrobcom, nie o dôkaz, že každá podobne pomenovaná trasa aplikácie používa rovnaké váhy alebo nastavenia. Keď úloha vyžaduje presnú verziu, zachovajte názov datovanej verzie.\n\nNázov Turbo neoznačuje samostatnú verziu pre prácu v reálnom čase, novšiu generáciu Qwen-Omni ani otvorený checkpoint Qwen2.5-Omni-7B. Ich pravidlá vstupu, hlasy a rozhrania potrebujú vlastnú dokumentáciu. Najmä štyri hlasové možnosti opísané pre Omni-Turbo sa nemajú prenášať do opisu otvoreného checkpointu s dvoma hlasmi.\n\nPríprava úlohy s kombinovanými médiami\n\nUveďte, čo má model prepojiť medzi vstupmi. Pri hovorenej otázke o diagrame poskytnite diagram spolu s otázkou a potom požiadajte o vysvetlenie viditeľného prvku, o ktorom sa hovorí. Pri videu s rečou uveďte, či chcete zhrnutie toho, čo je vidieť, čo je povedané, alebo ako tieto dve zložky súvisia. Užitočný výstup môže pred záverom oddeliť vizuálne pozorovania od zvukových.\n\nPri multimediálnej kontrole poskytnite relevantný krátky úryvok namiesto viacerých nesúvisiacich materiálov. Označte obrázky a vysvetlite ich úlohu, ak ich je viac. Zachovajte zvuk a časové informácie dôležité pre otázku. Požiadajte o cielený výsledok, napríklad hovorené vysvetlenie pre poslucháča alebo stručný textový zoznam detailov scény. Ide o navrhnuté použitia dokumentovaných schopností kombinovaného vstupu, nie o tvrdenia, že konkrétna ukážka už bola analyzovaná.\n\nTextový a hlasový výstup\n\nOpis modelu výrobcu podporuje textové odpovede a súčasne streamovaný text a reč. Hovorené vysvetlenie môže byť vhodné pre konverzačnú pomoc, zatiaľ čo text sa ľahšie kontroluje, prehľadáva a porovnáva so zdrojovým materiálom. Zvolený režim výstupu a ovládacie prvky hlasu závisia od rozhrania, ktoré model sprístupňuje. Streamovanie označuje poskytovanie v postupných častiach; nejde o garantovaný čas odpovede ani dôkaz, že je dostupný samostatný protokol na konverzáciu v reálnom čase.\n\nLimity kontextu a výstupu\n\nSamostatná špecifikácia uvádza kontextové okno 32 768 tokenov, maximálnu dĺžku vstupu 30 720 tokenov a maximálnu dĺžku výstupu 2 048 tokenov. Zdrojový materiál a požadovanú odpoveď pripravte s ohľadom na tieto samostatné limity. Multimodálny vstup sa musí zmestiť do limitu svojej reprezentácie, nie iba do počtu napísaných znakov. Požiadavku na dlhé rozprávanie treba zúžiť na krátke vysvetlenie, ktoré sa zmestí do výstupného limitu.\n\nTieto tokenové limity neurčujú univerzálne trvanie v minútach ani univerzálny počet obrázkov. Predspracovanie médií a zvolená verzia ovplyvňujú, koľko materiálu sa zmestí. Stránka modelu nezverejňuje architektúru checkpointu ani počet parametrov, preto sa označenie Turbo nemá používať na vymýšľanie veľkosti ani na preberanie architektúry iného modelu Omni.\n\nNástroje a podstatné obmedzenia\n\nMatica schopností tohto konkrétneho modelu nepodporuje volanie funkcií, vstavané vyhľadávanie na webe ani štruktúrované výstupy s vynúteným dodržiavaním schémy. Uvádza dávkovú inferenciu v niektorých konfiguráciách výrobcu a ukladanie kontextu do vyrovnávacej pamäte v inej. Žiadosť o zoznam alebo odpoveď vo formáte JSON je požiadavkou na textový formát, nie zárukou dodržania schémy. Schopnosť modelu porozumieť vizuálnej alebo hovorenej úlohe mu tiež nedáva prístup k aktuálnym informáciám ani externým systémom.\n\nSkontrolujte, či odpoveď rozlišuje viditeľné podklady, počuteľný obsah a interpretáciu. Citácie hovoreného obsahu, malé vizuálne označenia a odvodené vzťahy treba porovnať s poskytnutým materiálom. Pri hovorenom výsledku zachovajte sprievodný text, ak je k dispozícii, aby kontrolór mohol preskúmať vysvetlenie. Praktickou výhodou je prepojenie viacerých modalít v jednej odpovedi so stručným výstupom, ktorého rozsah zodpovedá dokumentovanej verzii.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický príklad v angličtine
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo spája text, obrázky, zvuk a video v jednej multimodálnej úlohe a dokáže streamovať text spolu s hovorenými odpoveďami. Použite ho na prepojenie hovorenej otázky s vizuálnymi podkladmi alebo na vysvetlenie audiovizuálnej ukážky v rámci kontextu 32 768 tokenov a výstupného limitu 2 048 tokenov výrobcu.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Prehľad: porozumenie kombinovaným médiám a hovorené odpovede
Qwen-Omni-Turbo je model Qwen na multimodálne porozumenie a generovanie. Prijíma text, obrázky, reč a video vrátane kombinácií týchto vstupov a vytvára text alebo text s prirodzenou rečou. Výrobca opisuje súčasné streamovanie textu a reči so štyrmi možnosťami prirodzeného konverzačného hlasu. Model je preto vhodný na úlohu, pri ktorej otázka a podklady prichádzajú v rôznych formách, napríklad hovorená otázka o fotografii alebo vysvetlenie audiovizuálnej scény.
Presný názov a jeho verzie
Aktuálna stránka modelu výrobcu opisuje qwen-omni-turbo ako funkčne ekvivalentný datovanej verzii qwen-omni-turbo-2025-03-26. Samostatne uvádza qwen-omni-turbo-latest ako dynamicky aktualizovaný názov a odlišuje staršiu datovanú verziu qwen-omni-turbo-2025-01-19. Marcová verzia je opísaná ako zlepšenie vizuálnych schopností oproti januárovej. Ide o vzťahy medzi verziami určené výrobcom, nie o dôkaz, že každá podobne pomenovaná trasa aplikácie používa rovnaké váhy alebo nastavenia. Keď úloha vyžaduje presnú verziu, zachovajte názov datovanej verzie.
Názov Turbo neoznačuje samostatnú verziu pre prácu v reálnom čase, novšiu generáciu Qwen-Omni ani otvorený checkpoint Qwen2.5-Omni-7B. Ich pravidlá vstupu, hlasy a rozhrania potrebujú vlastnú dokumentáciu. Najmä štyri hlasové možnosti opísané pre Omni-Turbo sa nemajú prenášať do opisu otvoreného checkpointu s dvoma hlasmi.
Príprava úlohy s kombinovanými médiami
Uveďte, čo má model prepojiť medzi vstupmi. Pri hovorenej otázke o diagrame poskytnite diagram spolu s otázkou a potom požiadajte o vysvetlenie viditeľného prvku, o ktorom sa hovorí. Pri videu s rečou uveďte, či chcete zhrnutie toho, čo je vidieť, čo je povedané, alebo ako tieto dve zložky súvisia. Užitočný výstup môže pred záverom oddeliť vizuálne pozorovania od zvukových.
Pri multimediálnej kontrole poskytnite relevantný krátky úryvok namiesto viacerých nesúvisiacich materiálov. Označte obrázky a vysvetlite ich úlohu, ak ich je viac. Zachovajte zvuk a časové informácie dôležité pre otázku. Požiadajte o cielený výsledok, napríklad hovorené vysvetlenie pre poslucháča alebo stručný textový zoznam detailov scény. Ide o navrhnuté použitia dokumentovaných schopností kombinovaného vstupu, nie o tvrdenia, že konkrétna ukážka už bola analyzovaná.
Textový a hlasový výstup
Opis modelu výrobcu podporuje textové odpovede a súčasne streamovaný text a reč. Hovorené vysvetlenie môže byť vhodné pre konverzačnú pomoc, zatiaľ čo text sa ľahšie kontroluje, prehľadáva a porovnáva so zdrojovým materiálom. Zvolený režim výstupu a ovládacie prvky hlasu závisia od rozhrania, ktoré model sprístupňuje. Streamovanie označuje poskytovanie v postupných častiach; nejde o garantovaný čas odpovede ani dôkaz, že je dostupný samostatný protokol na konverzáciu v reálnom čase.
Limity kontextu a výstupu
Samostatná špecifikácia uvádza kontextové okno 32 768 tokenov, maximálnu dĺžku vstupu 30 720 tokenov a maximálnu dĺžku výstupu 2 048 tokenov. Zdrojový materiál a požadovanú odpoveď pripravte s ohľadom na tieto samostatné limity. Multimodálny vstup sa musí zmestiť do limitu svojej reprezentácie, nie iba do počtu napísaných znakov. Požiadavku na dlhé rozprávanie treba zúžiť na krátke vysvetlenie, ktoré sa zmestí do výstupného limitu.
Tieto tokenové limity neurčujú univerzálne trvanie v minútach ani univerzálny počet obrázkov. Predspracovanie médií a zvolená verzia ovplyvňujú, koľko materiálu sa zmestí. Stránka modelu nezverejňuje architektúru checkpointu ani počet parametrov, preto sa označenie Turbo nemá používať na vymýšľanie veľkosti ani na preberanie architektúry iného modelu Omni.
Nástroje a podstatné obmedzenia
Matica schopností tohto konkrétneho modelu nepodporuje volanie funkcií, vstavané vyhľadávanie na webe ani štruktúrované výstupy s vynúteným dodržiavaním schémy. Uvádza dávkovú inferenciu v niektorých konfiguráciách výrobcu a ukladanie kontextu do vyrovnávacej pamäte v inej. Žiadosť o zoznam alebo odpoveď vo formáte JSON je požiadavkou na textový formát, nie zárukou dodržania schémy. Schopnosť modelu porozumieť vizuálnej alebo hovorenej úlohe mu tiež nedáva prístup k aktuálnym informáciám ani externým systémom.
Skontrolujte, či odpoveď rozlišuje viditeľné podklady, počuteľný obsah a interpretáciu. Citácie hovoreného obsahu, malé vizuálne označenia a odvodené vzťahy treba porovnať s poskytnutým materiálom. Pri hovorenom výsledku zachovajte sprievodný text, ak je k dispozícii, aby kontrolór mohol preskúmať vysvetlenie. Praktickou výhodou je prepojenie viacerých modalít v jednej odpovedi so stručným výstupom, ktorého rozsah zodpovedá dokumentovanej verzii.
POST /v1/chat/completionstexttext| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity qwen-omni-turbo | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity Príklady: system, user, assistant, tool, function Podmienky: Tieto roly sú výslovne zastúpené typmi kompatibility v zdrojovom kóde; presný súbor rolí zostáva závislý od modelu. Závisí od modelu | Predvolené— |
Polemessages[].content | Typstring|content_part[]|null | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_calls | Typtool_call[] | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_call_id | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: role=tool; použite skutočne vrátené ID | Predvolené— |
Polemessages[].name | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].reasoning_content | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: Posielajte späť skutočne vrátené uvažovanie, ak ho tento model používa | Predvolené— |
Polemessages[].reasoning_details | Typobject|array | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polemax_completion_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Polestream_options.include_usage | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletemperature | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletop_p | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polestop | Typstring|string[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools | Typfunction_tool[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools[].type | Typstring | PožiadavkaVoliteľné | Hodnoty a limity function Závisí od modelu | Predvolené— |
Poletools[].function.name | Typstring | PožiadavkaPovinné | Hodnoty a limity Platí, keď: poskytnutý nástroj typu funkcia | Predvolené— |
Poletools[].function.description | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletools[].function.parameters | TypJSON_schema | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletool_choice | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleparallel_tool_calls | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleresponse_format | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning_effort | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleservice_tier | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleinstructions | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Pole kompatibility | Predvolené— |
Polefunctions | Typfunction[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polefunction_call | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleprompt_cache_options | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemodalities | Typstring[] | PožiadavkaVoliteľné | Hodnoty a limity text | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa na tejto textovej trase Ultra odmieta | Predvolené— |
Polecache_control.ttl | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Hodnota 1h sa v skutočne používaných poliach cache promptov odmieta | Predvolené— |
Text · Text UTF8
messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages |
Parametermaterial_types | Špecifikáciatext |
Parametermessages | Špecifikáciapole správ so štruktúrou role/content |
Parameterfile_material | Špecifikáciaskutočný dokument UTF-8 vložený ako doslovný text; ID súboru sa neodvodzuje |
Parameteroptional_controls | Špecifikáciastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Špecifikáciazávisí od modelu; používateľské nástroje typu funkcia sa líšia od nástrojov prevádzkovaných službou |
Parameteroutput_modalities | Špecifikáciatext |
Parameterhosted_operations | Špecifikáciafalse |
Parametermultimodal_input_binding | Špecifikácianull |
Životný cyklus: synchronous_or_streamed
Pošlite presné ID modelu spolu s messages.
Dĺžka kontextu nie je horná hranica výstupu.
Textový súbor môže poskytnúť doslovný text; obrazové a zvukové vstupy a vstupy so súborovými objektmi potrebujú presné naviazanie.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.0046 / 1K tokenov Výstup · Výstupné tokeny $0.0138 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte každý variant odpovede a jeho obsah, volania nástrojov a uvažovanie. V SSE zostavujte čiastkové zmeny podľa indexu variantu/nástroja a zachovajte konečný dôvod ukončenia aj údaje o spotrebe.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra qwen-omni-turbo
Použite cesty metód uvedené vyššie.
qwen-omni-turboQwen-Omni-Turbo spája text, obrázky, zvuk a video v jednej multimodálnej úlohe a dokáže streamovať text spolu s hovorenými odpoveďami. Použite ho na prepojenie hovorenej otázky s vizuálnymi podkladmi alebo na vysvetlenie audiovizuálnej ukážky v rámci kontextu 32 768 tokenov a výstupného limitu 2 048 tokenov výrobcu.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Prehľad: porozumenie kombinovaným médiám a hovorené odpovede
Qwen-Omni-Turbo je model Qwen na multimodálne porozumenie a generovanie. Prijíma text, obrázky, reč a video vrátane kombinácií týchto vstupov a vytvára text alebo text s prirodzenou rečou. Výrobca opisuje súčasné streamovanie textu a reči so štyrmi možnosťami prirodzeného konverzačného hlasu. Model je preto vhodný na úlohu, pri ktorej otázka a podklady prichádzajú v rôznych formách, napríklad hovorená otázka o fotografii alebo vysvetlenie audiovizuálnej scény.
Presný názov a jeho verzie
Aktuálna stránka modelu výrobcu opisuje qwen-omni-turbo ako funkčne ekvivalentný datovanej verzii qwen-omni-turbo-2025-03-26. Samostatne uvádza qwen-omni-turbo-latest ako dynamicky aktualizovaný názov a odlišuje staršiu datovanú verziu qwen-omni-turbo-2025-01-19. Marcová verzia je opísaná ako zlepšenie vizuálnych schopností oproti januárovej. Ide o vzťahy medzi verziami určené výrobcom, nie o dôkaz, že každá podobne pomenovaná trasa aplikácie používa rovnaké váhy alebo nastavenia. Keď úloha vyžaduje presnú verziu, zachovajte názov datovanej verzie.
Názov Turbo neoznačuje samostatnú verziu pre prácu v reálnom čase, novšiu generáciu Qwen-Omni ani otvorený checkpoint Qwen2.5-Omni-7B. Ich pravidlá vstupu, hlasy a rozhrania potrebujú vlastnú dokumentáciu. Najmä štyri hlasové možnosti opísané pre Omni-Turbo sa nemajú prenášať do opisu otvoreného checkpointu s dvoma hlasmi.
Príprava úlohy s kombinovanými médiami
Uveďte, čo má model prepojiť medzi vstupmi. Pri hovorenej otázke o diagrame poskytnite diagram spolu s otázkou a potom požiadajte o vysvetlenie viditeľného prvku, o ktorom sa hovorí. Pri videu s rečou uveďte, či chcete zhrnutie toho, čo je vidieť, čo je povedané, alebo ako tieto dve zložky súvisia. Užitočný výstup môže pred záverom oddeliť vizuálne pozorovania od zvukových.
Pri multimediálnej kontrole poskytnite relevantný krátky úryvok namiesto viacerých nesúvisiacich materiálov. Označte obrázky a vysvetlite ich úlohu, ak ich je viac. Zachovajte zvuk a časové informácie dôležité pre otázku. Požiadajte o cielený výsledok, napríklad hovorené vysvetlenie pre poslucháča alebo stručný textový zoznam detailov scény. Ide o navrhnuté použitia dokumentovaných schopností kombinovaného vstupu, nie o tvrdenia, že konkrétna ukážka už bola analyzovaná.
Textový a hlasový výstup
Opis modelu výrobcu podporuje textové odpovede a súčasne streamovaný text a reč. Hovorené vysvetlenie môže byť vhodné pre konverzačnú pomoc, zatiaľ čo text sa ľahšie kontroluje, prehľadáva a porovnáva so zdrojovým materiálom. Zvolený režim výstupu a ovládacie prvky hlasu závisia od rozhrania, ktoré model sprístupňuje. Streamovanie označuje poskytovanie v postupných častiach; nejde o garantovaný čas odpovede ani dôkaz, že je dostupný samostatný protokol na konverzáciu v reálnom čase.
Limity kontextu a výstupu
Samostatná špecifikácia uvádza kontextové okno 32 768 tokenov, maximálnu dĺžku vstupu 30 720 tokenov a maximálnu dĺžku výstupu 2 048 tokenov. Zdrojový materiál a požadovanú odpoveď pripravte s ohľadom na tieto samostatné limity. Multimodálny vstup sa musí zmestiť do limitu svojej reprezentácie, nie iba do počtu napísaných znakov. Požiadavku na dlhé rozprávanie treba zúžiť na krátke vysvetlenie, ktoré sa zmestí do výstupného limitu.
Tieto tokenové limity neurčujú univerzálne trvanie v minútach ani univerzálny počet obrázkov. Predspracovanie médií a zvolená verzia ovplyvňujú, koľko materiálu sa zmestí. Stránka modelu nezverejňuje architektúru checkpointu ani počet parametrov, preto sa označenie Turbo nemá používať na vymýšľanie veľkosti ani na preberanie architektúry iného modelu Omni.
Nástroje a podstatné obmedzenia
Matica schopností tohto konkrétneho modelu nepodporuje volanie funkcií, vstavané vyhľadávanie na webe ani štruktúrované výstupy s vynúteným dodržiavaním schémy. Uvádza dávkovú inferenciu v niektorých konfiguráciách výrobcu a ukladanie kontextu do vyrovnávacej pamäte v inej. Žiadosť o zoznam alebo odpoveď vo formáte JSON je požiadavkou na textový formát, nie zárukou dodržania schémy. Schopnosť modelu porozumieť vizuálnej alebo hovorenej úlohe mu tiež nedáva prístup k aktuálnym informáciám ani externým systémom.
Skontrolujte, či odpoveď rozlišuje viditeľné podklady, počuteľný obsah a interpretáciu. Citácie hovoreného obsahu, malé vizuálne označenia a odvodené vzťahy treba porovnať s poskytnutým materiálom. Pri hovorenom výsledku zachovajte sprievodný text, ak je k dispozícii, aby kontrolór mohol preskúmať vysvetlenie. Praktickou výhodou je prepojenie viacerých modalít v jednej odpovedi so stručným výstupom, ktorého rozsah zodpovedá dokumentovanej verzii.
POST /v1/messagestextjson, sse| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity qwen-omni-turbo | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity user, assistant | Predvolené— |
Polemessages[].content | Typstring | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Text · Text UTF-8
reťazec messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages, max_tokens |
Parameteroptional_controls | Špecifikáciastream |
Parametermaterial_types | Špecifikáciatext |
Parametertext_file_material | ŠpecifikáciaPrečítajte skutočný dokument UTF-8 a vložte jeho text do uvedeného vstupného reťazca alebo reťazca obsahu správy. |
Životný cyklus: synchronous_or_streamed
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.0046 / 1K tokenov Výstup · Výstupné tokeny $0.0138 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte všetky bloky obsahu, podpisy uvažovania a skutočné ID volaní nástrojov. Zostavte všetky čiastkové zmeny blokov SSE; prvý textový blok nie je celý výstup.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra qwen-omni-turbo
Použite cesty metód uvedené vyššie.
Technický príklad v angličtine
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.