Prehľad: jeden model pre viacero vstupných modalít
Qwen2.5-Omni-7B je multimodálny model Qwen pokrývajúci celý postup pre text, obrázky, zvuk a video. Dokáže týmto vstupom porozumieť spoločne a v streamovanom postupe generovať text s prirodzenou rečou. Použite ho, keď úloha závisí od toho, čo je vidieť aj počuť, alebo keď používateľ zadáva pokyn hlasom namiesto písania. Ide o konkrétny kontrolný bod 7B; komerčný Omni-Turbo a neskoršie vydania Omni majú vlastné kontrakty.
Hlavné vlastnosti a architektúra
Návrh Thinker-Talker spája porozumenie s generovaním reči. Thinker spracúva multimodálnu úlohu a vytvára textový obsah, zatiaľ čo Talker sa podieľa na tvorbe hovorenej odpovede. TMRoPE, časovo zarovnaná multimodálna pozičná schéma výrobcu, synchronizuje časové značky videa so zvukom. Architektúra je navrhnutá pre vstup po blokoch a pohotovú hlasovú alebo video interakciu; tento cieľ návrhu nie je pevnou zárukou času odpovede pre každé rozhranie.
Výrobcom pokryté úlohy zahŕňajú rozpoznávanie reči, preklad reči, porozumenie zvuku, uvažovanie o obrázkoch, porozumenie videu a generovanie reči. Hovorené pokyny sa preto môžu priamo zúčastňovať multimodálnej otázky bez toho, aby vždy vyžadovali samostatne dodaný písaný prepis. Cieľovú úlohu udržujte jasnú: porozumenie zvukovému klipu, zodpovedanie hovorenej otázky a vytvorenie hovorenej odpovede sú odlišné použitia, hoci model podporuje všetky ich vstupné či výstupné formy.
Príprava multimodálnej konverzácie
Poskytnite relevantné médiá a povedzte, ako ich má odpoveď prepojiť. Pri komentovanej ukážke požiadajte model, aby odlíšil viditeľné kroky od vysvetlenia hovoriaceho a určil, kde sa zhodujú. Pri obrázku so zvukovou otázkou určte úlohu obrázka a žiadajte stručnú odpoveď založenú na viditeľnom obsahu. Pri čisto zvukovom úryvku uveďte, či je cieľom rozpoznanie reči, vysvetlenie zvukov alebo odpoveď na otázku o obsahu. Ide o autorské aplikácie dokumentovaného pokrytia úloh.
Príklady výrobcu ukazujú čisto textové, čisto zvukové, čisto video aj kombinované mediálne konverzácie. Zachovajte pôvodné poradie a časovanie videa. Samostatné podklady označte, aby sa na ne model mohol odvolávať bez považovania nesúvisiacich dôkazov za jednu udalosť. Výsledkom môže byť iba text alebo text s rečou; užitočný artefakt si vyberte pred prípravou požiadavky.
Príprava hlasového výstupu
Postup Qwen pre tento kontrolný bod vyžaduje dokumentovaný systémový pokyn pre zvukové schopnosti, ak je potrebný hlasový výstup. Pokyn identifikuje Qwen a jeho sluchové, vizuálne, textové a rečové schopnosti; nesúvisiaca náhrada môže zabrániť očakávanému zvukovému správaniu. Ide o odporúčanie pre postup výrobcu s kontrolným bodom, nie tvrdenie, že každá aplikácia sprístupňuje ovládanie systémového pokynu alebo generovania zvuku.
Konkrétny kontrolný bod ponúka dva hlasy: Chelsie, vľúdny ženský hlas, a Ethan, veselý mužský hlas. Chelsie je dokumentovanou predvolenou voľbou, keď nie je vybraný hovoriaci. Jeho príklad generovania zapisuje reč so vzorkovacou frekvenciou 24,000 Hz. Tieto dva hlasy sa nemajú zamieňať s opisom štyroch hlasov samostatne pomenovaného komerčného modelu.
Používanie zvuku z videa
Zvuková stopa videa môže byť relevantná pre jeho význam, napríklad hovorené pokyny alebo zvuk vyvolaný viditeľnou akciou. Qwen sprístupňuje use_audio_in_video pri príprave médií, spracovaní aj generovaní. Nastavenie musí zostať konzistentné vo všetkých troch etapách aj naprieč viackolovou konverzáciou; nekonzistentné nastavenia môžu viesť k neočakávaným výsledkom. Čisto vizuálna interpretácia videa sa preto líši od audiovizuálnej interpretácie, aj keď ide o rovnaký súbor.
Čisto textový výstup a dávkovanie
Výrobca podporuje čisto textový výstup nastavením return_audio=False. Umožňuje tiež po načítaní vypnúť Talker, čím sa pamäť GPU zníži približne o 2 GB, no zvukový výstup zostane v danej inštancii nedostupný. Dokumentovaný príklad dávkovania zmiešaných vzoriek vyžaduje return_audio=False a kombinuje textové, obrazové, zvukové a video požiadavky. Tento dávkový príklad sa nemá povýšiť na tvrdenie o dávkovom generovaní reči.
Kontext a vecné limity
Konfigurácia textového základu kontrolného bodu nastavuje maximum pozícií na 32,768. Text, reprezentované médiá a generované odpovede spotrebúvajú priestor sekvencie; táto hodnota samostatne nedefinuje univerzálnu dĺžku zvuku alebo videa. Príklady nárokov na výpočtové zdroje od výrobcu ukazujú, že dlhšie video potrebuje podstatne viac pamäte, preto je krátky relevantný klip často praktickejší než veľká nesúvisiaca nahrávka. Jeho príklady nezverejňujú samostatnú pevnú maximálnu dĺžku odpovede ani univerzálne zaručenú dĺžku médií.
Overujte citácie reči a závery voči zdroju, zachovajte dostatok vizuálnych detailov pre otázku a uchovajte textový výsledok, keď posudzovateľ potrebuje preskúmať hovorené vysvetlenie. Dokumentovanou hodnotou modelu je spoločné porozumenie a textová/rečová odpoveď, zatiaľ čo konkrétne ovládanie hlasov, spracovanie médií a doručenie výstupu zostávajú vlastnosťami zvoleného rozhrania.
", "aboutText": "Prehľad: jeden model pre viacero vstupných modalít\n\nQwen2.5-Omni-7B je multimodálny model Qwen pokrývajúci celý postup pre text, obrázky, zvuk a video. Dokáže týmto vstupom porozumieť spoločne a v streamovanom postupe generovať text s prirodzenou rečou. Použite ho, keď úloha závisí od toho, čo je vidieť aj počuť, alebo keď používateľ zadáva pokyn hlasom namiesto písania. Ide o konkrétny kontrolný bod 7B; komerčný Omni-Turbo a neskoršie vydania Omni majú vlastné kontrakty.\n\nHlavné vlastnosti a architektúra\n\nNávrh Thinker-Talker spája porozumenie s generovaním reči. Thinker spracúva multimodálnu úlohu a vytvára textový obsah, zatiaľ čo Talker sa podieľa na tvorbe hovorenej odpovede. TMRoPE, časovo zarovnaná multimodálna pozičná schéma výrobcu, synchronizuje časové značky videa so zvukom. Architektúra je navrhnutá pre vstup po blokoch a pohotovú hlasovú alebo video interakciu; tento cieľ návrhu nie je pevnou zárukou času odpovede pre každé rozhranie.\n\nVýrobcom pokryté úlohy zahŕňajú rozpoznávanie reči, preklad reči, porozumenie zvuku, uvažovanie o obrázkoch, porozumenie videu a generovanie reči. Hovorené pokyny sa preto môžu priamo zúčastňovať multimodálnej otázky bez toho, aby vždy vyžadovali samostatne dodaný písaný prepis. Cieľovú úlohu udržujte jasnú: porozumenie zvukovému klipu, zodpovedanie hovorenej otázky a vytvorenie hovorenej odpovede sú odlišné použitia, hoci model podporuje všetky ich vstupné či výstupné formy.\n\nPríprava multimodálnej konverzácie\n\nPoskytnite relevantné médiá a povedzte, ako ich má odpoveď prepojiť. Pri komentovanej ukážke požiadajte model, aby odlíšil viditeľné kroky od vysvetlenia hovoriaceho a určil, kde sa zhodujú. Pri obrázku so zvukovou otázkou určte úlohu obrázka a žiadajte stručnú odpoveď založenú na viditeľnom obsahu. Pri čisto zvukovom úryvku uveďte, či je cieľom rozpoznanie reči, vysvetlenie zvukov alebo odpoveď na otázku o obsahu. Ide o autorské aplikácie dokumentovaného pokrytia úloh.\n\nPríklady výrobcu ukazujú čisto textové, čisto zvukové, čisto video aj kombinované mediálne konverzácie. Zachovajte pôvodné poradie a časovanie videa. Samostatné podklady označte, aby sa na ne model mohol odvolávať bez považovania nesúvisiacich dôkazov za jednu udalosť. Výsledkom môže byť iba text alebo text s rečou; užitočný artefakt si vyberte pred prípravou požiadavky.\n\nPríprava hlasového výstupu\n\nPostup Qwen pre tento kontrolný bod vyžaduje dokumentovaný systémový pokyn pre zvukové schopnosti, ak je potrebný hlasový výstup. Pokyn identifikuje Qwen a jeho sluchové, vizuálne, textové a rečové schopnosti; nesúvisiaca náhrada môže zabrániť očakávanému zvukovému správaniu. Ide o odporúčanie pre postup výrobcu s kontrolným bodom, nie tvrdenie, že každá aplikácia sprístupňuje ovládanie systémového pokynu alebo generovania zvuku.\n\nKonkrétny kontrolný bod ponúka dva hlasy: Chelsie, vľúdny ženský hlas, a Ethan, veselý mužský hlas. Chelsie je dokumentovanou predvolenou voľbou, keď nie je vybraný hovoriaci. Jeho príklad generovania zapisuje reč so vzorkovacou frekvenciou 24,000 Hz. Tieto dva hlasy sa nemajú zamieňať s opisom štyroch hlasov samostatne pomenovaného komerčného modelu.\n\nPoužívanie zvuku z videa\n\nZvuková stopa videa môže byť relevantná pre jeho význam, napríklad hovorené pokyny alebo zvuk vyvolaný viditeľnou akciou. Qwen sprístupňuje use_audio_in_video pri príprave médií, spracovaní aj generovaní. Nastavenie musí zostať konzistentné vo všetkých troch etapách aj naprieč viackolovou konverzáciou; nekonzistentné nastavenia môžu viesť k neočakávaným výsledkom. Čisto vizuálna interpretácia videa sa preto líši od audiovizuálnej interpretácie, aj keď ide o rovnaký súbor.\n\nČisto textový výstup a dávkovanie\n\nVýrobca podporuje čisto textový výstup nastavením return_audio=False. Umožňuje tiež po načítaní vypnúť Talker, čím sa pamäť GPU zníži približne o 2 GB, no zvukový výstup zostane v danej inštancii nedostupný. Dokumentovaný príklad dávkovania zmiešaných vzoriek vyžaduje return_audio=False a kombinuje textové, obrazové, zvukové a video požiadavky. Tento dávkový príklad sa nemá povýšiť na tvrdenie o dávkovom generovaní reči.\n\nKontext a vecné limity\n\nKonfigurácia textového základu kontrolného bodu nastavuje maximum pozícií na 32,768. Text, reprezentované médiá a generované odpovede spotrebúvajú priestor sekvencie; táto hodnota samostatne nedefinuje univerzálnu dĺžku zvuku alebo videa. Príklady nárokov na výpočtové zdroje od výrobcu ukazujú, že dlhšie video potrebuje podstatne viac pamäte, preto je krátky relevantný klip často praktickejší než veľká nesúvisiaca nahrávka. Jeho príklady nezverejňujú samostatnú pevnú maximálnu dĺžku odpovede ani univerzálne zaručenú dĺžku médií.\n\nOverujte citácie reči a závery voči zdroju, zachovajte dostatok vizuálnych detailov pre otázku a uchovajte textový výsledok, keď posudzovateľ potrebuje preskúmať hovorené vysvetlenie. Dokumentovanou hodnotou modelu je spoločné porozumenie a textová/rečová odpoveď, zatiaľ čo konkrétne ovládanie hlasov, spracovanie médií a doručenie výstupu zostávajú vlastnosťami zvoleného rozhrania.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický príklad v angličtine
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B spája porozumenie textu, obrázkom, zvuku a videu s výstupom v podobe textu a prirodzenej reči. Jeho architektúra Thinker-Talker zarovnáva zvuk s časovaním videa, podporuje streamovanú interakciu a v tomto konkrétnom otvorenom kontrolnom bode ponúka dva dokumentované hlasy.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Prehľad: jeden model pre viacero vstupných modalít
Qwen2.5-Omni-7B je multimodálny model Qwen pokrývajúci celý postup pre text, obrázky, zvuk a video. Dokáže týmto vstupom porozumieť spoločne a v streamovanom postupe generovať text s prirodzenou rečou. Použite ho, keď úloha závisí od toho, čo je vidieť aj počuť, alebo keď používateľ zadáva pokyn hlasom namiesto písania. Ide o konkrétny kontrolný bod 7B; komerčný Omni-Turbo a neskoršie vydania Omni majú vlastné kontrakty.
Hlavné vlastnosti a architektúra
Návrh Thinker-Talker spája porozumenie s generovaním reči. Thinker spracúva multimodálnu úlohu a vytvára textový obsah, zatiaľ čo Talker sa podieľa na tvorbe hovorenej odpovede. TMRoPE, časovo zarovnaná multimodálna pozičná schéma výrobcu, synchronizuje časové značky videa so zvukom. Architektúra je navrhnutá pre vstup po blokoch a pohotovú hlasovú alebo video interakciu; tento cieľ návrhu nie je pevnou zárukou času odpovede pre každé rozhranie.
Výrobcom pokryté úlohy zahŕňajú rozpoznávanie reči, preklad reči, porozumenie zvuku, uvažovanie o obrázkoch, porozumenie videu a generovanie reči. Hovorené pokyny sa preto môžu priamo zúčastňovať multimodálnej otázky bez toho, aby vždy vyžadovali samostatne dodaný písaný prepis. Cieľovú úlohu udržujte jasnú: porozumenie zvukovému klipu, zodpovedanie hovorenej otázky a vytvorenie hovorenej odpovede sú odlišné použitia, hoci model podporuje všetky ich vstupné či výstupné formy.
Príprava multimodálnej konverzácie
Poskytnite relevantné médiá a povedzte, ako ich má odpoveď prepojiť. Pri komentovanej ukážke požiadajte model, aby odlíšil viditeľné kroky od vysvetlenia hovoriaceho a určil, kde sa zhodujú. Pri obrázku so zvukovou otázkou určte úlohu obrázka a žiadajte stručnú odpoveď založenú na viditeľnom obsahu. Pri čisto zvukovom úryvku uveďte, či je cieľom rozpoznanie reči, vysvetlenie zvukov alebo odpoveď na otázku o obsahu. Ide o autorské aplikácie dokumentovaného pokrytia úloh.
Príklady výrobcu ukazujú čisto textové, čisto zvukové, čisto video aj kombinované mediálne konverzácie. Zachovajte pôvodné poradie a časovanie videa. Samostatné podklady označte, aby sa na ne model mohol odvolávať bez považovania nesúvisiacich dôkazov za jednu udalosť. Výsledkom môže byť iba text alebo text s rečou; užitočný artefakt si vyberte pred prípravou požiadavky.
Príprava hlasového výstupu
Postup Qwen pre tento kontrolný bod vyžaduje dokumentovaný systémový pokyn pre zvukové schopnosti, ak je potrebný hlasový výstup. Pokyn identifikuje Qwen a jeho sluchové, vizuálne, textové a rečové schopnosti; nesúvisiaca náhrada môže zabrániť očakávanému zvukovému správaniu. Ide o odporúčanie pre postup výrobcu s kontrolným bodom, nie tvrdenie, že každá aplikácia sprístupňuje ovládanie systémového pokynu alebo generovania zvuku.
Konkrétny kontrolný bod ponúka dva hlasy: Chelsie, vľúdny ženský hlas, a Ethan, veselý mužský hlas. Chelsie je dokumentovanou predvolenou voľbou, keď nie je vybraný hovoriaci. Jeho príklad generovania zapisuje reč so vzorkovacou frekvenciou 24,000 Hz. Tieto dva hlasy sa nemajú zamieňať s opisom štyroch hlasov samostatne pomenovaného komerčného modelu.
Používanie zvuku z videa
Zvuková stopa videa môže byť relevantná pre jeho význam, napríklad hovorené pokyny alebo zvuk vyvolaný viditeľnou akciou. Qwen sprístupňuje use_audio_in_video pri príprave médií, spracovaní aj generovaní. Nastavenie musí zostať konzistentné vo všetkých troch etapách aj naprieč viackolovou konverzáciou; nekonzistentné nastavenia môžu viesť k neočakávaným výsledkom. Čisto vizuálna interpretácia videa sa preto líši od audiovizuálnej interpretácie, aj keď ide o rovnaký súbor.
Čisto textový výstup a dávkovanie
Výrobca podporuje čisto textový výstup nastavením return_audio=False. Umožňuje tiež po načítaní vypnúť Talker, čím sa pamäť GPU zníži približne o 2 GB, no zvukový výstup zostane v danej inštancii nedostupný. Dokumentovaný príklad dávkovania zmiešaných vzoriek vyžaduje return_audio=False a kombinuje textové, obrazové, zvukové a video požiadavky. Tento dávkový príklad sa nemá povýšiť na tvrdenie o dávkovom generovaní reči.
Kontext a vecné limity
Konfigurácia textového základu kontrolného bodu nastavuje maximum pozícií na 32,768. Text, reprezentované médiá a generované odpovede spotrebúvajú priestor sekvencie; táto hodnota samostatne nedefinuje univerzálnu dĺžku zvuku alebo videa. Príklady nárokov na výpočtové zdroje od výrobcu ukazujú, že dlhšie video potrebuje podstatne viac pamäte, preto je krátky relevantný klip často praktickejší než veľká nesúvisiaca nahrávka. Jeho príklady nezverejňujú samostatnú pevnú maximálnu dĺžku odpovede ani univerzálne zaručenú dĺžku médií.
Overujte citácie reči a závery voči zdroju, zachovajte dostatok vizuálnych detailov pre otázku a uchovajte textový výsledok, keď posudzovateľ potrebuje preskúmať hovorené vysvetlenie. Dokumentovanou hodnotou modelu je spoločné porozumenie a textová/rečová odpoveď, zatiaľ čo konkrétne ovládanie hlasov, spracovanie médií a doručenie výstupu zostávajú vlastnosťami zvoleného rozhrania.
POST /v1/chat/completionstexttext| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity qwen2.5-omni-7b | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity Príklady: system, user, assistant, tool, function Podmienky: Tieto roly sú výslovne zastúpené typmi kompatibility v zdrojovom kóde; presný súbor rolí zostáva závislý od modelu. Závisí od modelu | Predvolené— |
Polemessages[].content | Typstring|content_part[]|null | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_calls | Typtool_call[] | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].tool_call_id | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: role=tool; použite skutočne vrátené ID | Predvolené— |
Polemessages[].name | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Polemessages[].reasoning_content | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: Posielajte späť skutočne vrátené uvažovanie, ak ho tento model používa | Predvolené— |
Polemessages[].reasoning_details | Typobject|array | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polemax_completion_tokens | Typinteger | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Polestream_options.include_usage | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletemperature | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletop_p | Typnumber | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polestop | Typstring|string[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools | Typfunction_tool[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poletools[].type | Typstring | PožiadavkaVoliteľné | Hodnoty a limity function Závisí od modelu | Predvolené— |
Poletools[].function.name | Typstring | PožiadavkaPovinné | Hodnoty a limity Platí, keď: poskytnutý nástroj typu funkcia | Predvolené— |
Poletools[].function.description | Typstring | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletools[].function.parameters | TypJSON_schema | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
Poletool_choice | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleparallel_tool_calls | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleresponse_format | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning_effort | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polereasoning | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleservice_tier | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleinstructions | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Pole kompatibility | Predvolené— |
Polefunctions | Typfunction[] | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polefunction_call | Typstring|object | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Poleprompt_cache_options | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
Polemodalities | Typstring[] | PožiadavkaVoliteľné | Hodnoty a limity text | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa na tejto textovej trase Ultra odmieta | Predvolené— |
Polecache_control.ttl | Typstring | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Hodnota 1h sa v skutočne používaných poliach cache promptov odmieta | Predvolené— |
Text · Text UTF8
messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages |
Parametermaterial_types | Špecifikáciatext |
Parametermessages | Špecifikáciapole správ so štruktúrou role/content |
Parameterfile_material | Špecifikáciaskutočný dokument UTF-8 vložený ako doslovný text; ID súboru sa neodvodzuje |
Parameteroptional_controls | Špecifikáciastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Špecifikáciazávisí od modelu; používateľské nástroje typu funkcia sa líšia od nástrojov prevádzkovaných službou |
Parameteroutput_modalities | Špecifikáciatext |
Parameterhosted_operations | Špecifikáciafalse |
Parametermultimodal_input_binding | Špecifikácianull |
Životný cyklus: synchronous_or_streamed
Pošlite presné ID modelu spolu s messages.
Dĺžka kontextu nie je horná hranica výstupu.
Textový súbor môže poskytnúť doslovný text; obrazové a zvukové vstupy a vstupy so súborovými objektmi potrebujú presné naviazanie.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.0046 / 1K tokenov Výstup · Výstupné tokeny $0.0138 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte každý variant odpovede a jeho obsah, volania nástrojov a uvažovanie. V SSE zostavujte čiastkové zmeny podľa indexu variantu/nástroja a zachovajte konečný dôvod ukončenia aj údaje o spotrebe.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra qwen2.5-omni-7b
Použite cesty metód uvedené vyššie.
qwen2.5-omni-7bQwen2.5-Omni-7B spája porozumenie textu, obrázkom, zvuku a videu s výstupom v podobe textu a prirodzenej reči. Jeho architektúra Thinker-Talker zarovnáva zvuk s časovaním videa, podporuje streamovanú interakciu a v tomto konkrétnom otvorenom kontrolnom bode ponúka dva dokumentované hlasy.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Prehľad: jeden model pre viacero vstupných modalít
Qwen2.5-Omni-7B je multimodálny model Qwen pokrývajúci celý postup pre text, obrázky, zvuk a video. Dokáže týmto vstupom porozumieť spoločne a v streamovanom postupe generovať text s prirodzenou rečou. Použite ho, keď úloha závisí od toho, čo je vidieť aj počuť, alebo keď používateľ zadáva pokyn hlasom namiesto písania. Ide o konkrétny kontrolný bod 7B; komerčný Omni-Turbo a neskoršie vydania Omni majú vlastné kontrakty.
Hlavné vlastnosti a architektúra
Návrh Thinker-Talker spája porozumenie s generovaním reči. Thinker spracúva multimodálnu úlohu a vytvára textový obsah, zatiaľ čo Talker sa podieľa na tvorbe hovorenej odpovede. TMRoPE, časovo zarovnaná multimodálna pozičná schéma výrobcu, synchronizuje časové značky videa so zvukom. Architektúra je navrhnutá pre vstup po blokoch a pohotovú hlasovú alebo video interakciu; tento cieľ návrhu nie je pevnou zárukou času odpovede pre každé rozhranie.
Výrobcom pokryté úlohy zahŕňajú rozpoznávanie reči, preklad reči, porozumenie zvuku, uvažovanie o obrázkoch, porozumenie videu a generovanie reči. Hovorené pokyny sa preto môžu priamo zúčastňovať multimodálnej otázky bez toho, aby vždy vyžadovali samostatne dodaný písaný prepis. Cieľovú úlohu udržujte jasnú: porozumenie zvukovému klipu, zodpovedanie hovorenej otázky a vytvorenie hovorenej odpovede sú odlišné použitia, hoci model podporuje všetky ich vstupné či výstupné formy.
Príprava multimodálnej konverzácie
Poskytnite relevantné médiá a povedzte, ako ich má odpoveď prepojiť. Pri komentovanej ukážke požiadajte model, aby odlíšil viditeľné kroky od vysvetlenia hovoriaceho a určil, kde sa zhodujú. Pri obrázku so zvukovou otázkou určte úlohu obrázka a žiadajte stručnú odpoveď založenú na viditeľnom obsahu. Pri čisto zvukovom úryvku uveďte, či je cieľom rozpoznanie reči, vysvetlenie zvukov alebo odpoveď na otázku o obsahu. Ide o autorské aplikácie dokumentovaného pokrytia úloh.
Príklady výrobcu ukazujú čisto textové, čisto zvukové, čisto video aj kombinované mediálne konverzácie. Zachovajte pôvodné poradie a časovanie videa. Samostatné podklady označte, aby sa na ne model mohol odvolávať bez považovania nesúvisiacich dôkazov za jednu udalosť. Výsledkom môže byť iba text alebo text s rečou; užitočný artefakt si vyberte pred prípravou požiadavky.
Príprava hlasového výstupu
Postup Qwen pre tento kontrolný bod vyžaduje dokumentovaný systémový pokyn pre zvukové schopnosti, ak je potrebný hlasový výstup. Pokyn identifikuje Qwen a jeho sluchové, vizuálne, textové a rečové schopnosti; nesúvisiaca náhrada môže zabrániť očakávanému zvukovému správaniu. Ide o odporúčanie pre postup výrobcu s kontrolným bodom, nie tvrdenie, že každá aplikácia sprístupňuje ovládanie systémového pokynu alebo generovania zvuku.
Konkrétny kontrolný bod ponúka dva hlasy: Chelsie, vľúdny ženský hlas, a Ethan, veselý mužský hlas. Chelsie je dokumentovanou predvolenou voľbou, keď nie je vybraný hovoriaci. Jeho príklad generovania zapisuje reč so vzorkovacou frekvenciou 24,000 Hz. Tieto dva hlasy sa nemajú zamieňať s opisom štyroch hlasov samostatne pomenovaného komerčného modelu.
Používanie zvuku z videa
Zvuková stopa videa môže byť relevantná pre jeho význam, napríklad hovorené pokyny alebo zvuk vyvolaný viditeľnou akciou. Qwen sprístupňuje use_audio_in_video pri príprave médií, spracovaní aj generovaní. Nastavenie musí zostať konzistentné vo všetkých troch etapách aj naprieč viackolovou konverzáciou; nekonzistentné nastavenia môžu viesť k neočakávaným výsledkom. Čisto vizuálna interpretácia videa sa preto líši od audiovizuálnej interpretácie, aj keď ide o rovnaký súbor.
Čisto textový výstup a dávkovanie
Výrobca podporuje čisto textový výstup nastavením return_audio=False. Umožňuje tiež po načítaní vypnúť Talker, čím sa pamäť GPU zníži približne o 2 GB, no zvukový výstup zostane v danej inštancii nedostupný. Dokumentovaný príklad dávkovania zmiešaných vzoriek vyžaduje return_audio=False a kombinuje textové, obrazové, zvukové a video požiadavky. Tento dávkový príklad sa nemá povýšiť na tvrdenie o dávkovom generovaní reči.
Kontext a vecné limity
Konfigurácia textového základu kontrolného bodu nastavuje maximum pozícií na 32,768. Text, reprezentované médiá a generované odpovede spotrebúvajú priestor sekvencie; táto hodnota samostatne nedefinuje univerzálnu dĺžku zvuku alebo videa. Príklady nárokov na výpočtové zdroje od výrobcu ukazujú, že dlhšie video potrebuje podstatne viac pamäte, preto je krátky relevantný klip často praktickejší než veľká nesúvisiaca nahrávka. Jeho príklady nezverejňujú samostatnú pevnú maximálnu dĺžku odpovede ani univerzálne zaručenú dĺžku médií.
Overujte citácie reči a závery voči zdroju, zachovajte dostatok vizuálnych detailov pre otázku a uchovajte textový výsledok, keď posudzovateľ potrebuje preskúmať hovorené vysvetlenie. Dokumentovanou hodnotou modelu je spoločné porozumenie a textová/rečová odpoveď, zatiaľ čo konkrétne ovládanie hlasov, spracovanie médií a doručenie výstupu zostávajú vlastnosťami zvoleného rozhrania.
POST /v1/messagestextjson, sse| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity qwen2.5-omni-7b | Predvolené— |
Polemessages | Typmessage[] | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemessages[].role | Typstring | PožiadavkaPovinné | Hodnoty a limity user, assistant | Predvolené— |
Polemessages[].content | Typstring | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polemax_tokens | Typinteger | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
Polestream | Typboolean | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
Text · Text UTF-8
reťazec messages[].content
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, messages, max_tokens |
Parameteroptional_controls | Špecifikáciastream |
Parametermaterial_types | Špecifikáciatext |
Parametertext_file_material | ŠpecifikáciaPrečítajte skutočný dokument UTF-8 a vložte jeho text do uvedeného vstupného reťazca alebo reťazca obsahu správy. |
Životný cyklus: synchronous_or_streamed
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.0046 / 1K tokenov Výstup · Výstupné tokeny $0.0138 / 1K tokenov Vstup · Čítanie cache $0 / 1K tokenov Vstup · Zápis do cache $0 / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON alebo SSE
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Zachovajte všetky bloky obsahu, podpisy uvažovania a skutočné ID volaní nástrojov. Zostavte všetky čiastkové zmeny blokov SSE; prvý textový blok nie je celý výstup.
Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra qwen2.5-omni-7b
Použite cesty metód uvedené vyššie.
Technický príklad v angličtine
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.