Pregled: en model za več vhodnih modalnosti
Qwen2.5-Omni-7B je Qwenov celovit multimodalni model za besedilo, slike, zvok in video. Te vhode lahko razume skupaj ter v pretočnem poteku ustvarja besedilo z naravnim govorom. Uporabite ga, kadar je naloga odvisna od vidnega in slišnega ali kadar uporabnik navodilo poda z glasom namesto s tipkanjem. To je točno določen model 7B; komercialni Omni-Turbo in poznejše izdaje Omni imajo lastne pogodbe.
Ključne funkcije in arhitektura
Zasnova Thinker-Talker združuje razumevanje z ustvarjanjem govora. Thinker obdeluje multimodalno nalogo in ustvarja besedilno vsebino, Talker pa sodeluje pri oblikovanju govorjenega odgovora. TMRoPE, proizvajalčeva časovno usklajena multimodalna pozicijska shema, sinhronizira časovne žige videa z zvokom. Arhitektura je zasnovana za vhod po kosih in odzivno glasovno ali video interakcijo; ta oblikovni cilj ni jamstvo fiksnega odzivnega časa za vsak vmesnik.
Proizvajalčev obseg nalog vključuje prepoznavanje govora, prevajanje govora, razumevanje zvoka, sklepanje o slikah, razumevanje videa in ustvarjanje govora. Govorjena navodila lahko zato neposredno sodelujejo v multimodalnem vprašanju, ne da bi vedno potrebovala ločeno priložen natipkan prepis. Ciljna naloga naj bo jasna: razumevanje zvočnega posnetka, odgovarjanje na govorjeno vprašanje in ustvarjanje govorjenega odgovora so različne uporabe, čeprav model podpira vse njihove vhodne ali izhodne oblike.
Priprava multimodalnega pogovora
Priložite ustrezne medije in navedite, kako naj jih odgovor poveže. Pri prikazu s pripovedovanjem zahtevajte, da model loči vidne korake od govornikove razlage ter prepozna, kje se ujemajo. Pri sliki z zvočnim vprašanjem opredelite vlogo slike in zahtevajte jedrnat odgovor, utemeljen z vidno vsebino. Pri odlomku samo z zvokom navedite, ali je cilj prepoznati govor, razložiti zvoke ali odgovoriti na vprašanje o vsebini. To so zasnovane uporabe dokumentiranega obsega nalog.
Proizvajalčevi primeri prikazujejo pogovore samo z besedilom, samo z zvokom, samo z videom in z mešanimi mediji. Ohranite izvorni vrstni red in časovni potek videa. Ločena sredstva označite, da se lahko model nanje sklicuje, ne da bi nepovezane dokaze obravnaval kot en dogodek. Rezultat je lahko samo besedilo ali besedilo z govorom; uporaben izdelek izberite pred pripravo zahteve.
Priprava govornega izhoda
Qwenov recept za model zahteva dokumentirani sistemski poziv za zvočne zmožnosti, kadar potrebujete govorni izhod. Poziv opredeli Qwen ter njegove slušne, vizualne, besedilne in govorne zmožnosti; nepovezana zamenjava lahko prepreči pričakovano zvočno vedenje. To so smernice za proizvajalčev potek z modelom, ne trditev, da vsaka aplikacija izpostavlja nadzor sistemskega poziva ali ustvarjanja zvoka.
Ta model ponuja dva glasova: Chelsie, topel ženski glas, in Ethan, vedri moški glas. Chelsie je dokumentirani privzeti glas, kadar govorec ni izbran. Primer ustvarjanja zapisuje govor s frekvenco vzorčenja 24,000 Hz. Teh dveh glasov ne zamenjajte z opisom štirih glasov ločeno poimenovanega komercialnega modela.
Uporaba zvoka iz videa
Zvočni zapis videa je lahko pomemben za njegov pomen, na primer govorjena navodila ali zvok, ki ga povzroči vidno dejanje. Qwen izpostavlja use_audio_in_video v pripravi medijev, obdelavi in ustvarjanju. Nastavitev mora biti skladna v vseh treh fazah in skozi večkrožni pogovor; neskladne nastavitve lahko povzročijo nepričakovane rezultate. Samo vizualna razlaga videa se zato razlikuje od avdiovizualne, tudi če je datoteka ista.
Samo besedilni izhod in paketna obdelava
Proizvajalec podpira izhod samo z besedilom z nastavitvijo return_audio=False. Omogoča tudi izklop Talker po nalaganju, s čimer se pomnilnik GPU zmanjša za približno 2 GB, vendar zvočni izhod v tej instanci ni več na voljo. Dokumentirani primer paketne obdelave mešanih vzorcev zahteva return_audio=False in združuje besedilne, slikovne, zvočne in video zahteve. Tega paketnega primera ne razširjajte v trditev o paketnem ustvarjanju govora.
Kontekst in vsebinske omejitve
Konfiguracija besedilnega jedra modela nastavi največje število položajev na 32,768. Besedilo, predstavljeni mediji in ustvarjeni odgovori porabljajo prostor zaporedja; ta vrednost neodvisno ne določa univerzalnega trajanja zvoka ali videa. Proizvajalčevi primeri virov kažejo, da daljši video potrebuje znatno več pomnilnika, zato je kratek ustrezen posnetek pogosto praktičnejši od velikega nepovezanega posnetka. Primeri ne objavljajo ločene trde največje dolžine odgovora ali univerzalno zagotovljenega trajanja medijev.
Govorne navedke in sklepe preverite glede na izvor, ohranite dovolj vizualnih podrobnosti za vprašanje ter shranite besedilni rezultat, kadar mora pregledovalec preveriti govorjeno razlago. Dokumentirana vrednost modela je skupno razumevanje ter besedilni/govorni odgovor, medtem ko natančni glasovni nadzor, obdelava medijev in dostava izhoda ostajajo funkcije izbranega vmesnika.
", "aboutText": "Pregled: en model za več vhodnih modalnosti\n\nQwen2.5-Omni-7B je Qwenov celovit multimodalni model za besedilo, slike, zvok in video. Te vhode lahko razume skupaj ter v pretočnem poteku ustvarja besedilo z naravnim govorom. Uporabite ga, kadar je naloga odvisna od vidnega in slišnega ali kadar uporabnik navodilo poda z glasom namesto s tipkanjem. To je točno določen model 7B; komercialni Omni-Turbo in poznejše izdaje Omni imajo lastne pogodbe.\n\nKljučne funkcije in arhitektura\n\nZasnova Thinker-Talker združuje razumevanje z ustvarjanjem govora. Thinker obdeluje multimodalno nalogo in ustvarja besedilno vsebino, Talker pa sodeluje pri oblikovanju govorjenega odgovora. TMRoPE, proizvajalčeva časovno usklajena multimodalna pozicijska shema, sinhronizira časovne žige videa z zvokom. Arhitektura je zasnovana za vhod po kosih in odzivno glasovno ali video interakcijo; ta oblikovni cilj ni jamstvo fiksnega odzivnega časa za vsak vmesnik.\n\nProizvajalčev obseg nalog vključuje prepoznavanje govora, prevajanje govora, razumevanje zvoka, sklepanje o slikah, razumevanje videa in ustvarjanje govora. Govorjena navodila lahko zato neposredno sodelujejo v multimodalnem vprašanju, ne da bi vedno potrebovala ločeno priložen natipkan prepis. Ciljna naloga naj bo jasna: razumevanje zvočnega posnetka, odgovarjanje na govorjeno vprašanje in ustvarjanje govorjenega odgovora so različne uporabe, čeprav model podpira vse njihove vhodne ali izhodne oblike.\n\nPriprava multimodalnega pogovora\n\nPriložite ustrezne medije in navedite, kako naj jih odgovor poveže. Pri prikazu s pripovedovanjem zahtevajte, da model loči vidne korake od govornikove razlage ter prepozna, kje se ujemajo. Pri sliki z zvočnim vprašanjem opredelite vlogo slike in zahtevajte jedrnat odgovor, utemeljen z vidno vsebino. Pri odlomku samo z zvokom navedite, ali je cilj prepoznati govor, razložiti zvoke ali odgovoriti na vprašanje o vsebini. To so zasnovane uporabe dokumentiranega obsega nalog.\n\nProizvajalčevi primeri prikazujejo pogovore samo z besedilom, samo z zvokom, samo z videom in z mešanimi mediji. Ohranite izvorni vrstni red in časovni potek videa. Ločena sredstva označite, da se lahko model nanje sklicuje, ne da bi nepovezane dokaze obravnaval kot en dogodek. Rezultat je lahko samo besedilo ali besedilo z govorom; uporaben izdelek izberite pred pripravo zahteve.\n\nPriprava govornega izhoda\n\nQwenov recept za model zahteva dokumentirani sistemski poziv za zvočne zmožnosti, kadar potrebujete govorni izhod. Poziv opredeli Qwen ter njegove slušne, vizualne, besedilne in govorne zmožnosti; nepovezana zamenjava lahko prepreči pričakovano zvočno vedenje. To so smernice za proizvajalčev potek z modelom, ne trditev, da vsaka aplikacija izpostavlja nadzor sistemskega poziva ali ustvarjanja zvoka.\n\nTa model ponuja dva glasova: Chelsie, topel ženski glas, in Ethan, vedri moški glas. Chelsie je dokumentirani privzeti glas, kadar govorec ni izbran. Primer ustvarjanja zapisuje govor s frekvenco vzorčenja 24,000 Hz. Teh dveh glasov ne zamenjajte z opisom štirih glasov ločeno poimenovanega komercialnega modela.\n\nUporaba zvoka iz videa\n\nZvočni zapis videa je lahko pomemben za njegov pomen, na primer govorjena navodila ali zvok, ki ga povzroči vidno dejanje. Qwen izpostavlja use_audio_in_video v pripravi medijev, obdelavi in ustvarjanju. Nastavitev mora biti skladna v vseh treh fazah in skozi večkrožni pogovor; neskladne nastavitve lahko povzročijo nepričakovane rezultate. Samo vizualna razlaga videa se zato razlikuje od avdiovizualne, tudi če je datoteka ista.\n\nSamo besedilni izhod in paketna obdelava\n\nProizvajalec podpira izhod samo z besedilom z nastavitvijo return_audio=False. Omogoča tudi izklop Talker po nalaganju, s čimer se pomnilnik GPU zmanjša za približno 2 GB, vendar zvočni izhod v tej instanci ni več na voljo. Dokumentirani primer paketne obdelave mešanih vzorcev zahteva return_audio=False in združuje besedilne, slikovne, zvočne in video zahteve. Tega paketnega primera ne razširjajte v trditev o paketnem ustvarjanju govora.\n\nKontekst in vsebinske omejitve\n\nKonfiguracija besedilnega jedra modela nastavi največje število položajev na 32,768. Besedilo, predstavljeni mediji in ustvarjeni odgovori porabljajo prostor zaporedja; ta vrednost neodvisno ne določa univerzalnega trajanja zvoka ali videa. Proizvajalčevi primeri virov kažejo, da daljši video potrebuje znatno več pomnilnika, zato je kratek ustrezen posnetek pogosto praktičnejši od velikega nepovezanega posnetka. Primeri ne objavljajo ločene trde največje dolžine odgovora ali univerzalno zagotovljenega trajanja medijev.\n\nGovorne navedke in sklepe preverite glede na izvor, ohranite dovolj vizualnih podrobnosti za vprašanje ter shranite besedilni rezultat, kadar mora pregledovalec preveriti govorjeno razlago. Dokumentirana vrednost modela je skupno razumevanje ter besedilni/govorni odgovor, medtem ko natančni glasovni nadzor, obdelava medijev in dostava izhoda ostajajo funkcije izbranega vmesnika.", "editorialOverlay": { "copy_fields": { "practical_html": "Tehnični primer v angleščini
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B združuje razumevanje besedila, slik, zvoka in videa z besedilnim izhodom in naravnim govorom. Arhitektura Thinker-Talker usklajuje zvok s časovnim potekom videa, podpira pretočno interakcijo in v tem odprtem modelu ponuja dva dokumentirana glasova.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Pregled: en model za več vhodnih modalnosti
Qwen2.5-Omni-7B je Qwenov celovit multimodalni model za besedilo, slike, zvok in video. Te vhode lahko razume skupaj ter v pretočnem poteku ustvarja besedilo z naravnim govorom. Uporabite ga, kadar je naloga odvisna od vidnega in slišnega ali kadar uporabnik navodilo poda z glasom namesto s tipkanjem. To je točno določen model 7B; komercialni Omni-Turbo in poznejše izdaje Omni imajo lastne pogodbe.
Ključne funkcije in arhitektura
Zasnova Thinker-Talker združuje razumevanje z ustvarjanjem govora. Thinker obdeluje multimodalno nalogo in ustvarja besedilno vsebino, Talker pa sodeluje pri oblikovanju govorjenega odgovora. TMRoPE, proizvajalčeva časovno usklajena multimodalna pozicijska shema, sinhronizira časovne žige videa z zvokom. Arhitektura je zasnovana za vhod po kosih in odzivno glasovno ali video interakcijo; ta oblikovni cilj ni jamstvo fiksnega odzivnega časa za vsak vmesnik.
Proizvajalčev obseg nalog vključuje prepoznavanje govora, prevajanje govora, razumevanje zvoka, sklepanje o slikah, razumevanje videa in ustvarjanje govora. Govorjena navodila lahko zato neposredno sodelujejo v multimodalnem vprašanju, ne da bi vedno potrebovala ločeno priložen natipkan prepis. Ciljna naloga naj bo jasna: razumevanje zvočnega posnetka, odgovarjanje na govorjeno vprašanje in ustvarjanje govorjenega odgovora so različne uporabe, čeprav model podpira vse njihove vhodne ali izhodne oblike.
Priprava multimodalnega pogovora
Priložite ustrezne medije in navedite, kako naj jih odgovor poveže. Pri prikazu s pripovedovanjem zahtevajte, da model loči vidne korake od govornikove razlage ter prepozna, kje se ujemajo. Pri sliki z zvočnim vprašanjem opredelite vlogo slike in zahtevajte jedrnat odgovor, utemeljen z vidno vsebino. Pri odlomku samo z zvokom navedite, ali je cilj prepoznati govor, razložiti zvoke ali odgovoriti na vprašanje o vsebini. To so zasnovane uporabe dokumentiranega obsega nalog.
Proizvajalčevi primeri prikazujejo pogovore samo z besedilom, samo z zvokom, samo z videom in z mešanimi mediji. Ohranite izvorni vrstni red in časovni potek videa. Ločena sredstva označite, da se lahko model nanje sklicuje, ne da bi nepovezane dokaze obravnaval kot en dogodek. Rezultat je lahko samo besedilo ali besedilo z govorom; uporaben izdelek izberite pred pripravo zahteve.
Priprava govornega izhoda
Qwenov recept za model zahteva dokumentirani sistemski poziv za zvočne zmožnosti, kadar potrebujete govorni izhod. Poziv opredeli Qwen ter njegove slušne, vizualne, besedilne in govorne zmožnosti; nepovezana zamenjava lahko prepreči pričakovano zvočno vedenje. To so smernice za proizvajalčev potek z modelom, ne trditev, da vsaka aplikacija izpostavlja nadzor sistemskega poziva ali ustvarjanja zvoka.
Ta model ponuja dva glasova: Chelsie, topel ženski glas, in Ethan, vedri moški glas. Chelsie je dokumentirani privzeti glas, kadar govorec ni izbran. Primer ustvarjanja zapisuje govor s frekvenco vzorčenja 24,000 Hz. Teh dveh glasov ne zamenjajte z opisom štirih glasov ločeno poimenovanega komercialnega modela.
Uporaba zvoka iz videa
Zvočni zapis videa je lahko pomemben za njegov pomen, na primer govorjena navodila ali zvok, ki ga povzroči vidno dejanje. Qwen izpostavlja use_audio_in_video v pripravi medijev, obdelavi in ustvarjanju. Nastavitev mora biti skladna v vseh treh fazah in skozi večkrožni pogovor; neskladne nastavitve lahko povzročijo nepričakovane rezultate. Samo vizualna razlaga videa se zato razlikuje od avdiovizualne, tudi če je datoteka ista.
Samo besedilni izhod in paketna obdelava
Proizvajalec podpira izhod samo z besedilom z nastavitvijo return_audio=False. Omogoča tudi izklop Talker po nalaganju, s čimer se pomnilnik GPU zmanjša za približno 2 GB, vendar zvočni izhod v tej instanci ni več na voljo. Dokumentirani primer paketne obdelave mešanih vzorcev zahteva return_audio=False in združuje besedilne, slikovne, zvočne in video zahteve. Tega paketnega primera ne razširjajte v trditev o paketnem ustvarjanju govora.
Kontekst in vsebinske omejitve
Konfiguracija besedilnega jedra modela nastavi največje število položajev na 32,768. Besedilo, predstavljeni mediji in ustvarjeni odgovori porabljajo prostor zaporedja; ta vrednost neodvisno ne določa univerzalnega trajanja zvoka ali videa. Proizvajalčevi primeri virov kažejo, da daljši video potrebuje znatno več pomnilnika, zato je kratek ustrezen posnetek pogosto praktičnejši od velikega nepovezanega posnetka. Primeri ne objavljajo ločene trde največje dolžine odgovora ali univerzalno zagotovljenega trajanja medijev.
Govorne navedke in sklepe preverite glede na izvor, ohranite dovolj vizualnih podrobnosti za vprašanje ter shranite besedilni rezultat, kadar mora pregledovalec preveriti govorjeno razlago. Dokumentirana vrednost modela je skupno razumevanje ter besedilni/govorni odgovor, medtem ko natančni glasovni nadzor, obdelava medijev in dostava izhoda ostajajo funkcije izbranega vmesnika.
POST /v1/chat/completionstexttext| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve qwen2.5-omni-7b | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Primeri: system, user, assistant, tool, function Pogoji: Te vloge so izrecno predstavljene s tipi združljivosti v izvorni kodi; natančen nabor vlog ostaja odvisen od modela. Odvisno od modela | Privzeto— |
Poljemessages[].content | Vrstastring|content_part[]|null | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_calls | Vrstatool_call[] | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_call_id | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: role=tool; uporabite dejansko vrnjeni ID | Privzeto— |
Poljemessages[].name | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].reasoning_content | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: Pošljite nazaj dejansko vrnjeno sklepanje, kadar ga ta model uporablja | Privzeto— |
Poljemessages[].reasoning_details | Vrstaobject|array | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljemax_completion_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Poljestream_options.include_usage | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetemperature | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetop_p | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljestop | Vrstastring|string[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools | Vrstafunction_tool[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools[].type | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve function Odvisno od modela | Privzeto— |
Poljetools[].function.name | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Velja, ko: podano je funkcijsko orodje | Privzeto— |
Poljetools[].function.description | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetools[].function.parameters | VrstaJSON_schema | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetool_choice | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeparallel_tool_calls | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeresponse_format | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning_effort | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeservice_tier | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeinstructions | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Polje združljivosti | Privzeto— |
Poljefunctions | Vrstafunction[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljefunction_call | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeprompt_cache_options | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemodalities | Vrstastring[] | ZahtevaIzbirno | Vrednosti in omejitve text | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je na tej besedilni poti Ultra zavrnjen | Privzeto— |
Poljecache_control.ttl | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: 1h je zavrnjen na dejanskih mestih za predpomnjenje pozivov | Privzeto— |
Besedilo · Besedilo UTF8
messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages |
Parametermaterial_types | Specifikacijatext |
Parametermessages | Specifikacijapolje sporočil s strukturo role/content |
Parameterfile_material | Specifikacijadejanski dokument UTF-8 je vstavljen kot dobesedno besedilo; ID datoteke se ne izpeljuje |
Parameteroptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Specifikacijaodvisno od modela; uporabniška funkcijska orodja se razlikujejo od orodij, ki jih izvaja storitev |
Parameteroutput_modalities | Specifikacijatext |
Parameterhosted_operations | Specifikacijafalse |
Parametermultimodal_input_binding | Specifikacijanull |
Življenjski cikel: synchronous_or_streamed
Pošljite natančen ID modela skupaj z messages.
Dolžina konteksta ni zgornja meja izhoda.
Besedilna datoteka lahko poda dobesedno besedilo; slikovni, zvočni vhodi in vhodi z datotečnimi objekti potrebujejo natančno vezavo.
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.0046 / 1K žetonov Izhod · Izhodni žetoni $0.0138 / 1K žetonov Vhod · Branje predpomnilnika $0 / 1K žetonov Vhod · Zapis v predpomnilnik $0 / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vsako možnost odgovora ter njeno vsebino, klice orodij in sklepanje. V SSE sestavite delne spremembe po indeksu možnosti/orodja ter ohranite končni razlog zaključka in podatke o porabi.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljechoices[].index | Vrstainteger |
Poljechoices[].message.content | Vrstastring|null |
Poljechoices[].message.tool_calls | Vrstatool_call[] |
Poljechoices[].message.reasoning_content | Vrstastring |
Poljechoices[].message.reasoning_details | Vrstaobject|array |
Poljechoices[].finish_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra qwen2.5-omni-7b
Uporabite zgoraj navedene poti metod.
qwen2.5-omni-7bQwen2.5-Omni-7B združuje razumevanje besedila, slik, zvoka in videa z besedilnim izhodom in naravnim govorom. Arhitektura Thinker-Talker usklajuje zvok s časovnim potekom videa, podpira pretočno interakcijo in v tem odprtem modelu ponuja dva dokumentirana glasova.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Pregled: en model za več vhodnih modalnosti
Qwen2.5-Omni-7B je Qwenov celovit multimodalni model za besedilo, slike, zvok in video. Te vhode lahko razume skupaj ter v pretočnem poteku ustvarja besedilo z naravnim govorom. Uporabite ga, kadar je naloga odvisna od vidnega in slišnega ali kadar uporabnik navodilo poda z glasom namesto s tipkanjem. To je točno določen model 7B; komercialni Omni-Turbo in poznejše izdaje Omni imajo lastne pogodbe.
Ključne funkcije in arhitektura
Zasnova Thinker-Talker združuje razumevanje z ustvarjanjem govora. Thinker obdeluje multimodalno nalogo in ustvarja besedilno vsebino, Talker pa sodeluje pri oblikovanju govorjenega odgovora. TMRoPE, proizvajalčeva časovno usklajena multimodalna pozicijska shema, sinhronizira časovne žige videa z zvokom. Arhitektura je zasnovana za vhod po kosih in odzivno glasovno ali video interakcijo; ta oblikovni cilj ni jamstvo fiksnega odzivnega časa za vsak vmesnik.
Proizvajalčev obseg nalog vključuje prepoznavanje govora, prevajanje govora, razumevanje zvoka, sklepanje o slikah, razumevanje videa in ustvarjanje govora. Govorjena navodila lahko zato neposredno sodelujejo v multimodalnem vprašanju, ne da bi vedno potrebovala ločeno priložen natipkan prepis. Ciljna naloga naj bo jasna: razumevanje zvočnega posnetka, odgovarjanje na govorjeno vprašanje in ustvarjanje govorjenega odgovora so različne uporabe, čeprav model podpira vse njihove vhodne ali izhodne oblike.
Priprava multimodalnega pogovora
Priložite ustrezne medije in navedite, kako naj jih odgovor poveže. Pri prikazu s pripovedovanjem zahtevajte, da model loči vidne korake od govornikove razlage ter prepozna, kje se ujemajo. Pri sliki z zvočnim vprašanjem opredelite vlogo slike in zahtevajte jedrnat odgovor, utemeljen z vidno vsebino. Pri odlomku samo z zvokom navedite, ali je cilj prepoznati govor, razložiti zvoke ali odgovoriti na vprašanje o vsebini. To so zasnovane uporabe dokumentiranega obsega nalog.
Proizvajalčevi primeri prikazujejo pogovore samo z besedilom, samo z zvokom, samo z videom in z mešanimi mediji. Ohranite izvorni vrstni red in časovni potek videa. Ločena sredstva označite, da se lahko model nanje sklicuje, ne da bi nepovezane dokaze obravnaval kot en dogodek. Rezultat je lahko samo besedilo ali besedilo z govorom; uporaben izdelek izberite pred pripravo zahteve.
Priprava govornega izhoda
Qwenov recept za model zahteva dokumentirani sistemski poziv za zvočne zmožnosti, kadar potrebujete govorni izhod. Poziv opredeli Qwen ter njegove slušne, vizualne, besedilne in govorne zmožnosti; nepovezana zamenjava lahko prepreči pričakovano zvočno vedenje. To so smernice za proizvajalčev potek z modelom, ne trditev, da vsaka aplikacija izpostavlja nadzor sistemskega poziva ali ustvarjanja zvoka.
Ta model ponuja dva glasova: Chelsie, topel ženski glas, in Ethan, vedri moški glas. Chelsie je dokumentirani privzeti glas, kadar govorec ni izbran. Primer ustvarjanja zapisuje govor s frekvenco vzorčenja 24,000 Hz. Teh dveh glasov ne zamenjajte z opisom štirih glasov ločeno poimenovanega komercialnega modela.
Uporaba zvoka iz videa
Zvočni zapis videa je lahko pomemben za njegov pomen, na primer govorjena navodila ali zvok, ki ga povzroči vidno dejanje. Qwen izpostavlja use_audio_in_video v pripravi medijev, obdelavi in ustvarjanju. Nastavitev mora biti skladna v vseh treh fazah in skozi večkrožni pogovor; neskladne nastavitve lahko povzročijo nepričakovane rezultate. Samo vizualna razlaga videa se zato razlikuje od avdiovizualne, tudi če je datoteka ista.
Samo besedilni izhod in paketna obdelava
Proizvajalec podpira izhod samo z besedilom z nastavitvijo return_audio=False. Omogoča tudi izklop Talker po nalaganju, s čimer se pomnilnik GPU zmanjša za približno 2 GB, vendar zvočni izhod v tej instanci ni več na voljo. Dokumentirani primer paketne obdelave mešanih vzorcev zahteva return_audio=False in združuje besedilne, slikovne, zvočne in video zahteve. Tega paketnega primera ne razširjajte v trditev o paketnem ustvarjanju govora.
Kontekst in vsebinske omejitve
Konfiguracija besedilnega jedra modela nastavi največje število položajev na 32,768. Besedilo, predstavljeni mediji in ustvarjeni odgovori porabljajo prostor zaporedja; ta vrednost neodvisno ne določa univerzalnega trajanja zvoka ali videa. Proizvajalčevi primeri virov kažejo, da daljši video potrebuje znatno več pomnilnika, zato je kratek ustrezen posnetek pogosto praktičnejši od velikega nepovezanega posnetka. Primeri ne objavljajo ločene trde največje dolžine odgovora ali univerzalno zagotovljenega trajanja medijev.
Govorne navedke in sklepe preverite glede na izvor, ohranite dovolj vizualnih podrobnosti za vprašanje ter shranite besedilni rezultat, kadar mora pregledovalec preveriti govorjeno razlago. Dokumentirana vrednost modela je skupno razumevanje ter besedilni/govorni odgovor, medtem ko natančni glasovni nadzor, obdelava medijev in dostava izhoda ostajajo funkcije izbranega vmesnika.
POST /v1/messagestextjson, sse| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve qwen2.5-omni-7b | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve user, assistant | Privzeto— |
Poljemessages[].content | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Besedilo · Besedilo UTF-8
niz messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages, max_tokens |
Parameteroptional_controls | Specifikacijastream |
Parametermaterial_types | Specifikacijatext |
Parametertext_file_material | SpecifikacijaPreberite dejanski dokument UTF-8 in njegovo besedilo vstavite v navedeni vhodni niz ali niz vsebine sporočila. |
Življenjski cikel: synchronous_or_streamed
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.0046 / 1K žetonov Izhod · Izhodni žetoni $0.0138 / 1K žetonov Vhod · Branje predpomnilnika $0 / 1K žetonov Vhod · Zapis v predpomnilnik $0 / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vse vsebinske bloke, podpise sklepanja in dejanske ID uporabe orodij. Sestavite vse delne spremembe blokov SSE; prvi besedilni blok ni celoten izhod.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljeid | Vrstastring |
Poljemodel | Vrstastring |
Poljecontent[] | Vrstatext|thinking|tool_use|other content block |
Poljestop_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra qwen2.5-omni-7b
Uporabite zgoraj navedene poti metod.
Tehnični primer v angleščini
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.