Oversikt: én modell for flere inndatamodaliteter
Qwen2.5-Omni-7B er Qwens multimodale ende-til-ende-modell for tekst, bilder, lyd og video. Den kan forstå disse inndataene samlet og generere tekst med naturlig tale i en strømmet arbeidsflyt. Bruk den når en oppgave avhenger av både det som er synlig og det som er hørbart, eller når brukeren gir instruksjonen med stemmen fremfor å skrive. Dette er akkurat modellkontrollpunktet på 7B; kommersielle Omni-Turbo og senere Omni-utgivelser har egne kontrakter.
Viktige egenskaper og arkitektur
Thinker-Talker-utformingen kombinerer forståelse med talegenerering. Thinker behandler den multimodale oppgaven og produserer tekstinnhold, mens Talker deltar i å forme talesvaret. TMRoPE, produsentens tidsjusterte multimodale posisjonsskjema, synkroniserer tidsstempler fra video med lyd. Arkitekturen er utformet for blokkdelte inndata og responsiv stemme- eller videosamhandling; dette utformingsmålet er ikke en fast svartidsgaranti for alle grensesnitt.
Produsentens oppgavedekning omfatter talegjenkjenning, taleoversettelse, lydforståelse, bilderesonnement, videoforståelse og talegenerering. Muntlige instruksjoner kan derfor inngå direkte i et multimodalt spørsmål fremfor alltid å kreve en separat oppgitt, skrevet transkripsjon. Hold måloppgaven tydelig: å forstå et lydklipp, svare på et muntlig spørsmål og generere et talesvar er forskjellige bruksområder, selv om modellen støtter alle inndata- eller utdataformene deres.
Klargjøring av en multimodal samtale
Oppgi de relevante mediene og si hvordan svaret skal knytte dem sammen. For en demonstrasjon med forteller ber du modellen skille mellom de synlige trinnene og talerens forklaring og identifisere hvor de samsvarer. For et bilde sammen med et lydspørsmål identifiserer du bildets rolle og ber om et kortfattet svar forankret i det synlige innholdet. For et utdrag med bare lyd oppgir du om målet er å gjenkjenne tale, forklare lyder eller svare på et spørsmål om innholdet. Dette er utformede anvendelser av den dokumenterte oppgavedekningen.
Produsentens eksempler viser samtaler med bare tekst, bare lyd, bare video og blandede medier. Bevar videoens opprinnelige rekkefølge og tidsinformasjon. Merk separate ressurser slik at modellen kan vise til dem uten å behandle dokumentasjon uten sammenheng som én hendelse. Resultatet kan være tekst alene eller tekst med tale; velg det nyttige sluttproduktet før du klargjør forespørselen.
Klargjøring av taleutdata
Qwens oppskrift for modellkontrollpunktet krever den dokumenterte systemprompten for lydegenskaper når taleutdata er nødvendig. Prompten identifiserer Qwen og modellens lyd-, syns-, tekst- og taleegenskaper; en uvedkommende erstatning kan forhindre forventet lydoppførsel. Dette er veiledning for produsentens arbeidsflyt for modellkontrollpunktet, ikke en påstand om at alle applikasjoner eksponerer kontroller for systemprompt eller lydgenerering.
Det nøyaktige modellkontrollpunktet tilbyr to stemmer: Chelsie, en varm kvinnestemme, og Ethan, en livlig mannsstemme. Chelsie er dokumentert standard når ingen taler er valgt. Genereringseksempelet skriver tale med en samplingsfrekvens på 24 000 Hz. Disse to stemmene skal ikke erstattes av beskrivelsen med fire stemmer for en separat navngitt kommersiell modell.
Bruk av lyd fra video
Lydsporet i en video kan være relevant for betydningen, som muntlige instruksjoner eller en lyd produsert av en synlig handling. Qwen eksponerer use_audio_in_video på tvers av medieklargjøring, behandling og generering. Innstillingen må være konsekvent i alle tre trinn og på tvers av en samtale med flere turer; inkonsekvente innstillinger kan gi uventede resultater. En rent visuell videotolkning er derfor forskjellig fra en audiovisuell tolkning, selv når filen er den samme.
Utdata med bare tekst og satsvis behandling
Produsenten støtter utdata med bare tekst ved å sette return_audio=False. Den tillater også å deaktivere Talker etter innlasting, noe som reduserer GPU-minnet med omtrent 2 GB, men gjør lydutdata utilgjengelig i den instansen. Det dokumenterte eksempelet på satsvis behandling av blandede prøver krever return_audio=False og kombinerer tekst-, bilde-, lyd- og videoforespørsler. Dette satseksempelet skal ikke gjøres til en påstand om satsvis talegenerering.
Kontekst og innholdsmessige grenser
Konfigurasjonen for modellkontrollpunktets tekstgrunnmodell angir maksimalt 32 768 posisjoner. Tekst, representerte medier og genererte svar bruker sekvensplass; denne verdien definerer ikke i seg selv en universell lyd- eller videovarighet. Produsentens ressurseksempler viser at lengre video trenger vesentlig mer minne, så et kort relevant klipp er ofte mer praktisk enn et stort, uvedkommende opptak. Eksemplene publiserer ikke en separat absolutt maksimal svarlengde eller en universelt garantert medievarighet.
Kontroller talesitater og konklusjoner mot kilden, bevar nok visuelle detaljer til spørsmålet og behold et tekstresultat når en kontrollør må gjennomgå den muntlige forklaringen. Modellens dokumenterte verdi er samlet forståelse og tekst-/talesvar, mens nøyaktige stemmekontroller, mediebehandling og utdatalevering forblir egenskaper ved det valgte grensesnittet.
", "aboutText": "Oversikt: én modell for flere inndatamodaliteter\n\nQwen2.5-Omni-7B er Qwens multimodale ende-til-ende-modell for tekst, bilder, lyd og video. Den kan forstå disse inndataene samlet og generere tekst med naturlig tale i en strømmet arbeidsflyt. Bruk den når en oppgave avhenger av både det som er synlig og det som er hørbart, eller når brukeren gir instruksjonen med stemmen fremfor å skrive. Dette er akkurat modellkontrollpunktet på 7B; kommersielle Omni-Turbo og senere Omni-utgivelser har egne kontrakter.\n\nViktige egenskaper og arkitektur\n\nThinker-Talker-utformingen kombinerer forståelse med talegenerering. Thinker behandler den multimodale oppgaven og produserer tekstinnhold, mens Talker deltar i å forme talesvaret. TMRoPE, produsentens tidsjusterte multimodale posisjonsskjema, synkroniserer tidsstempler fra video med lyd. Arkitekturen er utformet for blokkdelte inndata og responsiv stemme- eller videosamhandling; dette utformingsmålet er ikke en fast svartidsgaranti for alle grensesnitt.\n\nProdusentens oppgavedekning omfatter talegjenkjenning, taleoversettelse, lydforståelse, bilderesonnement, videoforståelse og talegenerering. Muntlige instruksjoner kan derfor inngå direkte i et multimodalt spørsmål fremfor alltid å kreve en separat oppgitt, skrevet transkripsjon. Hold måloppgaven tydelig: å forstå et lydklipp, svare på et muntlig spørsmål og generere et talesvar er forskjellige bruksområder, selv om modellen støtter alle inndata- eller utdataformene deres.\n\nKlargjøring av en multimodal samtale\n\nOppgi de relevante mediene og si hvordan svaret skal knytte dem sammen. For en demonstrasjon med forteller ber du modellen skille mellom de synlige trinnene og talerens forklaring og identifisere hvor de samsvarer. For et bilde sammen med et lydspørsmål identifiserer du bildets rolle og ber om et kortfattet svar forankret i det synlige innholdet. For et utdrag med bare lyd oppgir du om målet er å gjenkjenne tale, forklare lyder eller svare på et spørsmål om innholdet. Dette er utformede anvendelser av den dokumenterte oppgavedekningen.\n\nProdusentens eksempler viser samtaler med bare tekst, bare lyd, bare video og blandede medier. Bevar videoens opprinnelige rekkefølge og tidsinformasjon. Merk separate ressurser slik at modellen kan vise til dem uten å behandle dokumentasjon uten sammenheng som én hendelse. Resultatet kan være tekst alene eller tekst med tale; velg det nyttige sluttproduktet før du klargjør forespørselen.\n\nKlargjøring av taleutdata\n\nQwens oppskrift for modellkontrollpunktet krever den dokumenterte systemprompten for lydegenskaper når taleutdata er nødvendig. Prompten identifiserer Qwen og modellens lyd-, syns-, tekst- og taleegenskaper; en uvedkommende erstatning kan forhindre forventet lydoppførsel. Dette er veiledning for produsentens arbeidsflyt for modellkontrollpunktet, ikke en påstand om at alle applikasjoner eksponerer kontroller for systemprompt eller lydgenerering.\n\nDet nøyaktige modellkontrollpunktet tilbyr to stemmer: Chelsie, en varm kvinnestemme, og Ethan, en livlig mannsstemme. Chelsie er dokumentert standard når ingen taler er valgt. Genereringseksempelet skriver tale med en samplingsfrekvens på 24 000 Hz. Disse to stemmene skal ikke erstattes av beskrivelsen med fire stemmer for en separat navngitt kommersiell modell.\n\nBruk av lyd fra video\n\nLydsporet i en video kan være relevant for betydningen, som muntlige instruksjoner eller en lyd produsert av en synlig handling. Qwen eksponerer use_audio_in_video på tvers av medieklargjøring, behandling og generering. Innstillingen må være konsekvent i alle tre trinn og på tvers av en samtale med flere turer; inkonsekvente innstillinger kan gi uventede resultater. En rent visuell videotolkning er derfor forskjellig fra en audiovisuell tolkning, selv når filen er den samme.\n\nUtdata med bare tekst og satsvis behandling\n\nProdusenten støtter utdata med bare tekst ved å sette return_audio=False. Den tillater også å deaktivere Talker etter innlasting, noe som reduserer GPU-minnet med omtrent 2 GB, men gjør lydutdata utilgjengelig i den instansen. Det dokumenterte eksempelet på satsvis behandling av blandede prøver krever return_audio=False og kombinerer tekst-, bilde-, lyd- og videoforespørsler. Dette satseksempelet skal ikke gjøres til en påstand om satsvis talegenerering.\n\nKontekst og innholdsmessige grenser\n\nKonfigurasjonen for modellkontrollpunktets tekstgrunnmodell angir maksimalt 32 768 posisjoner. Tekst, representerte medier og genererte svar bruker sekvensplass; denne verdien definerer ikke i seg selv en universell lyd- eller videovarighet. Produsentens ressurseksempler viser at lengre video trenger vesentlig mer minne, så et kort relevant klipp er ofte mer praktisk enn et stort, uvedkommende opptak. Eksemplene publiserer ikke en separat absolutt maksimal svarlengde eller en universelt garantert medievarighet.\n\nKontroller talesitater og konklusjoner mot kilden, bevar nok visuelle detaljer til spørsmålet og behold et tekstresultat når en kontrollør må gjennomgå den muntlige forklaringen. Modellens dokumenterte verdi er samlet forståelse og tekst-/talesvar, mens nøyaktige stemmekontroller, mediebehandling og utdatalevering forblir egenskaper ved det valgte grensesnittet.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B kombinerer forståelse av tekst, bilder, lyd og video med tekstutdata og naturlig tale. Thinker-Talker-arkitekturen tilpasser lyd til videoens tidsinformasjon, støtter strømmet samhandling og tilbyr to dokumenterte stemmer i akkurat dette åpne modellkontrollpunktet.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Oversikt: én modell for flere inndatamodaliteter
Qwen2.5-Omni-7B er Qwens multimodale ende-til-ende-modell for tekst, bilder, lyd og video. Den kan forstå disse inndataene samlet og generere tekst med naturlig tale i en strømmet arbeidsflyt. Bruk den når en oppgave avhenger av både det som er synlig og det som er hørbart, eller når brukeren gir instruksjonen med stemmen fremfor å skrive. Dette er akkurat modellkontrollpunktet på 7B; kommersielle Omni-Turbo og senere Omni-utgivelser har egne kontrakter.
Viktige egenskaper og arkitektur
Thinker-Talker-utformingen kombinerer forståelse med talegenerering. Thinker behandler den multimodale oppgaven og produserer tekstinnhold, mens Talker deltar i å forme talesvaret. TMRoPE, produsentens tidsjusterte multimodale posisjonsskjema, synkroniserer tidsstempler fra video med lyd. Arkitekturen er utformet for blokkdelte inndata og responsiv stemme- eller videosamhandling; dette utformingsmålet er ikke en fast svartidsgaranti for alle grensesnitt.
Produsentens oppgavedekning omfatter talegjenkjenning, taleoversettelse, lydforståelse, bilderesonnement, videoforståelse og talegenerering. Muntlige instruksjoner kan derfor inngå direkte i et multimodalt spørsmål fremfor alltid å kreve en separat oppgitt, skrevet transkripsjon. Hold måloppgaven tydelig: å forstå et lydklipp, svare på et muntlig spørsmål og generere et talesvar er forskjellige bruksområder, selv om modellen støtter alle inndata- eller utdataformene deres.
Klargjøring av en multimodal samtale
Oppgi de relevante mediene og si hvordan svaret skal knytte dem sammen. For en demonstrasjon med forteller ber du modellen skille mellom de synlige trinnene og talerens forklaring og identifisere hvor de samsvarer. For et bilde sammen med et lydspørsmål identifiserer du bildets rolle og ber om et kortfattet svar forankret i det synlige innholdet. For et utdrag med bare lyd oppgir du om målet er å gjenkjenne tale, forklare lyder eller svare på et spørsmål om innholdet. Dette er utformede anvendelser av den dokumenterte oppgavedekningen.
Produsentens eksempler viser samtaler med bare tekst, bare lyd, bare video og blandede medier. Bevar videoens opprinnelige rekkefølge og tidsinformasjon. Merk separate ressurser slik at modellen kan vise til dem uten å behandle dokumentasjon uten sammenheng som én hendelse. Resultatet kan være tekst alene eller tekst med tale; velg det nyttige sluttproduktet før du klargjør forespørselen.
Klargjøring av taleutdata
Qwens oppskrift for modellkontrollpunktet krever den dokumenterte systemprompten for lydegenskaper når taleutdata er nødvendig. Prompten identifiserer Qwen og modellens lyd-, syns-, tekst- og taleegenskaper; en uvedkommende erstatning kan forhindre forventet lydoppførsel. Dette er veiledning for produsentens arbeidsflyt for modellkontrollpunktet, ikke en påstand om at alle applikasjoner eksponerer kontroller for systemprompt eller lydgenerering.
Det nøyaktige modellkontrollpunktet tilbyr to stemmer: Chelsie, en varm kvinnestemme, og Ethan, en livlig mannsstemme. Chelsie er dokumentert standard når ingen taler er valgt. Genereringseksempelet skriver tale med en samplingsfrekvens på 24 000 Hz. Disse to stemmene skal ikke erstattes av beskrivelsen med fire stemmer for en separat navngitt kommersiell modell.
Bruk av lyd fra video
Lydsporet i en video kan være relevant for betydningen, som muntlige instruksjoner eller en lyd produsert av en synlig handling. Qwen eksponerer use_audio_in_video på tvers av medieklargjøring, behandling og generering. Innstillingen må være konsekvent i alle tre trinn og på tvers av en samtale med flere turer; inkonsekvente innstillinger kan gi uventede resultater. En rent visuell videotolkning er derfor forskjellig fra en audiovisuell tolkning, selv når filen er den samme.
Utdata med bare tekst og satsvis behandling
Produsenten støtter utdata med bare tekst ved å sette return_audio=False. Den tillater også å deaktivere Talker etter innlasting, noe som reduserer GPU-minnet med omtrent 2 GB, men gjør lydutdata utilgjengelig i den instansen. Det dokumenterte eksempelet på satsvis behandling av blandede prøver krever return_audio=False og kombinerer tekst-, bilde-, lyd- og videoforespørsler. Dette satseksempelet skal ikke gjøres til en påstand om satsvis talegenerering.
Kontekst og innholdsmessige grenser
Konfigurasjonen for modellkontrollpunktets tekstgrunnmodell angir maksimalt 32 768 posisjoner. Tekst, representerte medier og genererte svar bruker sekvensplass; denne verdien definerer ikke i seg selv en universell lyd- eller videovarighet. Produsentens ressurseksempler viser at lengre video trenger vesentlig mer minne, så et kort relevant klipp er ofte mer praktisk enn et stort, uvedkommende opptak. Eksemplene publiserer ikke en separat absolutt maksimal svarlengde eller en universelt garantert medievarighet.
Kontroller talesitater og konklusjoner mot kilden, bevar nok visuelle detaljer til spørsmålet og behold et tekstresultat når en kontrollør må gjennomgå den muntlige forklaringen. Modellens dokumenterte verdi er samlet forståelse og tekst-/talesvar, mens nøyaktige stemmekontroller, mediebehandling og utdatalevering forblir egenskaper ved det valgte grensesnittet.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser qwen2.5-omni-7b | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser Eksempler: system, user, assistant, tool, function Vilkår: Disse rollene representeres eksplisitt av kompatibilitetstyper i kildekoden; det eksakte rollesettet for modellen er fortsatt modellspesifikt. Avhenger av modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfritt | Verdier & grenser Gjelder når: role=tool; bruk faktisk returnert ID | Standard— |
Feltmessages[].name | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfritt | Verdier & grenser Gjelder når: Send den faktisk returnerte resonneringen tilbake der denne modellen bruker den | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttemperature | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttop_p | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools[].type | Typestring | KravValgfritt | Verdier & grenser function Avhenger av modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrevd | Verdier & grenser Gjelder når: funksjonsverktøy oppgitt | Standard— |
Felttools[].function.description | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfritt | Verdier & grenser | Standard— |
Felttool_choice | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltservice_tier | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltinstructions | Typestring | KravValgfritt | Verdier & grenser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfritt | Verdier & grenser text | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises på denne Ultra-tekstruten | Standard— |
Feltcache_control.ttl | Typestring | KravValgfritt | Verdier & grenser Vilkår: 1h avvises på faktiske steder for mellomlagring av ledetekster | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages |
Parametermaterial_types | Avtaletext |
Parametermessages | Avtalemeldingstabell med role/content-struktur |
Parameterfile_material | Avtalefaktisk UTF-8-dokument satt inn som bokstavelig tekst; ingen fil-ID utledes |
Parameteroptional_controls | Avtalestream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalemodellspesifikt; brukerens funksjonsverktøy skiller seg fra driftede verktøy |
Parameteroutput_modalities | Avtaletext |
Parameterhosted_operations | Avtalefalse |
Parametermultimodal_input_binding | Avtalenull |
Livssyklus: synchronous_or_streamed
Send eksakt modell-ID sammen med messages.
Kontekstlengde er ikke en outputgrense.
En tekstfil kan levere bokstavelig tekst; bilde-, lyd- og filobjektinput trenger eksakt binding.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
| Konfigurasjon | Prisplan | Kostnad |
|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Kostnad Inndata · Inngående tokener $0.0046 / 1K tokener Utdata · Utgående tokener $0.0138 / 1K tokener Inndata · Lesing fra hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold hvert svaralternativ med innhold, verktøykall og resonnering. Sett sammen endringer i SSE etter svaralternativets/verktøyets indeks, og behold endelig avslutningsgrunn og bruksdata.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra qwen2.5-omni-7b
Bruk metodestiene som vises ovenfor.
qwen2.5-omni-7bQwen2.5-Omni-7B kombinerer forståelse av tekst, bilder, lyd og video med tekstutdata og naturlig tale. Thinker-Talker-arkitekturen tilpasser lyd til videoens tidsinformasjon, støtter strømmet samhandling og tilbyr to dokumenterte stemmer i akkurat dette åpne modellkontrollpunktet.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Oversikt: én modell for flere inndatamodaliteter
Qwen2.5-Omni-7B er Qwens multimodale ende-til-ende-modell for tekst, bilder, lyd og video. Den kan forstå disse inndataene samlet og generere tekst med naturlig tale i en strømmet arbeidsflyt. Bruk den når en oppgave avhenger av både det som er synlig og det som er hørbart, eller når brukeren gir instruksjonen med stemmen fremfor å skrive. Dette er akkurat modellkontrollpunktet på 7B; kommersielle Omni-Turbo og senere Omni-utgivelser har egne kontrakter.
Viktige egenskaper og arkitektur
Thinker-Talker-utformingen kombinerer forståelse med talegenerering. Thinker behandler den multimodale oppgaven og produserer tekstinnhold, mens Talker deltar i å forme talesvaret. TMRoPE, produsentens tidsjusterte multimodale posisjonsskjema, synkroniserer tidsstempler fra video med lyd. Arkitekturen er utformet for blokkdelte inndata og responsiv stemme- eller videosamhandling; dette utformingsmålet er ikke en fast svartidsgaranti for alle grensesnitt.
Produsentens oppgavedekning omfatter talegjenkjenning, taleoversettelse, lydforståelse, bilderesonnement, videoforståelse og talegenerering. Muntlige instruksjoner kan derfor inngå direkte i et multimodalt spørsmål fremfor alltid å kreve en separat oppgitt, skrevet transkripsjon. Hold måloppgaven tydelig: å forstå et lydklipp, svare på et muntlig spørsmål og generere et talesvar er forskjellige bruksområder, selv om modellen støtter alle inndata- eller utdataformene deres.
Klargjøring av en multimodal samtale
Oppgi de relevante mediene og si hvordan svaret skal knytte dem sammen. For en demonstrasjon med forteller ber du modellen skille mellom de synlige trinnene og talerens forklaring og identifisere hvor de samsvarer. For et bilde sammen med et lydspørsmål identifiserer du bildets rolle og ber om et kortfattet svar forankret i det synlige innholdet. For et utdrag med bare lyd oppgir du om målet er å gjenkjenne tale, forklare lyder eller svare på et spørsmål om innholdet. Dette er utformede anvendelser av den dokumenterte oppgavedekningen.
Produsentens eksempler viser samtaler med bare tekst, bare lyd, bare video og blandede medier. Bevar videoens opprinnelige rekkefølge og tidsinformasjon. Merk separate ressurser slik at modellen kan vise til dem uten å behandle dokumentasjon uten sammenheng som én hendelse. Resultatet kan være tekst alene eller tekst med tale; velg det nyttige sluttproduktet før du klargjør forespørselen.
Klargjøring av taleutdata
Qwens oppskrift for modellkontrollpunktet krever den dokumenterte systemprompten for lydegenskaper når taleutdata er nødvendig. Prompten identifiserer Qwen og modellens lyd-, syns-, tekst- og taleegenskaper; en uvedkommende erstatning kan forhindre forventet lydoppførsel. Dette er veiledning for produsentens arbeidsflyt for modellkontrollpunktet, ikke en påstand om at alle applikasjoner eksponerer kontroller for systemprompt eller lydgenerering.
Det nøyaktige modellkontrollpunktet tilbyr to stemmer: Chelsie, en varm kvinnestemme, og Ethan, en livlig mannsstemme. Chelsie er dokumentert standard når ingen taler er valgt. Genereringseksempelet skriver tale med en samplingsfrekvens på 24 000 Hz. Disse to stemmene skal ikke erstattes av beskrivelsen med fire stemmer for en separat navngitt kommersiell modell.
Bruk av lyd fra video
Lydsporet i en video kan være relevant for betydningen, som muntlige instruksjoner eller en lyd produsert av en synlig handling. Qwen eksponerer use_audio_in_video på tvers av medieklargjøring, behandling og generering. Innstillingen må være konsekvent i alle tre trinn og på tvers av en samtale med flere turer; inkonsekvente innstillinger kan gi uventede resultater. En rent visuell videotolkning er derfor forskjellig fra en audiovisuell tolkning, selv når filen er den samme.
Utdata med bare tekst og satsvis behandling
Produsenten støtter utdata med bare tekst ved å sette return_audio=False. Den tillater også å deaktivere Talker etter innlasting, noe som reduserer GPU-minnet med omtrent 2 GB, men gjør lydutdata utilgjengelig i den instansen. Det dokumenterte eksempelet på satsvis behandling av blandede prøver krever return_audio=False og kombinerer tekst-, bilde-, lyd- og videoforespørsler. Dette satseksempelet skal ikke gjøres til en påstand om satsvis talegenerering.
Kontekst og innholdsmessige grenser
Konfigurasjonen for modellkontrollpunktets tekstgrunnmodell angir maksimalt 32 768 posisjoner. Tekst, representerte medier og genererte svar bruker sekvensplass; denne verdien definerer ikke i seg selv en universell lyd- eller videovarighet. Produsentens ressurseksempler viser at lengre video trenger vesentlig mer minne, så et kort relevant klipp er ofte mer praktisk enn et stort, uvedkommende opptak. Eksemplene publiserer ikke en separat absolutt maksimal svarlengde eller en universelt garantert medievarighet.
Kontroller talesitater og konklusjoner mot kilden, bevar nok visuelle detaljer til spørsmålet og behold et tekstresultat når en kontrollør må gjennomgå den muntlige forklaringen. Modellens dokumenterte verdi er samlet forståelse og tekst-/talesvar, mens nøyaktige stemmekontroller, mediebehandling og utdatalevering forblir egenskaper ved det valgte grensesnittet.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser qwen2.5-omni-7b | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrevd | Verdier & grenser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrevd | Verdier & grenser | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content-streng
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages, max_tokens |
Parameteroptional_controls | Avtalestream |
Parametermaterial_types | Avtaletext |
Parametertext_file_material | AvtaleLes det faktiske UTF-8-dokumentet og legg teksten i den angitte input- eller meldingsinnholdsstrengen. |
Livssyklus: synchronous_or_streamed
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
| Konfigurasjon | Prisplan | Kostnad |
|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Kostnad Inndata · Inngående tokener $0.0046 / 1K tokener Utdata · Utgående tokener $0.0138 / 1K tokener Inndata · Lesing fra hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold alle innholdsblokker, resonneringssignaturer og faktiske ID-er for verktøybruk. Sett sammen alle SSE-blokkendringer; den første tekstblokken er ikke hele resultatet.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra qwen2.5-omni-7b
Bruk metodestiene som vises ovenfor.
Teknisk eksempel på engelsk
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.