Oversikt: forståelse av blandede medier og talte svar
Qwen-Omni-Turbo er Qwens modell for multimodal forståelse og generering. Den tar imot tekst, bilder, tale og video, også kombinasjoner av disse inndataene, og produserer tekst eller tekst med naturlig tale. Produsenten beskriver samtidig strømming av tekst og tale, med fire naturlige samtalestemmer å velge mellom. Det gjør modellen relevant for oppgaver der spørsmålet og kildegrunnlaget kommer i ulike former, for eksempel et muntlig spørsmål om et fotografi eller en forklaring av en audiovisuell scene.
Det nøyaktige navnet og utgavene
Produsentens nåværende modellside beskriver qwen-omni-turbo som funksjonelt tilsvarende den daterte versjonen qwen-omni-turbo-2025-03-26. Den fører opp qwen-omni-turbo-latest separat som et navn som oppdateres dynamisk, og holder den tidligere daterte versjonen qwen-omni-turbo-2025-01-19 atskilt. Marsversjonen beskrives som en forbedring av de visuelle funksjonene sammenlignet med januarversjonen. Dette er produsentens koblinger mellom utgavene, ikke bevis på at alle applikasjonsruter med lignende navn bruker identiske vekter eller innstillinger. Behold navnet på en datert versjon når oppgaven krever en nøyaktig utgave.
Turbo-navnet betegner ikke den separate sanntidsutgaven, en nyere Qwen-Omni-generasjon eller det åpne sjekkpunktet Qwen2.5-Omni-7B. Inndatareglene, stemmene og grensesnittene deres trenger egen dokumentasjon. Særlig skal de fire stemmealternativene som er beskrevet for Omni-Turbo, ikke kopieres inn i beskrivelsen av det åpne sjekkpunktet med to stemmer.
Klargjøring av en oppgave med blandede medier
Oppgi hva modellen skal knytte sammen på tvers av inndataene. Ved et muntlig spørsmål om et diagram oppgir du diagrammet og spørsmålet sammen, og ber deretter om en forklaring av det synlige elementet som omtales. For en video med tale angir du om ønsket resultat er et sammendrag av det som vises, det som sies, eller hvordan de to henger sammen. Nyttige utdata kan skille visuelle observasjoner fra lydobservasjoner før konklusjonen.
Oppgi det relevante korte utdraget ved en multimediagjennomgang, fremfor flere filer som ikke henger sammen. Merk bilder og forklar rollen deres hvis det er mer enn ett. Behold lyd- og tidsinformasjonen som er viktig for spørsmålet. Be om et avgrenset resultat, for eksempel en talt forklaring til en lytter eller en kort tekstliste over scenedetaljer. Dette er utarbeidede bruksområder for de dokumenterte mulighetene for blandede inndata, ikke påstander om at et bestemt klipp allerede er analysert.
Tekst- og taleutdata
Produsentens modellbeskrivelse støtter tekstsvar og samtidig strømmet tekst og tale. En talt forklaring kan være nyttig for samtaleassistanse, mens tekst er enklere å undersøke, søke i og sammenligne med kildematerialet. Valgt utdatamodus og stemmeinnstillinger avhenger av grensesnittet som tilbyr modellen. Strømming beskriver levering i påfølgende deler; det er ikke en garantert svartid eller bevis på at en egen protokoll for samtaler i sanntid er tilgjengelig.
Kontekst- og utdatagrenser
Den egne spesifikasjonen oppgir et kontekstvindu på 32 768 tokener, maksimal inndatalengde på 30 720 tokener og maksimal utdatalengde på 2 048 tokener. Klargjør kildematerialet og ønsket svar med disse separate grensene i tankene. Multimodale inndata må passe innenfor budsjettet for representasjonen sin, ikke bare et antall skrevne tegn. En forespørsel om en lang fortellertekst bør avgrenses til en kort forklaring som passer innenfor utdatagrensen.
Disse tokengrensene fastslår ikke en universell varighet i minutter eller et universelt antall bilder. Forbehandling av medier og den valgte utgaven påvirker hvor mye materiale som passer. Modellsiden publiserer ikke sjekkpunktets arkitektur eller antall parametere, så Turbo-betegnelsen skal ikke brukes til å finne på en størrelse eller låne arkitekturen fra en annen Omni-modell.
Verktøy og vesentlige begrensninger
Funksjonsmatrisen for den nøyaktige modellen støtter ikke funksjonskall, innebygd nettsøk eller håndhevede strukturerte utdata. Den oppgir satsvis inferens i noen produsentkonfigurasjoner og kontekstbufring i en annen. Å be om en liste eller et svar i JSON-form er en forespørsel om tekstformat, ikke en garanti for at et skjema håndheves. Modellens evne til å forstå en visuell eller muntlig oppgave gir heller ikke tilgang til oppdatert informasjon eller eksterne systemer.
Kontroller om svaret skiller synlig kildegrunnlag, hørbart innhold og tolkning. Sitater fra tale, små visuelle etiketter og utledede sammenhenger bør sammenlignes med det oppgitte materialet. Behold den tilhørende teksten for et talt resultat når den er tilgjengelig, slik at en fagkyndig kan undersøke forklaringen. Den praktiske fordelen er å knytte sammen flere modaliteter i ett svar, med korte utdata tilpasset den dokumenterte utgaven.
", "aboutText": "Oversikt: forståelse av blandede medier og talte svar\n\nQwen-Omni-Turbo er Qwens modell for multimodal forståelse og generering. Den tar imot tekst, bilder, tale og video, også kombinasjoner av disse inndataene, og produserer tekst eller tekst med naturlig tale. Produsenten beskriver samtidig strømming av tekst og tale, med fire naturlige samtalestemmer å velge mellom. Det gjør modellen relevant for oppgaver der spørsmålet og kildegrunnlaget kommer i ulike former, for eksempel et muntlig spørsmål om et fotografi eller en forklaring av en audiovisuell scene.\n\nDet nøyaktige navnet og utgavene\n\nProdusentens nåværende modellside beskriver qwen-omni-turbo som funksjonelt tilsvarende den daterte versjonen qwen-omni-turbo-2025-03-26. Den fører opp qwen-omni-turbo-latest separat som et navn som oppdateres dynamisk, og holder den tidligere daterte versjonen qwen-omni-turbo-2025-01-19 atskilt. Marsversjonen beskrives som en forbedring av de visuelle funksjonene sammenlignet med januarversjonen. Dette er produsentens koblinger mellom utgavene, ikke bevis på at alle applikasjonsruter med lignende navn bruker identiske vekter eller innstillinger. Behold navnet på en datert versjon når oppgaven krever en nøyaktig utgave.\n\nTurbo-navnet betegner ikke den separate sanntidsutgaven, en nyere Qwen-Omni-generasjon eller det åpne sjekkpunktet Qwen2.5-Omni-7B. Inndatareglene, stemmene og grensesnittene deres trenger egen dokumentasjon. Særlig skal de fire stemmealternativene som er beskrevet for Omni-Turbo, ikke kopieres inn i beskrivelsen av det åpne sjekkpunktet med to stemmer.\n\nKlargjøring av en oppgave med blandede medier\n\nOppgi hva modellen skal knytte sammen på tvers av inndataene. Ved et muntlig spørsmål om et diagram oppgir du diagrammet og spørsmålet sammen, og ber deretter om en forklaring av det synlige elementet som omtales. For en video med tale angir du om ønsket resultat er et sammendrag av det som vises, det som sies, eller hvordan de to henger sammen. Nyttige utdata kan skille visuelle observasjoner fra lydobservasjoner før konklusjonen.\n\nOppgi det relevante korte utdraget ved en multimediagjennomgang, fremfor flere filer som ikke henger sammen. Merk bilder og forklar rollen deres hvis det er mer enn ett. Behold lyd- og tidsinformasjonen som er viktig for spørsmålet. Be om et avgrenset resultat, for eksempel en talt forklaring til en lytter eller en kort tekstliste over scenedetaljer. Dette er utarbeidede bruksområder for de dokumenterte mulighetene for blandede inndata, ikke påstander om at et bestemt klipp allerede er analysert.\n\nTekst- og taleutdata\n\nProdusentens modellbeskrivelse støtter tekstsvar og samtidig strømmet tekst og tale. En talt forklaring kan være nyttig for samtaleassistanse, mens tekst er enklere å undersøke, søke i og sammenligne med kildematerialet. Valgt utdatamodus og stemmeinnstillinger avhenger av grensesnittet som tilbyr modellen. Strømming beskriver levering i påfølgende deler; det er ikke en garantert svartid eller bevis på at en egen protokoll for samtaler i sanntid er tilgjengelig.\n\nKontekst- og utdatagrenser\n\nDen egne spesifikasjonen oppgir et kontekstvindu på 32 768 tokener, maksimal inndatalengde på 30 720 tokener og maksimal utdatalengde på 2 048 tokener. Klargjør kildematerialet og ønsket svar med disse separate grensene i tankene. Multimodale inndata må passe innenfor budsjettet for representasjonen sin, ikke bare et antall skrevne tegn. En forespørsel om en lang fortellertekst bør avgrenses til en kort forklaring som passer innenfor utdatagrensen.\n\nDisse tokengrensene fastslår ikke en universell varighet i minutter eller et universelt antall bilder. Forbehandling av medier og den valgte utgaven påvirker hvor mye materiale som passer. Modellsiden publiserer ikke sjekkpunktets arkitektur eller antall parametere, så Turbo-betegnelsen skal ikke brukes til å finne på en størrelse eller låne arkitekturen fra en annen Omni-modell.\n\nVerktøy og vesentlige begrensninger\n\nFunksjonsmatrisen for den nøyaktige modellen støtter ikke funksjonskall, innebygd nettsøk eller håndhevede strukturerte utdata. Den oppgir satsvis inferens i noen produsentkonfigurasjoner og kontekstbufring i en annen. Å be om en liste eller et svar i JSON-form er en forespørsel om tekstformat, ikke en garanti for at et skjema håndheves. Modellens evne til å forstå en visuell eller muntlig oppgave gir heller ikke tilgang til oppdatert informasjon eller eksterne systemer.\n\nKontroller om svaret skiller synlig kildegrunnlag, hørbart innhold og tolkning. Sitater fra tale, små visuelle etiketter og utledede sammenhenger bør sammenlignes med det oppgitte materialet. Behold den tilhørende teksten for et talt resultat når den er tilgjengelig, slik at en fagkyndig kan undersøke forklaringen. Den praktiske fordelen er å knytte sammen flere modaliteter i ett svar, med korte utdata tilpasset den dokumenterte utgaven.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo kombinerer tekst, bilder, lyd og video i én multimodal oppgave og kan strømme tekst sammen med talte svar. Bruk den til å knytte et muntlig spørsmål til visuelt kildegrunnlag eller forklare et audiovisuelt klipp, innenfor produsentens kontekst på 32 768 tokener og utdatagrense på 2 048 tokener.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Oversikt: forståelse av blandede medier og talte svar
Qwen-Omni-Turbo er Qwens modell for multimodal forståelse og generering. Den tar imot tekst, bilder, tale og video, også kombinasjoner av disse inndataene, og produserer tekst eller tekst med naturlig tale. Produsenten beskriver samtidig strømming av tekst og tale, med fire naturlige samtalestemmer å velge mellom. Det gjør modellen relevant for oppgaver der spørsmålet og kildegrunnlaget kommer i ulike former, for eksempel et muntlig spørsmål om et fotografi eller en forklaring av en audiovisuell scene.
Det nøyaktige navnet og utgavene
Produsentens nåværende modellside beskriver qwen-omni-turbo som funksjonelt tilsvarende den daterte versjonen qwen-omni-turbo-2025-03-26. Den fører opp qwen-omni-turbo-latest separat som et navn som oppdateres dynamisk, og holder den tidligere daterte versjonen qwen-omni-turbo-2025-01-19 atskilt. Marsversjonen beskrives som en forbedring av de visuelle funksjonene sammenlignet med januarversjonen. Dette er produsentens koblinger mellom utgavene, ikke bevis på at alle applikasjonsruter med lignende navn bruker identiske vekter eller innstillinger. Behold navnet på en datert versjon når oppgaven krever en nøyaktig utgave.
Turbo-navnet betegner ikke den separate sanntidsutgaven, en nyere Qwen-Omni-generasjon eller det åpne sjekkpunktet Qwen2.5-Omni-7B. Inndatareglene, stemmene og grensesnittene deres trenger egen dokumentasjon. Særlig skal de fire stemmealternativene som er beskrevet for Omni-Turbo, ikke kopieres inn i beskrivelsen av det åpne sjekkpunktet med to stemmer.
Klargjøring av en oppgave med blandede medier
Oppgi hva modellen skal knytte sammen på tvers av inndataene. Ved et muntlig spørsmål om et diagram oppgir du diagrammet og spørsmålet sammen, og ber deretter om en forklaring av det synlige elementet som omtales. For en video med tale angir du om ønsket resultat er et sammendrag av det som vises, det som sies, eller hvordan de to henger sammen. Nyttige utdata kan skille visuelle observasjoner fra lydobservasjoner før konklusjonen.
Oppgi det relevante korte utdraget ved en multimediagjennomgang, fremfor flere filer som ikke henger sammen. Merk bilder og forklar rollen deres hvis det er mer enn ett. Behold lyd- og tidsinformasjonen som er viktig for spørsmålet. Be om et avgrenset resultat, for eksempel en talt forklaring til en lytter eller en kort tekstliste over scenedetaljer. Dette er utarbeidede bruksområder for de dokumenterte mulighetene for blandede inndata, ikke påstander om at et bestemt klipp allerede er analysert.
Tekst- og taleutdata
Produsentens modellbeskrivelse støtter tekstsvar og samtidig strømmet tekst og tale. En talt forklaring kan være nyttig for samtaleassistanse, mens tekst er enklere å undersøke, søke i og sammenligne med kildematerialet. Valgt utdatamodus og stemmeinnstillinger avhenger av grensesnittet som tilbyr modellen. Strømming beskriver levering i påfølgende deler; det er ikke en garantert svartid eller bevis på at en egen protokoll for samtaler i sanntid er tilgjengelig.
Kontekst- og utdatagrenser
Den egne spesifikasjonen oppgir et kontekstvindu på 32 768 tokener, maksimal inndatalengde på 30 720 tokener og maksimal utdatalengde på 2 048 tokener. Klargjør kildematerialet og ønsket svar med disse separate grensene i tankene. Multimodale inndata må passe innenfor budsjettet for representasjonen sin, ikke bare et antall skrevne tegn. En forespørsel om en lang fortellertekst bør avgrenses til en kort forklaring som passer innenfor utdatagrensen.
Disse tokengrensene fastslår ikke en universell varighet i minutter eller et universelt antall bilder. Forbehandling av medier og den valgte utgaven påvirker hvor mye materiale som passer. Modellsiden publiserer ikke sjekkpunktets arkitektur eller antall parametere, så Turbo-betegnelsen skal ikke brukes til å finne på en størrelse eller låne arkitekturen fra en annen Omni-modell.
Verktøy og vesentlige begrensninger
Funksjonsmatrisen for den nøyaktige modellen støtter ikke funksjonskall, innebygd nettsøk eller håndhevede strukturerte utdata. Den oppgir satsvis inferens i noen produsentkonfigurasjoner og kontekstbufring i en annen. Å be om en liste eller et svar i JSON-form er en forespørsel om tekstformat, ikke en garanti for at et skjema håndheves. Modellens evne til å forstå en visuell eller muntlig oppgave gir heller ikke tilgang til oppdatert informasjon eller eksterne systemer.
Kontroller om svaret skiller synlig kildegrunnlag, hørbart innhold og tolkning. Sitater fra tale, små visuelle etiketter og utledede sammenhenger bør sammenlignes med det oppgitte materialet. Behold den tilhørende teksten for et talt resultat når den er tilgjengelig, slik at en fagkyndig kan undersøke forklaringen. Den praktiske fordelen er å knytte sammen flere modaliteter i ett svar, med korte utdata tilpasset den dokumenterte utgaven.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser qwen-omni-turbo | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser Eksempler: system, user, assistant, tool, function Vilkår: Disse rollene representeres eksplisitt av kompatibilitetstyper i kildekoden; det eksakte rollesettet for modellen er fortsatt modellspesifikt. Avhenger av modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfritt | Verdier & grenser Gjelder når: role=tool; bruk faktisk returnert ID | Standard— |
Feltmessages[].name | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfritt | Verdier & grenser Gjelder når: Send den faktisk returnerte resonneringen tilbake der denne modellen bruker den | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttemperature | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttop_p | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools[].type | Typestring | KravValgfritt | Verdier & grenser function Avhenger av modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrevd | Verdier & grenser Gjelder når: funksjonsverktøy oppgitt | Standard— |
Felttools[].function.description | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfritt | Verdier & grenser | Standard— |
Felttool_choice | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltservice_tier | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltinstructions | Typestring | KravValgfritt | Verdier & grenser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfritt | Verdier & grenser text | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises på denne Ultra-tekstruten | Standard— |
Feltcache_control.ttl | Typestring | KravValgfritt | Verdier & grenser Vilkår: 1h avvises på faktiske steder for mellomlagring av ledetekster | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages |
Parametermaterial_types | Avtaletext |
Parametermessages | Avtalemeldingstabell med role/content-struktur |
Parameterfile_material | Avtalefaktisk UTF-8-dokument satt inn som bokstavelig tekst; ingen fil-ID utledes |
Parameteroptional_controls | Avtalestream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalemodellspesifikt; brukerens funksjonsverktøy skiller seg fra driftede verktøy |
Parameteroutput_modalities | Avtaletext |
Parameterhosted_operations | Avtalefalse |
Parametermultimodal_input_binding | Avtalenull |
Livssyklus: synchronous_or_streamed
Send eksakt modell-ID sammen med messages.
Kontekstlengde er ikke en outputgrense.
En tekstfil kan levere bokstavelig tekst; bilde-, lyd- og filobjektinput trenger eksakt binding.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
| Konfigurasjon | Prisplan | Kostnad |
|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Kostnad Inndata · Inngående tokener $0.0046 / 1K tokener Utdata · Utgående tokener $0.0138 / 1K tokener Inndata · Lesing fra hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold hvert svaralternativ med innhold, verktøykall og resonnering. Sett sammen endringer i SSE etter svaralternativets/verktøyets indeks, og behold endelig avslutningsgrunn og bruksdata.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra qwen-omni-turbo
Bruk metodestiene som vises ovenfor.
qwen-omni-turboQwen-Omni-Turbo kombinerer tekst, bilder, lyd og video i én multimodal oppgave og kan strømme tekst sammen med talte svar. Bruk den til å knytte et muntlig spørsmål til visuelt kildegrunnlag eller forklare et audiovisuelt klipp, innenfor produsentens kontekst på 32 768 tokener og utdatagrense på 2 048 tokener.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Oversikt: forståelse av blandede medier og talte svar
Qwen-Omni-Turbo er Qwens modell for multimodal forståelse og generering. Den tar imot tekst, bilder, tale og video, også kombinasjoner av disse inndataene, og produserer tekst eller tekst med naturlig tale. Produsenten beskriver samtidig strømming av tekst og tale, med fire naturlige samtalestemmer å velge mellom. Det gjør modellen relevant for oppgaver der spørsmålet og kildegrunnlaget kommer i ulike former, for eksempel et muntlig spørsmål om et fotografi eller en forklaring av en audiovisuell scene.
Det nøyaktige navnet og utgavene
Produsentens nåværende modellside beskriver qwen-omni-turbo som funksjonelt tilsvarende den daterte versjonen qwen-omni-turbo-2025-03-26. Den fører opp qwen-omni-turbo-latest separat som et navn som oppdateres dynamisk, og holder den tidligere daterte versjonen qwen-omni-turbo-2025-01-19 atskilt. Marsversjonen beskrives som en forbedring av de visuelle funksjonene sammenlignet med januarversjonen. Dette er produsentens koblinger mellom utgavene, ikke bevis på at alle applikasjonsruter med lignende navn bruker identiske vekter eller innstillinger. Behold navnet på en datert versjon når oppgaven krever en nøyaktig utgave.
Turbo-navnet betegner ikke den separate sanntidsutgaven, en nyere Qwen-Omni-generasjon eller det åpne sjekkpunktet Qwen2.5-Omni-7B. Inndatareglene, stemmene og grensesnittene deres trenger egen dokumentasjon. Særlig skal de fire stemmealternativene som er beskrevet for Omni-Turbo, ikke kopieres inn i beskrivelsen av det åpne sjekkpunktet med to stemmer.
Klargjøring av en oppgave med blandede medier
Oppgi hva modellen skal knytte sammen på tvers av inndataene. Ved et muntlig spørsmål om et diagram oppgir du diagrammet og spørsmålet sammen, og ber deretter om en forklaring av det synlige elementet som omtales. For en video med tale angir du om ønsket resultat er et sammendrag av det som vises, det som sies, eller hvordan de to henger sammen. Nyttige utdata kan skille visuelle observasjoner fra lydobservasjoner før konklusjonen.
Oppgi det relevante korte utdraget ved en multimediagjennomgang, fremfor flere filer som ikke henger sammen. Merk bilder og forklar rollen deres hvis det er mer enn ett. Behold lyd- og tidsinformasjonen som er viktig for spørsmålet. Be om et avgrenset resultat, for eksempel en talt forklaring til en lytter eller en kort tekstliste over scenedetaljer. Dette er utarbeidede bruksområder for de dokumenterte mulighetene for blandede inndata, ikke påstander om at et bestemt klipp allerede er analysert.
Tekst- og taleutdata
Produsentens modellbeskrivelse støtter tekstsvar og samtidig strømmet tekst og tale. En talt forklaring kan være nyttig for samtaleassistanse, mens tekst er enklere å undersøke, søke i og sammenligne med kildematerialet. Valgt utdatamodus og stemmeinnstillinger avhenger av grensesnittet som tilbyr modellen. Strømming beskriver levering i påfølgende deler; det er ikke en garantert svartid eller bevis på at en egen protokoll for samtaler i sanntid er tilgjengelig.
Kontekst- og utdatagrenser
Den egne spesifikasjonen oppgir et kontekstvindu på 32 768 tokener, maksimal inndatalengde på 30 720 tokener og maksimal utdatalengde på 2 048 tokener. Klargjør kildematerialet og ønsket svar med disse separate grensene i tankene. Multimodale inndata må passe innenfor budsjettet for representasjonen sin, ikke bare et antall skrevne tegn. En forespørsel om en lang fortellertekst bør avgrenses til en kort forklaring som passer innenfor utdatagrensen.
Disse tokengrensene fastslår ikke en universell varighet i minutter eller et universelt antall bilder. Forbehandling av medier og den valgte utgaven påvirker hvor mye materiale som passer. Modellsiden publiserer ikke sjekkpunktets arkitektur eller antall parametere, så Turbo-betegnelsen skal ikke brukes til å finne på en størrelse eller låne arkitekturen fra en annen Omni-modell.
Verktøy og vesentlige begrensninger
Funksjonsmatrisen for den nøyaktige modellen støtter ikke funksjonskall, innebygd nettsøk eller håndhevede strukturerte utdata. Den oppgir satsvis inferens i noen produsentkonfigurasjoner og kontekstbufring i en annen. Å be om en liste eller et svar i JSON-form er en forespørsel om tekstformat, ikke en garanti for at et skjema håndheves. Modellens evne til å forstå en visuell eller muntlig oppgave gir heller ikke tilgang til oppdatert informasjon eller eksterne systemer.
Kontroller om svaret skiller synlig kildegrunnlag, hørbart innhold og tolkning. Sitater fra tale, små visuelle etiketter og utledede sammenhenger bør sammenlignes med det oppgitte materialet. Behold den tilhørende teksten for et talt resultat når den er tilgjengelig, slik at en fagkyndig kan undersøke forklaringen. Den praktiske fordelen er å knytte sammen flere modaliteter i ett svar, med korte utdata tilpasset den dokumenterte utgaven.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser qwen-omni-turbo | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrevd | Verdier & grenser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrevd | Verdier & grenser | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content-streng
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages, max_tokens |
Parameteroptional_controls | Avtalestream |
Parametermaterial_types | Avtaletext |
Parametertext_file_material | AvtaleLes det faktiske UTF-8-dokumentet og legg teksten i den angitte input- eller meldingsinnholdsstrengen. |
Livssyklus: synchronous_or_streamed
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
| Konfigurasjon | Prisplan | Kostnad |
|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Kostnad Inndata · Inngående tokener $0.0046 / 1K tokener Utdata · Utgående tokener $0.0138 / 1K tokener Inndata · Lesing fra hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer $0 / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold alle innholdsblokker, resonneringssignaturer og faktiske ID-er for verktøybruk. Sett sammen alle SSE-blokkendringer; den første tekstblokken er ikke hele resultatet.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra qwen-omni-turbo
Bruk metodestiene som vises ovenfor.
Teknisk eksempel på engelsk
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.