Overblik: forståelse af blandede medier og talte svar
Qwen-Omni-Turbo er Qwens model til multimodal forståelse og generering. Den modtager tekst, billeder, tale og video, også i kombination, og producerer tekst eller tekst med naturlig tale. Producenten beskriver samtidig streaming af tekst og tale med fire naturlige samtalestemmer at vælge imellem. Det gør modellen relevant til opgaver, hvor spørgsmålet og dets evidensgrundlag kommer i forskellige former, eksempelvis et mundtligt spørgsmål om et fotografi eller en forklaring af en audiovisuel scene.
Det præcise navn og dets udgaver
Producentens aktuelle modelside beskriver qwen-omni-turbo som funktionelt svarende til den daterede version qwen-omni-turbo-2025-03-26. Den angiver særskilt qwen-omni-turbo-latest som et navn, der opdateres dynamisk, og holder den tidligere daterede version qwen-omni-turbo-2025-01-19 adskilt. Martsudgaven beskrives som en forbedring af de visuelle evner i forhold til januarudgaven. Det er producentens relationer mellem udgaverne, ikke dokumentation for, at alle tilsvarende navngivne ruter i en applikation bruger identiske vægte eller indstillinger. Bevar et dateret versionsnavn, når opgaven kræver en præcis version.
Navnet Turbo betegner ikke den særskilte realtidsudgave, en nyere generation af Qwen-Omni eller det åbne checkpoint Qwen2.5-Omni-7B. Deres inputregler, stemmer og interfaces kræver deres egen dokumentation. De fire stemmevalg, som beskrives for Omni-Turbo, bør især ikke overføres til beskrivelsen af det åbne checkpoint med to stemmer.
Forberedelse af en opgave med blandede medier
Angiv, hvad modellen skal forbinde på tværs af inputtene. Ved et mundtligt spørgsmål om et diagram skal du give diagrammet og spørgsmålet sammen og derefter bede om en forklaring af det synlige element, der omtales. Ved en video med tale skal du angive, om resultatet skal sammenfatte det, der ses, det, der siges, eller hvordan de to hænger sammen. Et nyttigt output kan adskille visuelle observationer fra lydobservationer før konklusionen.
Til en gennemgang af multimediemateriale skal du give det relevante korte uddrag frem for flere uvedkommende filer. Giv billederne betegnelser, og forklar deres rolle, hvis der er flere. Bevar de lyd- og tidsoplysninger, der er vigtige for spørgsmålet. Bed om et afgrænset resultat, eksempelvis en talt forklaring til en lytter eller en kort tekstliste med scenedetaljer. Det er udarbejdede eksempler på anvendelse af de dokumenterede muligheder for blandede input, ikke påstande om, at et bestemt klip allerede er blevet analyseret.
Tekst- og taleoutput
Producentens modelbeskrivelse understøtter tekstsvar og samtidig streaming af tekst og tale. En talt forklaring kan være relevant til samtalebaseret assistance, mens tekst er lettere at gennemgå, søge i og sammenligne med kildematerialet. Den valgte outputtilstand og stemmeindstillingerne afhænger af det interface, som stiller modellen til rådighed. Streaming beskriver levering i successive dele; det er ikke en garanteret svartid eller dokumentation for, at en særskilt protokol til samtaler i realtid er tilgængelig.
Kontekst- og outputgrænser
Den særskilte specifikation angiver et kontekstvindue på 32.768 tokens, en maksimal inputlængde på 30.720 tokens og en maksimal outputlængde på 2.048 tokens. Forbered kildematerialet og det ønskede svar med disse adskilte grænser for øje. Multimodalt input skal holde sig inden for budgettet for dets repræsentation, ikke blot et antal indtastede tegn. En forespørgsel om en lang mundtlig fortælling bør afgrænses til en kort forklaring, der passer inden for outputgrænsen.
Disse tokengrænser fastlægger ikke en universel varighed i minutter eller et universelt antal billeder. Forbehandlingen af medierne og den valgte udgave påvirker, hvor meget materiale der er plads til. Modelsiden offentliggør ikke checkpointets arkitektur eller parameterantal, så Turbo-betegnelsen bør ikke bruges til at opfinde en størrelse eller låne arkitekturen fra en anden Omni-model.
Værktøjer og væsentlige begrænsninger
Den præcise models funktionsoversigt understøtter ikke funktionskald, indbygget websøgning eller håndhævede strukturerede output. Den angiver batchinferens i nogle af producentens konfigurationer og kontekstcache i en anden. En anmodning om en liste eller et svar i et JSON-lignende format er et ønske om tekstformatering, ikke en garanti for håndhævelse af et skema. Modellens evne til at forstå en visuel eller mundtlig opgave giver heller ikke adgang til aktuelle oplysninger eller eksterne systemer.
Kontrollér, om svaret skelner mellem synlig evidens, hørbart indhold og fortolkning. Citater fra tale, små visuelle etiketter og udledte sammenhænge bør sammenlignes med det givne materiale. Ved et talt resultat skal du bevare den ledsagende tekst, når den er tilgængelig, så en reviewer kan gennemgå forklaringen. Den praktiske fordel er at forbinde flere modaliteter i ét svar med et kort output, hvis omfang er tilpasset den dokumenterede udgave.
", "aboutText": "Overblik: forståelse af blandede medier og talte svar\n\nQwen-Omni-Turbo er Qwens model til multimodal forståelse og generering. Den modtager tekst, billeder, tale og video, også i kombination, og producerer tekst eller tekst med naturlig tale. Producenten beskriver samtidig streaming af tekst og tale med fire naturlige samtalestemmer at vælge imellem. Det gør modellen relevant til opgaver, hvor spørgsmålet og dets evidensgrundlag kommer i forskellige former, eksempelvis et mundtligt spørgsmål om et fotografi eller en forklaring af en audiovisuel scene.\n\nDet præcise navn og dets udgaver\n\nProducentens aktuelle modelside beskriver qwen-omni-turbo som funktionelt svarende til den daterede version qwen-omni-turbo-2025-03-26. Den angiver særskilt qwen-omni-turbo-latest som et navn, der opdateres dynamisk, og holder den tidligere daterede version qwen-omni-turbo-2025-01-19 adskilt. Martsudgaven beskrives som en forbedring af de visuelle evner i forhold til januarudgaven. Det er producentens relationer mellem udgaverne, ikke dokumentation for, at alle tilsvarende navngivne ruter i en applikation bruger identiske vægte eller indstillinger. Bevar et dateret versionsnavn, når opgaven kræver en præcis version.\n\nNavnet Turbo betegner ikke den særskilte realtidsudgave, en nyere generation af Qwen-Omni eller det åbne checkpoint Qwen2.5-Omni-7B. Deres inputregler, stemmer og interfaces kræver deres egen dokumentation. De fire stemmevalg, som beskrives for Omni-Turbo, bør især ikke overføres til beskrivelsen af det åbne checkpoint med to stemmer.\n\nForberedelse af en opgave med blandede medier\n\nAngiv, hvad modellen skal forbinde på tværs af inputtene. Ved et mundtligt spørgsmål om et diagram skal du give diagrammet og spørgsmålet sammen og derefter bede om en forklaring af det synlige element, der omtales. Ved en video med tale skal du angive, om resultatet skal sammenfatte det, der ses, det, der siges, eller hvordan de to hænger sammen. Et nyttigt output kan adskille visuelle observationer fra lydobservationer før konklusionen.\n\nTil en gennemgang af multimediemateriale skal du give det relevante korte uddrag frem for flere uvedkommende filer. Giv billederne betegnelser, og forklar deres rolle, hvis der er flere. Bevar de lyd- og tidsoplysninger, der er vigtige for spørgsmålet. Bed om et afgrænset resultat, eksempelvis en talt forklaring til en lytter eller en kort tekstliste med scenedetaljer. Det er udarbejdede eksempler på anvendelse af de dokumenterede muligheder for blandede input, ikke påstande om, at et bestemt klip allerede er blevet analyseret.\n\nTekst- og taleoutput\n\nProducentens modelbeskrivelse understøtter tekstsvar og samtidig streaming af tekst og tale. En talt forklaring kan være relevant til samtalebaseret assistance, mens tekst er lettere at gennemgå, søge i og sammenligne med kildematerialet. Den valgte outputtilstand og stemmeindstillingerne afhænger af det interface, som stiller modellen til rådighed. Streaming beskriver levering i successive dele; det er ikke en garanteret svartid eller dokumentation for, at en særskilt protokol til samtaler i realtid er tilgængelig.\n\nKontekst- og outputgrænser\n\nDen særskilte specifikation angiver et kontekstvindue på 32.768 tokens, en maksimal inputlængde på 30.720 tokens og en maksimal outputlængde på 2.048 tokens. Forbered kildematerialet og det ønskede svar med disse adskilte grænser for øje. Multimodalt input skal holde sig inden for budgettet for dets repræsentation, ikke blot et antal indtastede tegn. En forespørgsel om en lang mundtlig fortælling bør afgrænses til en kort forklaring, der passer inden for outputgrænsen.\n\nDisse tokengrænser fastlægger ikke en universel varighed i minutter eller et universelt antal billeder. Forbehandlingen af medierne og den valgte udgave påvirker, hvor meget materiale der er plads til. Modelsiden offentliggør ikke checkpointets arkitektur eller parameterantal, så Turbo-betegnelsen bør ikke bruges til at opfinde en størrelse eller låne arkitekturen fra en anden Omni-model.\n\nVærktøjer og væsentlige begrænsninger\n\nDen præcise models funktionsoversigt understøtter ikke funktionskald, indbygget websøgning eller håndhævede strukturerede output. Den angiver batchinferens i nogle af producentens konfigurationer og kontekstcache i en anden. En anmodning om en liste eller et svar i et JSON-lignende format er et ønske om tekstformatering, ikke en garanti for håndhævelse af et skema. Modellens evne til at forstå en visuel eller mundtlig opgave giver heller ikke adgang til aktuelle oplysninger eller eksterne systemer.\n\nKontrollér, om svaret skelner mellem synlig evidens, hørbart indhold og fortolkning. Citater fra tale, små visuelle etiketter og udledte sammenhænge bør sammenlignes med det givne materiale. Ved et talt resultat skal du bevare den ledsagende tekst, når den er tilgængelig, så en reviewer kan gennemgå forklaringen. Den praktiske fordel er at forbinde flere modaliteter i ét svar med et kort output, hvis omfang er tilpasset den dokumenterede udgave.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo kombinerer tekst, billeder, lyd og video i én multimodal opgave og kan streame tekst sammen med talte svar. Brug den til at forbinde et mundtligt spørgsmål med visuel evidens eller forklare et audiovisuelt klip inden for producentens kontekst på 32.768 tokens og outputgrænse på 2.048 tokens.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Overblik: forståelse af blandede medier og talte svar
Qwen-Omni-Turbo er Qwens model til multimodal forståelse og generering. Den modtager tekst, billeder, tale og video, også i kombination, og producerer tekst eller tekst med naturlig tale. Producenten beskriver samtidig streaming af tekst og tale med fire naturlige samtalestemmer at vælge imellem. Det gør modellen relevant til opgaver, hvor spørgsmålet og dets evidensgrundlag kommer i forskellige former, eksempelvis et mundtligt spørgsmål om et fotografi eller en forklaring af en audiovisuel scene.
Det præcise navn og dets udgaver
Producentens aktuelle modelside beskriver qwen-omni-turbo som funktionelt svarende til den daterede version qwen-omni-turbo-2025-03-26. Den angiver særskilt qwen-omni-turbo-latest som et navn, der opdateres dynamisk, og holder den tidligere daterede version qwen-omni-turbo-2025-01-19 adskilt. Martsudgaven beskrives som en forbedring af de visuelle evner i forhold til januarudgaven. Det er producentens relationer mellem udgaverne, ikke dokumentation for, at alle tilsvarende navngivne ruter i en applikation bruger identiske vægte eller indstillinger. Bevar et dateret versionsnavn, når opgaven kræver en præcis version.
Navnet Turbo betegner ikke den særskilte realtidsudgave, en nyere generation af Qwen-Omni eller det åbne checkpoint Qwen2.5-Omni-7B. Deres inputregler, stemmer og interfaces kræver deres egen dokumentation. De fire stemmevalg, som beskrives for Omni-Turbo, bør især ikke overføres til beskrivelsen af det åbne checkpoint med to stemmer.
Forberedelse af en opgave med blandede medier
Angiv, hvad modellen skal forbinde på tværs af inputtene. Ved et mundtligt spørgsmål om et diagram skal du give diagrammet og spørgsmålet sammen og derefter bede om en forklaring af det synlige element, der omtales. Ved en video med tale skal du angive, om resultatet skal sammenfatte det, der ses, det, der siges, eller hvordan de to hænger sammen. Et nyttigt output kan adskille visuelle observationer fra lydobservationer før konklusionen.
Til en gennemgang af multimediemateriale skal du give det relevante korte uddrag frem for flere uvedkommende filer. Giv billederne betegnelser, og forklar deres rolle, hvis der er flere. Bevar de lyd- og tidsoplysninger, der er vigtige for spørgsmålet. Bed om et afgrænset resultat, eksempelvis en talt forklaring til en lytter eller en kort tekstliste med scenedetaljer. Det er udarbejdede eksempler på anvendelse af de dokumenterede muligheder for blandede input, ikke påstande om, at et bestemt klip allerede er blevet analyseret.
Tekst- og taleoutput
Producentens modelbeskrivelse understøtter tekstsvar og samtidig streaming af tekst og tale. En talt forklaring kan være relevant til samtalebaseret assistance, mens tekst er lettere at gennemgå, søge i og sammenligne med kildematerialet. Den valgte outputtilstand og stemmeindstillingerne afhænger af det interface, som stiller modellen til rådighed. Streaming beskriver levering i successive dele; det er ikke en garanteret svartid eller dokumentation for, at en særskilt protokol til samtaler i realtid er tilgængelig.
Kontekst- og outputgrænser
Den særskilte specifikation angiver et kontekstvindue på 32.768 tokens, en maksimal inputlængde på 30.720 tokens og en maksimal outputlængde på 2.048 tokens. Forbered kildematerialet og det ønskede svar med disse adskilte grænser for øje. Multimodalt input skal holde sig inden for budgettet for dets repræsentation, ikke blot et antal indtastede tegn. En forespørgsel om en lang mundtlig fortælling bør afgrænses til en kort forklaring, der passer inden for outputgrænsen.
Disse tokengrænser fastlægger ikke en universel varighed i minutter eller et universelt antal billeder. Forbehandlingen af medierne og den valgte udgave påvirker, hvor meget materiale der er plads til. Modelsiden offentliggør ikke checkpointets arkitektur eller parameterantal, så Turbo-betegnelsen bør ikke bruges til at opfinde en størrelse eller låne arkitekturen fra en anden Omni-model.
Værktøjer og væsentlige begrænsninger
Den præcise models funktionsoversigt understøtter ikke funktionskald, indbygget websøgning eller håndhævede strukturerede output. Den angiver batchinferens i nogle af producentens konfigurationer og kontekstcache i en anden. En anmodning om en liste eller et svar i et JSON-lignende format er et ønske om tekstformatering, ikke en garanti for håndhævelse af et skema. Modellens evne til at forstå en visuel eller mundtlig opgave giver heller ikke adgang til aktuelle oplysninger eller eksterne systemer.
Kontrollér, om svaret skelner mellem synlig evidens, hørbart indhold og fortolkning. Citater fra tale, små visuelle etiketter og udledte sammenhænge bør sammenlignes med det givne materiale. Ved et talt resultat skal du bevare den ledsagende tekst, når den er tilgængelig, så en reviewer kan gennemgå forklaringen. Den praktiske fordel er at forbinde flere modaliteter i ét svar med et kort output, hvis omfang er tilpasset den dokumenterede udgave.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser qwen-omni-turbo | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.0046 / 1K tokens Output · Outputtokens $0.0138 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra qwen-omni-turbo
Brug metodestierne vist ovenfor.
qwen-omni-turboQwen-Omni-Turbo kombinerer tekst, billeder, lyd og video i én multimodal opgave og kan streame tekst sammen med talte svar. Brug den til at forbinde et mundtligt spørgsmål med visuel evidens eller forklare et audiovisuelt klip inden for producentens kontekst på 32.768 tokens og outputgrænse på 2.048 tokens.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Overblik: forståelse af blandede medier og talte svar
Qwen-Omni-Turbo er Qwens model til multimodal forståelse og generering. Den modtager tekst, billeder, tale og video, også i kombination, og producerer tekst eller tekst med naturlig tale. Producenten beskriver samtidig streaming af tekst og tale med fire naturlige samtalestemmer at vælge imellem. Det gør modellen relevant til opgaver, hvor spørgsmålet og dets evidensgrundlag kommer i forskellige former, eksempelvis et mundtligt spørgsmål om et fotografi eller en forklaring af en audiovisuel scene.
Det præcise navn og dets udgaver
Producentens aktuelle modelside beskriver qwen-omni-turbo som funktionelt svarende til den daterede version qwen-omni-turbo-2025-03-26. Den angiver særskilt qwen-omni-turbo-latest som et navn, der opdateres dynamisk, og holder den tidligere daterede version qwen-omni-turbo-2025-01-19 adskilt. Martsudgaven beskrives som en forbedring af de visuelle evner i forhold til januarudgaven. Det er producentens relationer mellem udgaverne, ikke dokumentation for, at alle tilsvarende navngivne ruter i en applikation bruger identiske vægte eller indstillinger. Bevar et dateret versionsnavn, når opgaven kræver en præcis version.
Navnet Turbo betegner ikke den særskilte realtidsudgave, en nyere generation af Qwen-Omni eller det åbne checkpoint Qwen2.5-Omni-7B. Deres inputregler, stemmer og interfaces kræver deres egen dokumentation. De fire stemmevalg, som beskrives for Omni-Turbo, bør især ikke overføres til beskrivelsen af det åbne checkpoint med to stemmer.
Forberedelse af en opgave med blandede medier
Angiv, hvad modellen skal forbinde på tværs af inputtene. Ved et mundtligt spørgsmål om et diagram skal du give diagrammet og spørgsmålet sammen og derefter bede om en forklaring af det synlige element, der omtales. Ved en video med tale skal du angive, om resultatet skal sammenfatte det, der ses, det, der siges, eller hvordan de to hænger sammen. Et nyttigt output kan adskille visuelle observationer fra lydobservationer før konklusionen.
Til en gennemgang af multimediemateriale skal du give det relevante korte uddrag frem for flere uvedkommende filer. Giv billederne betegnelser, og forklar deres rolle, hvis der er flere. Bevar de lyd- og tidsoplysninger, der er vigtige for spørgsmålet. Bed om et afgrænset resultat, eksempelvis en talt forklaring til en lytter eller en kort tekstliste med scenedetaljer. Det er udarbejdede eksempler på anvendelse af de dokumenterede muligheder for blandede input, ikke påstande om, at et bestemt klip allerede er blevet analyseret.
Tekst- og taleoutput
Producentens modelbeskrivelse understøtter tekstsvar og samtidig streaming af tekst og tale. En talt forklaring kan være relevant til samtalebaseret assistance, mens tekst er lettere at gennemgå, søge i og sammenligne med kildematerialet. Den valgte outputtilstand og stemmeindstillingerne afhænger af det interface, som stiller modellen til rådighed. Streaming beskriver levering i successive dele; det er ikke en garanteret svartid eller dokumentation for, at en særskilt protokol til samtaler i realtid er tilgængelig.
Kontekst- og outputgrænser
Den særskilte specifikation angiver et kontekstvindue på 32.768 tokens, en maksimal inputlængde på 30.720 tokens og en maksimal outputlængde på 2.048 tokens. Forbered kildematerialet og det ønskede svar med disse adskilte grænser for øje. Multimodalt input skal holde sig inden for budgettet for dets repræsentation, ikke blot et antal indtastede tegn. En forespørgsel om en lang mundtlig fortælling bør afgrænses til en kort forklaring, der passer inden for outputgrænsen.
Disse tokengrænser fastlægger ikke en universel varighed i minutter eller et universelt antal billeder. Forbehandlingen af medierne og den valgte udgave påvirker, hvor meget materiale der er plads til. Modelsiden offentliggør ikke checkpointets arkitektur eller parameterantal, så Turbo-betegnelsen bør ikke bruges til at opfinde en størrelse eller låne arkitekturen fra en anden Omni-model.
Værktøjer og væsentlige begrænsninger
Den præcise models funktionsoversigt understøtter ikke funktionskald, indbygget websøgning eller håndhævede strukturerede output. Den angiver batchinferens i nogle af producentens konfigurationer og kontekstcache i en anden. En anmodning om en liste eller et svar i et JSON-lignende format er et ønske om tekstformatering, ikke en garanti for håndhævelse af et skema. Modellens evne til at forstå en visuel eller mundtlig opgave giver heller ikke adgang til aktuelle oplysninger eller eksterne systemer.
Kontrollér, om svaret skelner mellem synlig evidens, hørbart indhold og fortolkning. Citater fra tale, små visuelle etiketter og udledte sammenhænge bør sammenlignes med det givne materiale. Ved et talt resultat skal du bevare den ledsagende tekst, når den er tilgængelig, så en reviewer kan gennemgå forklaringen. Den praktiske fordel er at forbinde flere modaliteter i ét svar med et kort output, hvis omfang er tilpasset den dokumenterede udgave.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser qwen-omni-turbo | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.0046 / 1K tokens Output · Outputtokens $0.0138 / 1K tokens Input · Cachelæsning $0 / 1K tokens Input · Cacheskrivning $0 / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra qwen-omni-turbo
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.