Overzicht: begrip van gemengde media en gesproken antwoorden
Qwen-Omni-Turbo is Qwens model voor multimodaal begrip en generatie. Het accepteert tekst, beelden, spraak en video, inclusief combinaties van die invoer, en produceert tekst of tekst met natuurlijke spraak. De fabrikant beschrijft gelijktijdige streaming van tekst en spraak, met vier natuurlijke gespreksstemmen om uit te kiezen. Dit maakt het model relevant voor een taak waarbij de vraag en het bewijsmateriaal in verschillende vormen binnenkomen, zoals een gesproken vraag over een foto of een uitleg van een audiovisuele scène.
De exacte naam en zijn versies
De huidige modelpagina van de producent beschrijft qwen-omni-turbo als functioneel gelijkwaardig aan de snapshot qwen-omni-turbo-2025-03-26. De pagina vermeldt qwen-omni-turbo-latest apart als een dynamisch bijgewerkte naam en houdt de eerdere snapshot qwen-omni-turbo-2025-01-19 afzonderlijk. De snapshot van maart wordt beschreven als een verbetering van de visuele mogelijkheden ten opzichte van januari. Dit zijn de versierelaties van de fabrikant, geen bewijs dat elke gelijksoortig benoemde applicatieroute identieke gewichten of instellingen gebruikt. Behoud een gedateerde snapshotnaam wanneer de taak een exacte versie vereist.
De naam Turbo duidt niet de afzonderlijke realtimeversie, een latere Qwen-Omni-generatie of het open checkpoint Qwen2.5-Omni-7B aan. Hun invoerregels, stemmen en interfaces hebben elk hun eigen documentatie nodig. De vier stemopties die voor Omni-Turbo worden beschreven, horen in het bijzonder niet te worden overgenomen in de beschrijving van het open checkpoint met twee stemmen.
Een taak met gemengde media voorbereiden
Geef aan wat het model tussen de invoeronderdelen moet verbinden. Lever voor een gesproken vraag over een diagram het diagram en de vraag samen aan en vraag vervolgens om uitleg van het zichtbare element dat wordt besproken. Geef bij een video met spraak aan of het gewenste resultaat een samenvatting is van wat er te zien is, wat er wordt gezegd of hoe die twee samenhangen. Een bruikbare uitvoer kan visuele waarnemingen van audiowaarnemingen scheiden voordat de conclusie volgt.
Lever voor een multimediabeoordeling het relevante korte fragment aan in plaats van meerdere niet-samenhangende bestanden. Label afbeeldingen en leg hun rol uit als er meer dan één is. Behoud de audio- en tijdsinformatie die voor de vraag van belang zijn. Vraag om een gericht resultaat, zoals een gesproken uitleg voor een luisteraar of een beknopte tekstlijst met scènedetails. Dit zijn zelf uitgewerkte toepassingen van de gedocumenteerde mogelijkheden voor gemengde invoer, geen beweringen dat een bepaalde clip al is geanalyseerd.
Tekst- en spraakuitvoer
De modelbeschrijving van de fabrikant ondersteunt tekstantwoorden en gelijktijdig gestreamde tekst en spraak. Een gesproken uitleg kan geschikt zijn voor gespreksondersteuning, terwijl tekst gemakkelijker te controleren, te doorzoeken en met bronmateriaal te vergelijken is. De gekozen uitvoermodus en steminstellingen hangen af van de interface die het model aanbiedt. Streaming beschrijft levering in opeenvolgende delen; het is geen gegarandeerde responstijd of bewijs dat een afzonderlijk protocol voor realtimegesprekken beschikbaar is.
Context- en uitvoerlimieten
De specifieke modelspecificatie vermeldt een contextvenster van 32.768 tokens, een maximale invoerlengte van 30.720 tokens en een maximale uitvoerlengte van 2.048 tokens. Bereid het bronmateriaal en het gewenste antwoord voor met die afzonderlijke limieten in gedachten. Multimodale invoer moet binnen het budget voor haar representatie passen, niet alleen binnen een aantal getypte tekens. Een verzoek om een lange gesproken tekst zou moeten worden teruggebracht tot een korte uitleg die binnen de toegestane uitvoer past.
Die tokenlimieten bepalen geen universele duur in minuten of een universeel aantal afbeeldingen. De voorbewerking van media en de gekozen versie beïnvloeden hoeveel materiaal past. De modelpagina publiceert geen checkpointarchitectuur of parameteraantal, dus het label Turbo mag niet worden gebruikt om een modelgrootte te verzinnen of de architectuur van een ander Omni-model over te nemen.
Hulpmiddelen en wezenlijke beperkingen
De mogelijkhedenmatrix van het exacte model ondersteunt geen functieaanroepen, ingebouwde webzoekfunctie of afgedwongen gestructureerde uitvoer. De matrix vermeldt batchinferentie in sommige configuraties van de fabrikant en contextcaching in een andere. Een verzoek om een lijst of een antwoord in JSON-vorm is een verzoek om tekstopmaak, geen garantie dat een schema wordt afgedwongen. Het vermogen van het model om een visuele of gesproken taak te begrijpen, geeft ook geen toegang tot actuele informatie of externe systemen.
Controleer of het antwoord zichtbaar bewijsmateriaal, hoorbare inhoud en interpretatie van elkaar onderscheidt. Vergelijk citaten uit spraak, kleine visuele labels en afgeleide verbanden met het aangeleverde materiaal. Bewaar bij een gesproken resultaat de bijbehorende tekst wanneer die beschikbaar is, zodat een beoordelaar de uitleg kan controleren. Het praktische voordeel is het verbinden van meerdere modaliteiten in één antwoord, met een beknopte uitvoer die is afgestemd op de gedocumenteerde versie.
", "aboutText": "Overzicht: begrip van gemengde media en gesproken antwoorden\n\nQwen-Omni-Turbo is Qwens model voor multimodaal begrip en generatie. Het accepteert tekst, beelden, spraak en video, inclusief combinaties van die invoer, en produceert tekst of tekst met natuurlijke spraak. De fabrikant beschrijft gelijktijdige streaming van tekst en spraak, met vier natuurlijke gespreksstemmen om uit te kiezen. Dit maakt het model relevant voor een taak waarbij de vraag en het bewijsmateriaal in verschillende vormen binnenkomen, zoals een gesproken vraag over een foto of een uitleg van een audiovisuele scène.\n\nDe exacte naam en zijn versies\n\nDe huidige modelpagina van de producent beschrijft qwen-omni-turbo als functioneel gelijkwaardig aan de snapshot qwen-omni-turbo-2025-03-26. De pagina vermeldt qwen-omni-turbo-latest apart als een dynamisch bijgewerkte naam en houdt de eerdere snapshot qwen-omni-turbo-2025-01-19 afzonderlijk. De snapshot van maart wordt beschreven als een verbetering van de visuele mogelijkheden ten opzichte van januari. Dit zijn de versierelaties van de fabrikant, geen bewijs dat elke gelijksoortig benoemde applicatieroute identieke gewichten of instellingen gebruikt. Behoud een gedateerde snapshotnaam wanneer de taak een exacte versie vereist.\n\nDe naam Turbo duidt niet de afzonderlijke realtimeversie, een latere Qwen-Omni-generatie of het open checkpoint Qwen2.5-Omni-7B aan. Hun invoerregels, stemmen en interfaces hebben elk hun eigen documentatie nodig. De vier stemopties die voor Omni-Turbo worden beschreven, horen in het bijzonder niet te worden overgenomen in de beschrijving van het open checkpoint met twee stemmen.\n\nEen taak met gemengde media voorbereiden\n\nGeef aan wat het model tussen de invoeronderdelen moet verbinden. Lever voor een gesproken vraag over een diagram het diagram en de vraag samen aan en vraag vervolgens om uitleg van het zichtbare element dat wordt besproken. Geef bij een video met spraak aan of het gewenste resultaat een samenvatting is van wat er te zien is, wat er wordt gezegd of hoe die twee samenhangen. Een bruikbare uitvoer kan visuele waarnemingen van audiowaarnemingen scheiden voordat de conclusie volgt.\n\nLever voor een multimediabeoordeling het relevante korte fragment aan in plaats van meerdere niet-samenhangende bestanden. Label afbeeldingen en leg hun rol uit als er meer dan één is. Behoud de audio- en tijdsinformatie die voor de vraag van belang zijn. Vraag om een gericht resultaat, zoals een gesproken uitleg voor een luisteraar of een beknopte tekstlijst met scènedetails. Dit zijn zelf uitgewerkte toepassingen van de gedocumenteerde mogelijkheden voor gemengde invoer, geen beweringen dat een bepaalde clip al is geanalyseerd.\n\nTekst- en spraakuitvoer\n\nDe modelbeschrijving van de fabrikant ondersteunt tekstantwoorden en gelijktijdig gestreamde tekst en spraak. Een gesproken uitleg kan geschikt zijn voor gespreksondersteuning, terwijl tekst gemakkelijker te controleren, te doorzoeken en met bronmateriaal te vergelijken is. De gekozen uitvoermodus en steminstellingen hangen af van de interface die het model aanbiedt. Streaming beschrijft levering in opeenvolgende delen; het is geen gegarandeerde responstijd of bewijs dat een afzonderlijk protocol voor realtimegesprekken beschikbaar is.\n\nContext- en uitvoerlimieten\n\nDe specifieke modelspecificatie vermeldt een contextvenster van 32.768 tokens, een maximale invoerlengte van 30.720 tokens en een maximale uitvoerlengte van 2.048 tokens. Bereid het bronmateriaal en het gewenste antwoord voor met die afzonderlijke limieten in gedachten. Multimodale invoer moet binnen het budget voor haar representatie passen, niet alleen binnen een aantal getypte tekens. Een verzoek om een lange gesproken tekst zou moeten worden teruggebracht tot een korte uitleg die binnen de toegestane uitvoer past.\n\nDie tokenlimieten bepalen geen universele duur in minuten of een universeel aantal afbeeldingen. De voorbewerking van media en de gekozen versie beïnvloeden hoeveel materiaal past. De modelpagina publiceert geen checkpointarchitectuur of parameteraantal, dus het label Turbo mag niet worden gebruikt om een modelgrootte te verzinnen of de architectuur van een ander Omni-model over te nemen.\n\nHulpmiddelen en wezenlijke beperkingen\n\nDe mogelijkhedenmatrix van het exacte model ondersteunt geen functieaanroepen, ingebouwde webzoekfunctie of afgedwongen gestructureerde uitvoer. De matrix vermeldt batchinferentie in sommige configuraties van de fabrikant en contextcaching in een andere. Een verzoek om een lijst of een antwoord in JSON-vorm is een verzoek om tekstopmaak, geen garantie dat een schema wordt afgedwongen. Het vermogen van het model om een visuele of gesproken taak te begrijpen, geeft ook geen toegang tot actuele informatie of externe systemen.\n\nControleer of het antwoord zichtbaar bewijsmateriaal, hoorbare inhoud en interpretatie van elkaar onderscheidt. Vergelijk citaten uit spraak, kleine visuele labels en afgeleide verbanden met het aangeleverde materiaal. Bewaar bij een gesproken resultaat de bijbehorende tekst wanneer die beschikbaar is, zodat een beoordelaar de uitleg kan controleren. Het praktische voordeel is het verbinden van meerdere modaliteiten in één antwoord, met een beknopte uitvoer die is afgestemd op de gedocumenteerde versie.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo combineert tekst, beelden, audio en video in één multimodale taak en kan tekst samen met gesproken antwoorden streamen. Gebruik het om een gesproken vraag met visueel bewijsmateriaal te verbinden of een audiovisuele clip uit te leggen, binnen de context van 32.768 tokens en de uitvoerlimiet van 2.048 tokens van de producent.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Overzicht: begrip van gemengde media en gesproken antwoorden
Qwen-Omni-Turbo is Qwens model voor multimodaal begrip en generatie. Het accepteert tekst, beelden, spraak en video, inclusief combinaties van die invoer, en produceert tekst of tekst met natuurlijke spraak. De fabrikant beschrijft gelijktijdige streaming van tekst en spraak, met vier natuurlijke gespreksstemmen om uit te kiezen. Dit maakt het model relevant voor een taak waarbij de vraag en het bewijsmateriaal in verschillende vormen binnenkomen, zoals een gesproken vraag over een foto of een uitleg van een audiovisuele scène.
De exacte naam en zijn versies
De huidige modelpagina van de producent beschrijft qwen-omni-turbo als functioneel gelijkwaardig aan de snapshot qwen-omni-turbo-2025-03-26. De pagina vermeldt qwen-omni-turbo-latest apart als een dynamisch bijgewerkte naam en houdt de eerdere snapshot qwen-omni-turbo-2025-01-19 afzonderlijk. De snapshot van maart wordt beschreven als een verbetering van de visuele mogelijkheden ten opzichte van januari. Dit zijn de versierelaties van de fabrikant, geen bewijs dat elke gelijksoortig benoemde applicatieroute identieke gewichten of instellingen gebruikt. Behoud een gedateerde snapshotnaam wanneer de taak een exacte versie vereist.
De naam Turbo duidt niet de afzonderlijke realtimeversie, een latere Qwen-Omni-generatie of het open checkpoint Qwen2.5-Omni-7B aan. Hun invoerregels, stemmen en interfaces hebben elk hun eigen documentatie nodig. De vier stemopties die voor Omni-Turbo worden beschreven, horen in het bijzonder niet te worden overgenomen in de beschrijving van het open checkpoint met twee stemmen.
Een taak met gemengde media voorbereiden
Geef aan wat het model tussen de invoeronderdelen moet verbinden. Lever voor een gesproken vraag over een diagram het diagram en de vraag samen aan en vraag vervolgens om uitleg van het zichtbare element dat wordt besproken. Geef bij een video met spraak aan of het gewenste resultaat een samenvatting is van wat er te zien is, wat er wordt gezegd of hoe die twee samenhangen. Een bruikbare uitvoer kan visuele waarnemingen van audiowaarnemingen scheiden voordat de conclusie volgt.
Lever voor een multimediabeoordeling het relevante korte fragment aan in plaats van meerdere niet-samenhangende bestanden. Label afbeeldingen en leg hun rol uit als er meer dan één is. Behoud de audio- en tijdsinformatie die voor de vraag van belang zijn. Vraag om een gericht resultaat, zoals een gesproken uitleg voor een luisteraar of een beknopte tekstlijst met scènedetails. Dit zijn zelf uitgewerkte toepassingen van de gedocumenteerde mogelijkheden voor gemengde invoer, geen beweringen dat een bepaalde clip al is geanalyseerd.
Tekst- en spraakuitvoer
De modelbeschrijving van de fabrikant ondersteunt tekstantwoorden en gelijktijdig gestreamde tekst en spraak. Een gesproken uitleg kan geschikt zijn voor gespreksondersteuning, terwijl tekst gemakkelijker te controleren, te doorzoeken en met bronmateriaal te vergelijken is. De gekozen uitvoermodus en steminstellingen hangen af van de interface die het model aanbiedt. Streaming beschrijft levering in opeenvolgende delen; het is geen gegarandeerde responstijd of bewijs dat een afzonderlijk protocol voor realtimegesprekken beschikbaar is.
Context- en uitvoerlimieten
De specifieke modelspecificatie vermeldt een contextvenster van 32.768 tokens, een maximale invoerlengte van 30.720 tokens en een maximale uitvoerlengte van 2.048 tokens. Bereid het bronmateriaal en het gewenste antwoord voor met die afzonderlijke limieten in gedachten. Multimodale invoer moet binnen het budget voor haar representatie passen, niet alleen binnen een aantal getypte tekens. Een verzoek om een lange gesproken tekst zou moeten worden teruggebracht tot een korte uitleg die binnen de toegestane uitvoer past.
Die tokenlimieten bepalen geen universele duur in minuten of een universeel aantal afbeeldingen. De voorbewerking van media en de gekozen versie beïnvloeden hoeveel materiaal past. De modelpagina publiceert geen checkpointarchitectuur of parameteraantal, dus het label Turbo mag niet worden gebruikt om een modelgrootte te verzinnen of de architectuur van een ander Omni-model over te nemen.
Hulpmiddelen en wezenlijke beperkingen
De mogelijkhedenmatrix van het exacte model ondersteunt geen functieaanroepen, ingebouwde webzoekfunctie of afgedwongen gestructureerde uitvoer. De matrix vermeldt batchinferentie in sommige configuraties van de fabrikant en contextcaching in een andere. Een verzoek om een lijst of een antwoord in JSON-vorm is een verzoek om tekstopmaak, geen garantie dat een schema wordt afgedwongen. Het vermogen van het model om een visuele of gesproken taak te begrijpen, geeft ook geen toegang tot actuele informatie of externe systemen.
Controleer of het antwoord zichtbaar bewijsmateriaal, hoorbare inhoud en interpretatie van elkaar onderscheidt. Vergelijk citaten uit spraak, kleine visuele labels en afgeleide verbanden met het aangeleverde materiaal. Bewaar bij een gesproken resultaat de bijbehorende tekst wanneer die beschikbaar is, zodat een beoordelaar de uitleg kan controleren. Het praktische voordeel is het verbinden van meerdere modaliteiten in één antwoord, met een beknopte uitvoer die is afgestemd op de gedocumenteerde versie.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen-omni-turbo | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0046 / 1K tokens Uitvoer · Uitvoertokens $0.0138 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen-omni-turbo
Gebruik de hierboven getoonde methodepaden.
qwen-omni-turboQwen-Omni-Turbo combineert tekst, beelden, audio en video in één multimodale taak en kan tekst samen met gesproken antwoorden streamen. Gebruik het om een gesproken vraag met visueel bewijsmateriaal te verbinden of een audiovisuele clip uit te leggen, binnen de context van 32.768 tokens en de uitvoerlimiet van 2.048 tokens van de producent.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Overzicht: begrip van gemengde media en gesproken antwoorden
Qwen-Omni-Turbo is Qwens model voor multimodaal begrip en generatie. Het accepteert tekst, beelden, spraak en video, inclusief combinaties van die invoer, en produceert tekst of tekst met natuurlijke spraak. De fabrikant beschrijft gelijktijdige streaming van tekst en spraak, met vier natuurlijke gespreksstemmen om uit te kiezen. Dit maakt het model relevant voor een taak waarbij de vraag en het bewijsmateriaal in verschillende vormen binnenkomen, zoals een gesproken vraag over een foto of een uitleg van een audiovisuele scène.
De exacte naam en zijn versies
De huidige modelpagina van de producent beschrijft qwen-omni-turbo als functioneel gelijkwaardig aan de snapshot qwen-omni-turbo-2025-03-26. De pagina vermeldt qwen-omni-turbo-latest apart als een dynamisch bijgewerkte naam en houdt de eerdere snapshot qwen-omni-turbo-2025-01-19 afzonderlijk. De snapshot van maart wordt beschreven als een verbetering van de visuele mogelijkheden ten opzichte van januari. Dit zijn de versierelaties van de fabrikant, geen bewijs dat elke gelijksoortig benoemde applicatieroute identieke gewichten of instellingen gebruikt. Behoud een gedateerde snapshotnaam wanneer de taak een exacte versie vereist.
De naam Turbo duidt niet de afzonderlijke realtimeversie, een latere Qwen-Omni-generatie of het open checkpoint Qwen2.5-Omni-7B aan. Hun invoerregels, stemmen en interfaces hebben elk hun eigen documentatie nodig. De vier stemopties die voor Omni-Turbo worden beschreven, horen in het bijzonder niet te worden overgenomen in de beschrijving van het open checkpoint met twee stemmen.
Een taak met gemengde media voorbereiden
Geef aan wat het model tussen de invoeronderdelen moet verbinden. Lever voor een gesproken vraag over een diagram het diagram en de vraag samen aan en vraag vervolgens om uitleg van het zichtbare element dat wordt besproken. Geef bij een video met spraak aan of het gewenste resultaat een samenvatting is van wat er te zien is, wat er wordt gezegd of hoe die twee samenhangen. Een bruikbare uitvoer kan visuele waarnemingen van audiowaarnemingen scheiden voordat de conclusie volgt.
Lever voor een multimediabeoordeling het relevante korte fragment aan in plaats van meerdere niet-samenhangende bestanden. Label afbeeldingen en leg hun rol uit als er meer dan één is. Behoud de audio- en tijdsinformatie die voor de vraag van belang zijn. Vraag om een gericht resultaat, zoals een gesproken uitleg voor een luisteraar of een beknopte tekstlijst met scènedetails. Dit zijn zelf uitgewerkte toepassingen van de gedocumenteerde mogelijkheden voor gemengde invoer, geen beweringen dat een bepaalde clip al is geanalyseerd.
Tekst- en spraakuitvoer
De modelbeschrijving van de fabrikant ondersteunt tekstantwoorden en gelijktijdig gestreamde tekst en spraak. Een gesproken uitleg kan geschikt zijn voor gespreksondersteuning, terwijl tekst gemakkelijker te controleren, te doorzoeken en met bronmateriaal te vergelijken is. De gekozen uitvoermodus en steminstellingen hangen af van de interface die het model aanbiedt. Streaming beschrijft levering in opeenvolgende delen; het is geen gegarandeerde responstijd of bewijs dat een afzonderlijk protocol voor realtimegesprekken beschikbaar is.
Context- en uitvoerlimieten
De specifieke modelspecificatie vermeldt een contextvenster van 32.768 tokens, een maximale invoerlengte van 30.720 tokens en een maximale uitvoerlengte van 2.048 tokens. Bereid het bronmateriaal en het gewenste antwoord voor met die afzonderlijke limieten in gedachten. Multimodale invoer moet binnen het budget voor haar representatie passen, niet alleen binnen een aantal getypte tekens. Een verzoek om een lange gesproken tekst zou moeten worden teruggebracht tot een korte uitleg die binnen de toegestane uitvoer past.
Die tokenlimieten bepalen geen universele duur in minuten of een universeel aantal afbeeldingen. De voorbewerking van media en de gekozen versie beïnvloeden hoeveel materiaal past. De modelpagina publiceert geen checkpointarchitectuur of parameteraantal, dus het label Turbo mag niet worden gebruikt om een modelgrootte te verzinnen of de architectuur van een ander Omni-model over te nemen.
Hulpmiddelen en wezenlijke beperkingen
De mogelijkhedenmatrix van het exacte model ondersteunt geen functieaanroepen, ingebouwde webzoekfunctie of afgedwongen gestructureerde uitvoer. De matrix vermeldt batchinferentie in sommige configuraties van de fabrikant en contextcaching in een andere. Een verzoek om een lijst of een antwoord in JSON-vorm is een verzoek om tekstopmaak, geen garantie dat een schema wordt afgedwongen. Het vermogen van het model om een visuele of gesproken taak te begrijpen, geeft ook geen toegang tot actuele informatie of externe systemen.
Controleer of het antwoord zichtbaar bewijsmateriaal, hoorbare inhoud en interpretatie van elkaar onderscheidt. Vergelijk citaten uit spraak, kleine visuele labels en afgeleide verbanden met het aangeleverde materiaal. Bewaar bij een gesproken resultaat de bijbehorende tekst wanneer die beschikbaar is, zodat een beoordelaar de uitleg kan controleren. Het praktische voordeel is het verbinden van meerdere modaliteiten in één antwoord, met een beknopte uitvoer die is afgestemd op de gedocumenteerde versie.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen-omni-turbo | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0046 / 1K tokens Uitvoer · Uitvoertokens $0.0138 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen-omni-turbo
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.