Panoramica: comprensione di media combinati e risposte vocali
Qwen-Omni-Turbo è il modello di Qwen per la comprensione e la generazione multimodale. Accetta testo, immagini, parlato e video, anche in combinazione, e produce testo oppure testo accompagnato da voce naturale. Il produttore descrive lo streaming simultaneo di testo e voce, con quattro opzioni vocali dal tono colloquiale naturale. Questo rende il modello pertinente per attività in cui la domanda e i riscontri arrivano in forme diverse, come una domanda pronunciata su una fotografia o una spiegazione di una scena audiovisiva.
Il nome esatto e le sue edizioni
La pagina attuale del modello del produttore descrive qwen-omni-turbo come funzionalmente equivalente alla versione datata qwen-omni-turbo-2025-03-26. Elenca separatamente qwen-omni-turbo-latest come nome aggiornato dinamicamente e mantiene distinta la versione precedente qwen-omni-turbo-2025-01-19. La versione di marzo è descritta come un miglioramento delle capacità visive rispetto a gennaio. Queste sono le relazioni tra edizioni definite dal produttore, non una prova che ogni percorso di un’applicazione con un nome simile usi pesi o impostazioni identici. Conserva il nome di una versione datata quando l’attività richiede una versione esatta.
Il nome Turbo non identifica l’edizione separata in tempo reale, una generazione Qwen-Omni più recente o il checkpoint aperto Qwen2.5-Omni-7B. Le loro regole di input, le voci e le interfacce richiedono una documentazione propria. In particolare, le quattro opzioni vocali descritte per Omni-Turbo non devono essere copiate nella descrizione del checkpoint aperto con due voci.
Preparare un’attività con media combinati
Specifica che cosa deve collegare il modello tra gli input. Per una domanda pronunciata su un diagramma, fornisci il diagramma e la domanda insieme, poi richiedi una spiegazione dell’elemento visibile di cui si parla. Per un video con parlato, specifica se il risultato desiderato è un riepilogo di ciò che si vede, di ciò che viene detto o del rapporto tra i due. Un output utile può separare le osservazioni visive da quelle audio prima della conclusione.
Per una revisione multimediale, fornisci il breve estratto pertinente invece di più risorse non correlate. Identifica le immagini e spiegane il ruolo se ce n’è più di una. Conserva l’audio e le informazioni temporali importanti per la domanda. Richiedi un risultato mirato, come una spiegazione vocale per un ascoltatore o un elenco testuale conciso dei dettagli della scena. Sono applicazioni proposte delle capacità documentate di input combinati, non affermazioni che una determinata clip sia già stata analizzata.
Output di testo e voce
La descrizione del modello del produttore supporta risposte testuali e lo streaming simultaneo di testo e voce. Una spiegazione vocale può essere adatta all’assistenza conversazionale, mentre il testo è più facile da esaminare, cercare e confrontare con il materiale fonte. La modalità di output scelta e i controlli vocali dipendono dall’interfaccia che espone il modello. Lo streaming descrive la consegna in parti successive; non garantisce un tempo di risposta né dimostra la disponibilità di un protocollo separato per conversazioni in tempo reale.
Limiti di contesto e output
La specifica dedicata indica una finestra di contesto di 32.768 token, una lunghezza massima di input di 30.720 token e una lunghezza massima di output di 2.048 token. Prepara il materiale fonte e la risposta desiderata tenendo presenti questi limiti distinti. L’input multimodale deve rientrare nel budget della sua rappresentazione, non soltanto in un conteggio di caratteri digitati. Una richiesta di narrazione lunga dovrebbe essere circoscritta a una breve spiegazione che rientri nel limite di output.
Questi limiti di token non stabiliscono una durata universale in minuti o un numero universale di immagini. Il pretrattamento dei media e l’edizione selezionata influiscono sulla quantità di materiale che può rientrare. La pagina del modello non pubblica un’architettura del checkpoint o un numero di parametri, quindi l’etichetta Turbo non deve essere usata per inventare una dimensione o prendere in prestito l’architettura di un altro modello Omni.
Strumenti e limitazioni sostanziali
La matrice delle capacità di questo specifico modello non supporta chiamate a funzioni, ricerca web integrata o output strutturati con conformità garantita allo schema. Elenca l’inferenza in batch in alcune configurazioni del produttore e la memorizzazione in cache del contesto in un’altra. Chiedere un elenco o una risposta in formato JSON è una richiesta di formato testuale, non una garanzia di conformità a uno schema. La capacità del modello di comprendere un’attività visiva o parlata non gli dà inoltre accesso a informazioni aggiornate o a sistemi esterni.
Verifica se la risposta distingue i riscontri visibili, il contenuto udibile e l’interpretazione. Le citazioni del parlato, le piccole etichette visive e le relazioni dedotte vanno confrontate con il materiale fornito. Per un risultato vocale, conserva il testo di accompagnamento quando disponibile, così che un revisore possa esaminare la spiegazione. Il vantaggio pratico è collegare più modalità in un’unica risposta, con un output conciso dimensionato per l’edizione documentata.
", "aboutText": "Panoramica: comprensione di media combinati e risposte vocali\n\nQwen-Omni-Turbo è il modello di Qwen per la comprensione e la generazione multimodale. Accetta testo, immagini, parlato e video, anche in combinazione, e produce testo oppure testo accompagnato da voce naturale. Il produttore descrive lo streaming simultaneo di testo e voce, con quattro opzioni vocali dal tono colloquiale naturale. Questo rende il modello pertinente per attività in cui la domanda e i riscontri arrivano in forme diverse, come una domanda pronunciata su una fotografia o una spiegazione di una scena audiovisiva.\n\nIl nome esatto e le sue edizioni\n\nLa pagina attuale del modello del produttore descrive qwen-omni-turbo come funzionalmente equivalente alla versione datata qwen-omni-turbo-2025-03-26. Elenca separatamente qwen-omni-turbo-latest come nome aggiornato dinamicamente e mantiene distinta la versione precedente qwen-omni-turbo-2025-01-19. La versione di marzo è descritta come un miglioramento delle capacità visive rispetto a gennaio. Queste sono le relazioni tra edizioni definite dal produttore, non una prova che ogni percorso di un’applicazione con un nome simile usi pesi o impostazioni identici. Conserva il nome di una versione datata quando l’attività richiede una versione esatta.\n\nIl nome Turbo non identifica l’edizione separata in tempo reale, una generazione Qwen-Omni più recente o il checkpoint aperto Qwen2.5-Omni-7B. Le loro regole di input, le voci e le interfacce richiedono una documentazione propria. In particolare, le quattro opzioni vocali descritte per Omni-Turbo non devono essere copiate nella descrizione del checkpoint aperto con due voci.\n\nPreparare un’attività con media combinati\n\nSpecifica che cosa deve collegare il modello tra gli input. Per una domanda pronunciata su un diagramma, fornisci il diagramma e la domanda insieme, poi richiedi una spiegazione dell’elemento visibile di cui si parla. Per un video con parlato, specifica se il risultato desiderato è un riepilogo di ciò che si vede, di ciò che viene detto o del rapporto tra i due. Un output utile può separare le osservazioni visive da quelle audio prima della conclusione.\n\nPer una revisione multimediale, fornisci il breve estratto pertinente invece di più risorse non correlate. Identifica le immagini e spiegane il ruolo se ce n’è più di una. Conserva l’audio e le informazioni temporali importanti per la domanda. Richiedi un risultato mirato, come una spiegazione vocale per un ascoltatore o un elenco testuale conciso dei dettagli della scena. Sono applicazioni proposte delle capacità documentate di input combinati, non affermazioni che una determinata clip sia già stata analizzata.\n\nOutput di testo e voce\n\nLa descrizione del modello del produttore supporta risposte testuali e lo streaming simultaneo di testo e voce. Una spiegazione vocale può essere adatta all’assistenza conversazionale, mentre il testo è più facile da esaminare, cercare e confrontare con il materiale fonte. La modalità di output scelta e i controlli vocali dipendono dall’interfaccia che espone il modello. Lo streaming descrive la consegna in parti successive; non garantisce un tempo di risposta né dimostra la disponibilità di un protocollo separato per conversazioni in tempo reale.\n\nLimiti di contesto e output\n\nLa specifica dedicata indica una finestra di contesto di 32.768 token, una lunghezza massima di input di 30.720 token e una lunghezza massima di output di 2.048 token. Prepara il materiale fonte e la risposta desiderata tenendo presenti questi limiti distinti. L’input multimodale deve rientrare nel budget della sua rappresentazione, non soltanto in un conteggio di caratteri digitati. Una richiesta di narrazione lunga dovrebbe essere circoscritta a una breve spiegazione che rientri nel limite di output.\n\nQuesti limiti di token non stabiliscono una durata universale in minuti o un numero universale di immagini. Il pretrattamento dei media e l’edizione selezionata influiscono sulla quantità di materiale che può rientrare. La pagina del modello non pubblica un’architettura del checkpoint o un numero di parametri, quindi l’etichetta Turbo non deve essere usata per inventare una dimensione o prendere in prestito l’architettura di un altro modello Omni.\n\nStrumenti e limitazioni sostanziali\n\nLa matrice delle capacità di questo specifico modello non supporta chiamate a funzioni, ricerca web integrata o output strutturati con conformità garantita allo schema. Elenca l’inferenza in batch in alcune configurazioni del produttore e la memorizzazione in cache del contesto in un’altra. Chiedere un elenco o una risposta in formato JSON è una richiesta di formato testuale, non una garanzia di conformità a uno schema. La capacità del modello di comprendere un’attività visiva o parlata non gli dà inoltre accesso a informazioni aggiornate o a sistemi esterni.\n\nVerifica se la risposta distingue i riscontri visibili, il contenuto udibile e l’interpretazione. Le citazioni del parlato, le piccole etichette visive e le relazioni dedotte vanno confrontate con il materiale fornito. Per un risultato vocale, conserva il testo di accompagnamento quando disponibile, così che un revisore possa esaminare la spiegazione. Il vantaggio pratico è collegare più modalità in un’unica risposta, con un output conciso dimensionato per l’edizione documentata.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo combina testo, immagini, audio e video in un’unica attività multimodale e può trasmettere testo insieme a risposte vocali in streaming. Usalo per collegare una domanda pronunciata a riscontri visivi o spiegare una clip audiovisiva, entro il contesto di 32.768 token e il limite di output di 2.048 token del produttore.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Panoramica: comprensione di media combinati e risposte vocali
Qwen-Omni-Turbo è il modello di Qwen per la comprensione e la generazione multimodale. Accetta testo, immagini, parlato e video, anche in combinazione, e produce testo oppure testo accompagnato da voce naturale. Il produttore descrive lo streaming simultaneo di testo e voce, con quattro opzioni vocali dal tono colloquiale naturale. Questo rende il modello pertinente per attività in cui la domanda e i riscontri arrivano in forme diverse, come una domanda pronunciata su una fotografia o una spiegazione di una scena audiovisiva.
Il nome esatto e le sue edizioni
La pagina attuale del modello del produttore descrive qwen-omni-turbo come funzionalmente equivalente alla versione datata qwen-omni-turbo-2025-03-26. Elenca separatamente qwen-omni-turbo-latest come nome aggiornato dinamicamente e mantiene distinta la versione precedente qwen-omni-turbo-2025-01-19. La versione di marzo è descritta come un miglioramento delle capacità visive rispetto a gennaio. Queste sono le relazioni tra edizioni definite dal produttore, non una prova che ogni percorso di un’applicazione con un nome simile usi pesi o impostazioni identici. Conserva il nome di una versione datata quando l’attività richiede una versione esatta.
Il nome Turbo non identifica l’edizione separata in tempo reale, una generazione Qwen-Omni più recente o il checkpoint aperto Qwen2.5-Omni-7B. Le loro regole di input, le voci e le interfacce richiedono una documentazione propria. In particolare, le quattro opzioni vocali descritte per Omni-Turbo non devono essere copiate nella descrizione del checkpoint aperto con due voci.
Preparare un’attività con media combinati
Specifica che cosa deve collegare il modello tra gli input. Per una domanda pronunciata su un diagramma, fornisci il diagramma e la domanda insieme, poi richiedi una spiegazione dell’elemento visibile di cui si parla. Per un video con parlato, specifica se il risultato desiderato è un riepilogo di ciò che si vede, di ciò che viene detto o del rapporto tra i due. Un output utile può separare le osservazioni visive da quelle audio prima della conclusione.
Per una revisione multimediale, fornisci il breve estratto pertinente invece di più risorse non correlate. Identifica le immagini e spiegane il ruolo se ce n’è più di una. Conserva l’audio e le informazioni temporali importanti per la domanda. Richiedi un risultato mirato, come una spiegazione vocale per un ascoltatore o un elenco testuale conciso dei dettagli della scena. Sono applicazioni proposte delle capacità documentate di input combinati, non affermazioni che una determinata clip sia già stata analizzata.
Output di testo e voce
La descrizione del modello del produttore supporta risposte testuali e lo streaming simultaneo di testo e voce. Una spiegazione vocale può essere adatta all’assistenza conversazionale, mentre il testo è più facile da esaminare, cercare e confrontare con il materiale fonte. La modalità di output scelta e i controlli vocali dipendono dall’interfaccia che espone il modello. Lo streaming descrive la consegna in parti successive; non garantisce un tempo di risposta né dimostra la disponibilità di un protocollo separato per conversazioni in tempo reale.
Limiti di contesto e output
La specifica dedicata indica una finestra di contesto di 32.768 token, una lunghezza massima di input di 30.720 token e una lunghezza massima di output di 2.048 token. Prepara il materiale fonte e la risposta desiderata tenendo presenti questi limiti distinti. L’input multimodale deve rientrare nel budget della sua rappresentazione, non soltanto in un conteggio di caratteri digitati. Una richiesta di narrazione lunga dovrebbe essere circoscritta a una breve spiegazione che rientri nel limite di output.
Questi limiti di token non stabiliscono una durata universale in minuti o un numero universale di immagini. Il pretrattamento dei media e l’edizione selezionata influiscono sulla quantità di materiale che può rientrare. La pagina del modello non pubblica un’architettura del checkpoint o un numero di parametri, quindi l’etichetta Turbo non deve essere usata per inventare una dimensione o prendere in prestito l’architettura di un altro modello Omni.
Strumenti e limitazioni sostanziali
La matrice delle capacità di questo specifico modello non supporta chiamate a funzioni, ricerca web integrata o output strutturati con conformità garantita allo schema. Elenca l’inferenza in batch in alcune configurazioni del produttore e la memorizzazione in cache del contesto in un’altra. Chiedere un elenco o una risposta in formato JSON è una richiesta di formato testuale, non una garanzia di conformità a uno schema. La capacità del modello di comprendere un’attività visiva o parlata non gli dà inoltre accesso a informazioni aggiornate o a sistemi esterni.
Verifica se la risposta distingue i riscontri visibili, il contenuto udibile e l’interpretazione. Le citazioni del parlato, le piccole etichette visive e le relazioni dedotte vanno confrontate con il materiale fornito. Per un risultato vocale, conserva il testo di accompagnamento quando disponibile, così che un revisore possa esaminare la spiegazione. Il vantaggio pratico è collegare più modalità in un’unica risposta, con un output conciso dimensionato per l’edizione documentata.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti qwen-omni-turbo | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.0046 / 1K token Output · Token in output $0.0138 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra qwen-omni-turbo
Usa i percorsi dei metodi indicati sopra.
qwen-omni-turboQwen-Omni-Turbo combina testo, immagini, audio e video in un’unica attività multimodale e può trasmettere testo insieme a risposte vocali in streaming. Usalo per collegare una domanda pronunciata a riscontri visivi o spiegare una clip audiovisiva, entro il contesto di 32.768 token e il limite di output di 2.048 token del produttore.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Panoramica: comprensione di media combinati e risposte vocali
Qwen-Omni-Turbo è il modello di Qwen per la comprensione e la generazione multimodale. Accetta testo, immagini, parlato e video, anche in combinazione, e produce testo oppure testo accompagnato da voce naturale. Il produttore descrive lo streaming simultaneo di testo e voce, con quattro opzioni vocali dal tono colloquiale naturale. Questo rende il modello pertinente per attività in cui la domanda e i riscontri arrivano in forme diverse, come una domanda pronunciata su una fotografia o una spiegazione di una scena audiovisiva.
Il nome esatto e le sue edizioni
La pagina attuale del modello del produttore descrive qwen-omni-turbo come funzionalmente equivalente alla versione datata qwen-omni-turbo-2025-03-26. Elenca separatamente qwen-omni-turbo-latest come nome aggiornato dinamicamente e mantiene distinta la versione precedente qwen-omni-turbo-2025-01-19. La versione di marzo è descritta come un miglioramento delle capacità visive rispetto a gennaio. Queste sono le relazioni tra edizioni definite dal produttore, non una prova che ogni percorso di un’applicazione con un nome simile usi pesi o impostazioni identici. Conserva il nome di una versione datata quando l’attività richiede una versione esatta.
Il nome Turbo non identifica l’edizione separata in tempo reale, una generazione Qwen-Omni più recente o il checkpoint aperto Qwen2.5-Omni-7B. Le loro regole di input, le voci e le interfacce richiedono una documentazione propria. In particolare, le quattro opzioni vocali descritte per Omni-Turbo non devono essere copiate nella descrizione del checkpoint aperto con due voci.
Preparare un’attività con media combinati
Specifica che cosa deve collegare il modello tra gli input. Per una domanda pronunciata su un diagramma, fornisci il diagramma e la domanda insieme, poi richiedi una spiegazione dell’elemento visibile di cui si parla. Per un video con parlato, specifica se il risultato desiderato è un riepilogo di ciò che si vede, di ciò che viene detto o del rapporto tra i due. Un output utile può separare le osservazioni visive da quelle audio prima della conclusione.
Per una revisione multimediale, fornisci il breve estratto pertinente invece di più risorse non correlate. Identifica le immagini e spiegane il ruolo se ce n’è più di una. Conserva l’audio e le informazioni temporali importanti per la domanda. Richiedi un risultato mirato, come una spiegazione vocale per un ascoltatore o un elenco testuale conciso dei dettagli della scena. Sono applicazioni proposte delle capacità documentate di input combinati, non affermazioni che una determinata clip sia già stata analizzata.
Output di testo e voce
La descrizione del modello del produttore supporta risposte testuali e lo streaming simultaneo di testo e voce. Una spiegazione vocale può essere adatta all’assistenza conversazionale, mentre il testo è più facile da esaminare, cercare e confrontare con il materiale fonte. La modalità di output scelta e i controlli vocali dipendono dall’interfaccia che espone il modello. Lo streaming descrive la consegna in parti successive; non garantisce un tempo di risposta né dimostra la disponibilità di un protocollo separato per conversazioni in tempo reale.
Limiti di contesto e output
La specifica dedicata indica una finestra di contesto di 32.768 token, una lunghezza massima di input di 30.720 token e una lunghezza massima di output di 2.048 token. Prepara il materiale fonte e la risposta desiderata tenendo presenti questi limiti distinti. L’input multimodale deve rientrare nel budget della sua rappresentazione, non soltanto in un conteggio di caratteri digitati. Una richiesta di narrazione lunga dovrebbe essere circoscritta a una breve spiegazione che rientri nel limite di output.
Questi limiti di token non stabiliscono una durata universale in minuti o un numero universale di immagini. Il pretrattamento dei media e l’edizione selezionata influiscono sulla quantità di materiale che può rientrare. La pagina del modello non pubblica un’architettura del checkpoint o un numero di parametri, quindi l’etichetta Turbo non deve essere usata per inventare una dimensione o prendere in prestito l’architettura di un altro modello Omni.
Strumenti e limitazioni sostanziali
La matrice delle capacità di questo specifico modello non supporta chiamate a funzioni, ricerca web integrata o output strutturati con conformità garantita allo schema. Elenca l’inferenza in batch in alcune configurazioni del produttore e la memorizzazione in cache del contesto in un’altra. Chiedere un elenco o una risposta in formato JSON è una richiesta di formato testuale, non una garanzia di conformità a uno schema. La capacità del modello di comprendere un’attività visiva o parlata non gli dà inoltre accesso a informazioni aggiornate o a sistemi esterni.
Verifica se la risposta distingue i riscontri visibili, il contenuto udibile e l’interpretazione. Le citazioni del parlato, le piccole etichette visive e le relazioni dedotte vanno confrontate con il materiale fornito. Per un risultato vocale, conserva il testo di accompagnamento quando disponibile, così che un revisore possa esaminare la spiegazione. Il vantaggio pratico è collegare più modalità in un’unica risposta, con un output conciso dimensionato per l’edizione documentata.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti qwen-omni-turbo | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.0046 / 1K token Output · Token in output $0.0138 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra qwen-omni-turbo
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.