Panoramica: un modello per più modalità di input
Qwen2.5-Omni-7B è il modello multimodale end-to-end di Qwen per testo, immagini, audio e video. Può comprendere questi input insieme e generare testo con parlato naturale in un flusso in streaming. Utilizzarlo quando un’attività dipende sia da ciò che è visibile sia da ciò che è udibile, oppure quando l’utente impartisce l’istruzione a voce anziché digitandola. Questo è lo specifico checkpoint 7B; Omni-Turbo commerciale e le successive versioni Omni hanno contratti propri.
Funzionalità principali e architettura
Il design Thinker-Talker combina comprensione e generazione del parlato. Thinker elabora l’attività multimodale e produce contenuti testuali, mentre Talker partecipa alla formazione della risposta parlata. TMRoPE, lo schema posizionale multimodale del produttore allineato nel tempo, sincronizza i timestamp video con l’audio. L’architettura è progettata per input a blocchi e interazione vocale o video reattiva; questo obiettivo progettuale non costituisce una garanzia di tempi di risposta fissi per ogni interfaccia.
Le attività coperte dal produttore includono riconoscimento vocale, traduzione del parlato, comprensione audio, ragionamento sulle immagini, comprensione video e generazione del parlato. Le istruzioni vocali possono quindi partecipare direttamente a una domanda multimodale anziché richiedere sempre una trascrizione digitata separata. Mantenere chiaro l’obiettivo: comprendere una clip audio, rispondere a una domanda parlata e generare una risposta parlata sono usi distinti, anche se il modello supporta tutte le relative forme di input o output.
Preparare una conversazione multimodale
Fornire i media pertinenti e indicare come la risposta debba collegarli. Per una dimostrazione narrata, chiedere al modello di distinguere i passaggi visibili dalla spiegazione del parlante e di identificare dove coincidono. Per un’immagine con una domanda audio, identificare il ruolo dell’immagine e richiedere una risposta concisa fondata sul contenuto visibile. Per un estratto solo audio, specificare se l’obiettivo sia riconoscere il parlato, spiegare i suoni o rispondere a una domanda sul contenuto. Sono applicazioni redazionali delle attività documentate.
Gli esempi del produttore mostrano conversazioni solo testuali, solo audio, solo video e con media misti. Preservare l’ordine e i tempi originali di un video. Etichettare gli elementi separati affinché il modello possa riferirsi a essi senza trattare evidenze non correlate come un singolo evento. Il risultato può essere solo testo oppure testo con parlato; scegliere l’artefatto utile prima di preparare la richiesta.
Preparare l’output vocale
La procedura del checkpoint Qwen richiede il prompt di sistema documentato per le capacità audio quando serve output vocale. Il prompt identifica Qwen e le sue capacità uditive, visive, testuali e vocali; una sostituzione non pertinente può impedire il comportamento audio atteso. Sono indicazioni per il flusso del checkpoint del produttore, non un’affermazione che ogni applicazione esponga controlli sul prompt di sistema o sulla generazione audio.
Lo specifico checkpoint offre due voci: Chelsie, una voce femminile calda, ed Ethan, una voce maschile vivace. Chelsie è la voce predefinita documentata quando non viene selezionato un parlante. L’esempio di generazione scrive il parlato a una frequenza di campionamento di 24,000 Hz. Queste due voci non vanno sostituite con la descrizione a quattro voci di un modello commerciale con un nome distinto.
Usare l’audio del video
La traccia audio di un video può essere pertinente al suo significato, come istruzioni parlate o un suono prodotto da un’azione visibile. Qwen espone use_audio_in_video nella preparazione dei media, nell’elaborazione e nella generazione. L’impostazione deve restare coerente in tutte e tre le fasi e durante una conversazione su più turni; impostazioni incoerenti possono produrre risultati inattesi. Un’interpretazione solo visiva del video è quindi diversa da un’interpretazione audiovisiva, anche quando il file è lo stesso.
Output solo testuale e batch
Il produttore supporta l’output solo testuale impostando return_audio=False. Consente inoltre di disabilitare Talker dopo il caricamento, riducendo la memoria GPU di circa 2 GB, ma rendendo indisponibile l’output audio in quell’istanza. L’esempio documentato di batch con campioni misti richiede return_audio=False e combina richieste di testo, immagini, audio e video. Tale esempio di batch non deve essere trasformato in un’affermazione sulla generazione vocale in batch.
Contesto e limiti sostanziali
La configurazione della componente testuale del checkpoint imposta il massimo delle posizioni a 32,768. Testo, media rappresentati e risposte generate consumano spazio nella sequenza; questo valore non definisce autonomamente una durata universale di audio o video. Gli esempi di risorse del produttore mostrano che video più lunghi richiedono molta più memoria, quindi una clip breve e pertinente è spesso più pratica di una registrazione grande e non correlata. Gli esempi non pubblicano una lunghezza massima rigida separata della risposta né una durata dei media universalmente garantita.
Verificare citazioni del parlato e conclusioni rispetto alla fonte, conservare dettaglio visivo sufficiente per la domanda e mantenere un risultato testuale quando chi revisiona deve esaminare la spiegazione parlata. Il valore documentato del modello è la comprensione congiunta e la risposta testuale/vocale, mentre controlli vocali esatti, elaborazione dei media e consegna dell’output restano funzionalità dell’interfaccia scelta.
", "aboutText": "Panoramica: un modello per più modalità di input\n\nQwen2.5-Omni-7B è il modello multimodale end-to-end di Qwen per testo, immagini, audio e video. Può comprendere questi input insieme e generare testo con parlato naturale in un flusso in streaming. Utilizzarlo quando un’attività dipende sia da ciò che è visibile sia da ciò che è udibile, oppure quando l’utente impartisce l’istruzione a voce anziché digitandola. Questo è lo specifico checkpoint 7B; Omni-Turbo commerciale e le successive versioni Omni hanno contratti propri.\n\nFunzionalità principali e architettura\n\nIl design Thinker-Talker combina comprensione e generazione del parlato. Thinker elabora l’attività multimodale e produce contenuti testuali, mentre Talker partecipa alla formazione della risposta parlata. TMRoPE, lo schema posizionale multimodale del produttore allineato nel tempo, sincronizza i timestamp video con l’audio. L’architettura è progettata per input a blocchi e interazione vocale o video reattiva; questo obiettivo progettuale non costituisce una garanzia di tempi di risposta fissi per ogni interfaccia.\n\nLe attività coperte dal produttore includono riconoscimento vocale, traduzione del parlato, comprensione audio, ragionamento sulle immagini, comprensione video e generazione del parlato. Le istruzioni vocali possono quindi partecipare direttamente a una domanda multimodale anziché richiedere sempre una trascrizione digitata separata. Mantenere chiaro l’obiettivo: comprendere una clip audio, rispondere a una domanda parlata e generare una risposta parlata sono usi distinti, anche se il modello supporta tutte le relative forme di input o output.\n\nPreparare una conversazione multimodale\n\nFornire i media pertinenti e indicare come la risposta debba collegarli. Per una dimostrazione narrata, chiedere al modello di distinguere i passaggi visibili dalla spiegazione del parlante e di identificare dove coincidono. Per un’immagine con una domanda audio, identificare il ruolo dell’immagine e richiedere una risposta concisa fondata sul contenuto visibile. Per un estratto solo audio, specificare se l’obiettivo sia riconoscere il parlato, spiegare i suoni o rispondere a una domanda sul contenuto. Sono applicazioni redazionali delle attività documentate.\n\nGli esempi del produttore mostrano conversazioni solo testuali, solo audio, solo video e con media misti. Preservare l’ordine e i tempi originali di un video. Etichettare gli elementi separati affinché il modello possa riferirsi a essi senza trattare evidenze non correlate come un singolo evento. Il risultato può essere solo testo oppure testo con parlato; scegliere l’artefatto utile prima di preparare la richiesta.\n\nPreparare l’output vocale\n\nLa procedura del checkpoint Qwen richiede il prompt di sistema documentato per le capacità audio quando serve output vocale. Il prompt identifica Qwen e le sue capacità uditive, visive, testuali e vocali; una sostituzione non pertinente può impedire il comportamento audio atteso. Sono indicazioni per il flusso del checkpoint del produttore, non un’affermazione che ogni applicazione esponga controlli sul prompt di sistema o sulla generazione audio.\n\nLo specifico checkpoint offre due voci: Chelsie, una voce femminile calda, ed Ethan, una voce maschile vivace. Chelsie è la voce predefinita documentata quando non viene selezionato un parlante. L’esempio di generazione scrive il parlato a una frequenza di campionamento di 24,000 Hz. Queste due voci non vanno sostituite con la descrizione a quattro voci di un modello commerciale con un nome distinto.\n\nUsare l’audio del video\n\nLa traccia audio di un video può essere pertinente al suo significato, come istruzioni parlate o un suono prodotto da un’azione visibile. Qwen espone use_audio_in_video nella preparazione dei media, nell’elaborazione e nella generazione. L’impostazione deve restare coerente in tutte e tre le fasi e durante una conversazione su più turni; impostazioni incoerenti possono produrre risultati inattesi. Un’interpretazione solo visiva del video è quindi diversa da un’interpretazione audiovisiva, anche quando il file è lo stesso.\n\nOutput solo testuale e batch\n\nIl produttore supporta l’output solo testuale impostando return_audio=False. Consente inoltre di disabilitare Talker dopo il caricamento, riducendo la memoria GPU di circa 2 GB, ma rendendo indisponibile l’output audio in quell’istanza. L’esempio documentato di batch con campioni misti richiede return_audio=False e combina richieste di testo, immagini, audio e video. Tale esempio di batch non deve essere trasformato in un’affermazione sulla generazione vocale in batch.\n\nContesto e limiti sostanziali\n\nLa configurazione della componente testuale del checkpoint imposta il massimo delle posizioni a 32,768. Testo, media rappresentati e risposte generate consumano spazio nella sequenza; questo valore non definisce autonomamente una durata universale di audio o video. Gli esempi di risorse del produttore mostrano che video più lunghi richiedono molta più memoria, quindi una clip breve e pertinente è spesso più pratica di una registrazione grande e non correlata. Gli esempi non pubblicano una lunghezza massima rigida separata della risposta né una durata dei media universalmente garantita.\n\nVerificare citazioni del parlato e conclusioni rispetto alla fonte, conservare dettaglio visivo sufficiente per la domanda e mantenere un risultato testuale quando chi revisiona deve esaminare la spiegazione parlata. Il valore documentato del modello è la comprensione congiunta e la risposta testuale/vocale, mentre controlli vocali esatti, elaborazione dei media e consegna dell’output restano funzionalità dell’interfaccia scelta.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B combina la comprensione di testo, immagini, audio e video con output testuale e parlato naturale. La sua architettura Thinker-Talker allinea l’audio ai tempi del video, supporta l’interazione in streaming e offre due voci documentate in questo specifico checkpoint aperto.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Panoramica: un modello per più modalità di input
Qwen2.5-Omni-7B è il modello multimodale end-to-end di Qwen per testo, immagini, audio e video. Può comprendere questi input insieme e generare testo con parlato naturale in un flusso in streaming. Utilizzarlo quando un’attività dipende sia da ciò che è visibile sia da ciò che è udibile, oppure quando l’utente impartisce l’istruzione a voce anziché digitandola. Questo è lo specifico checkpoint 7B; Omni-Turbo commerciale e le successive versioni Omni hanno contratti propri.
Funzionalità principali e architettura
Il design Thinker-Talker combina comprensione e generazione del parlato. Thinker elabora l’attività multimodale e produce contenuti testuali, mentre Talker partecipa alla formazione della risposta parlata. TMRoPE, lo schema posizionale multimodale del produttore allineato nel tempo, sincronizza i timestamp video con l’audio. L’architettura è progettata per input a blocchi e interazione vocale o video reattiva; questo obiettivo progettuale non costituisce una garanzia di tempi di risposta fissi per ogni interfaccia.
Le attività coperte dal produttore includono riconoscimento vocale, traduzione del parlato, comprensione audio, ragionamento sulle immagini, comprensione video e generazione del parlato. Le istruzioni vocali possono quindi partecipare direttamente a una domanda multimodale anziché richiedere sempre una trascrizione digitata separata. Mantenere chiaro l’obiettivo: comprendere una clip audio, rispondere a una domanda parlata e generare una risposta parlata sono usi distinti, anche se il modello supporta tutte le relative forme di input o output.
Preparare una conversazione multimodale
Fornire i media pertinenti e indicare come la risposta debba collegarli. Per una dimostrazione narrata, chiedere al modello di distinguere i passaggi visibili dalla spiegazione del parlante e di identificare dove coincidono. Per un’immagine con una domanda audio, identificare il ruolo dell’immagine e richiedere una risposta concisa fondata sul contenuto visibile. Per un estratto solo audio, specificare se l’obiettivo sia riconoscere il parlato, spiegare i suoni o rispondere a una domanda sul contenuto. Sono applicazioni redazionali delle attività documentate.
Gli esempi del produttore mostrano conversazioni solo testuali, solo audio, solo video e con media misti. Preservare l’ordine e i tempi originali di un video. Etichettare gli elementi separati affinché il modello possa riferirsi a essi senza trattare evidenze non correlate come un singolo evento. Il risultato può essere solo testo oppure testo con parlato; scegliere l’artefatto utile prima di preparare la richiesta.
Preparare l’output vocale
La procedura del checkpoint Qwen richiede il prompt di sistema documentato per le capacità audio quando serve output vocale. Il prompt identifica Qwen e le sue capacità uditive, visive, testuali e vocali; una sostituzione non pertinente può impedire il comportamento audio atteso. Sono indicazioni per il flusso del checkpoint del produttore, non un’affermazione che ogni applicazione esponga controlli sul prompt di sistema o sulla generazione audio.
Lo specifico checkpoint offre due voci: Chelsie, una voce femminile calda, ed Ethan, una voce maschile vivace. Chelsie è la voce predefinita documentata quando non viene selezionato un parlante. L’esempio di generazione scrive il parlato a una frequenza di campionamento di 24,000 Hz. Queste due voci non vanno sostituite con la descrizione a quattro voci di un modello commerciale con un nome distinto.
Usare l’audio del video
La traccia audio di un video può essere pertinente al suo significato, come istruzioni parlate o un suono prodotto da un’azione visibile. Qwen espone use_audio_in_video nella preparazione dei media, nell’elaborazione e nella generazione. L’impostazione deve restare coerente in tutte e tre le fasi e durante una conversazione su più turni; impostazioni incoerenti possono produrre risultati inattesi. Un’interpretazione solo visiva del video è quindi diversa da un’interpretazione audiovisiva, anche quando il file è lo stesso.
Output solo testuale e batch
Il produttore supporta l’output solo testuale impostando return_audio=False. Consente inoltre di disabilitare Talker dopo il caricamento, riducendo la memoria GPU di circa 2 GB, ma rendendo indisponibile l’output audio in quell’istanza. L’esempio documentato di batch con campioni misti richiede return_audio=False e combina richieste di testo, immagini, audio e video. Tale esempio di batch non deve essere trasformato in un’affermazione sulla generazione vocale in batch.
Contesto e limiti sostanziali
La configurazione della componente testuale del checkpoint imposta il massimo delle posizioni a 32,768. Testo, media rappresentati e risposte generate consumano spazio nella sequenza; questo valore non definisce autonomamente una durata universale di audio o video. Gli esempi di risorse del produttore mostrano che video più lunghi richiedono molta più memoria, quindi una clip breve e pertinente è spesso più pratica di una registrazione grande e non correlata. Gli esempi non pubblicano una lunghezza massima rigida separata della risposta né una durata dei media universalmente garantita.
Verificare citazioni del parlato e conclusioni rispetto alla fonte, conservare dettaglio visivo sufficiente per la domanda e mantenere un risultato testuale quando chi revisiona deve esaminare la spiegazione parlata. Il valore documentato del modello è la comprensione congiunta e la risposta testuale/vocale, mentre controlli vocali esatti, elaborazione dei media e consegna dell’output restano funzionalità dell’interfaccia scelta.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti qwen2.5-omni-7b | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.0046 / 1K token Output · Token in output $0.0138 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra qwen2.5-omni-7b
Usa i percorsi dei metodi indicati sopra.
qwen2.5-omni-7bQwen2.5-Omni-7B combina la comprensione di testo, immagini, audio e video con output testuale e parlato naturale. La sua architettura Thinker-Talker allinea l’audio ai tempi del video, supporta l’interazione in streaming e offre due voci documentate in questo specifico checkpoint aperto.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Panoramica: un modello per più modalità di input
Qwen2.5-Omni-7B è il modello multimodale end-to-end di Qwen per testo, immagini, audio e video. Può comprendere questi input insieme e generare testo con parlato naturale in un flusso in streaming. Utilizzarlo quando un’attività dipende sia da ciò che è visibile sia da ciò che è udibile, oppure quando l’utente impartisce l’istruzione a voce anziché digitandola. Questo è lo specifico checkpoint 7B; Omni-Turbo commerciale e le successive versioni Omni hanno contratti propri.
Funzionalità principali e architettura
Il design Thinker-Talker combina comprensione e generazione del parlato. Thinker elabora l’attività multimodale e produce contenuti testuali, mentre Talker partecipa alla formazione della risposta parlata. TMRoPE, lo schema posizionale multimodale del produttore allineato nel tempo, sincronizza i timestamp video con l’audio. L’architettura è progettata per input a blocchi e interazione vocale o video reattiva; questo obiettivo progettuale non costituisce una garanzia di tempi di risposta fissi per ogni interfaccia.
Le attività coperte dal produttore includono riconoscimento vocale, traduzione del parlato, comprensione audio, ragionamento sulle immagini, comprensione video e generazione del parlato. Le istruzioni vocali possono quindi partecipare direttamente a una domanda multimodale anziché richiedere sempre una trascrizione digitata separata. Mantenere chiaro l’obiettivo: comprendere una clip audio, rispondere a una domanda parlata e generare una risposta parlata sono usi distinti, anche se il modello supporta tutte le relative forme di input o output.
Preparare una conversazione multimodale
Fornire i media pertinenti e indicare come la risposta debba collegarli. Per una dimostrazione narrata, chiedere al modello di distinguere i passaggi visibili dalla spiegazione del parlante e di identificare dove coincidono. Per un’immagine con una domanda audio, identificare il ruolo dell’immagine e richiedere una risposta concisa fondata sul contenuto visibile. Per un estratto solo audio, specificare se l’obiettivo sia riconoscere il parlato, spiegare i suoni o rispondere a una domanda sul contenuto. Sono applicazioni redazionali delle attività documentate.
Gli esempi del produttore mostrano conversazioni solo testuali, solo audio, solo video e con media misti. Preservare l’ordine e i tempi originali di un video. Etichettare gli elementi separati affinché il modello possa riferirsi a essi senza trattare evidenze non correlate come un singolo evento. Il risultato può essere solo testo oppure testo con parlato; scegliere l’artefatto utile prima di preparare la richiesta.
Preparare l’output vocale
La procedura del checkpoint Qwen richiede il prompt di sistema documentato per le capacità audio quando serve output vocale. Il prompt identifica Qwen e le sue capacità uditive, visive, testuali e vocali; una sostituzione non pertinente può impedire il comportamento audio atteso. Sono indicazioni per il flusso del checkpoint del produttore, non un’affermazione che ogni applicazione esponga controlli sul prompt di sistema o sulla generazione audio.
Lo specifico checkpoint offre due voci: Chelsie, una voce femminile calda, ed Ethan, una voce maschile vivace. Chelsie è la voce predefinita documentata quando non viene selezionato un parlante. L’esempio di generazione scrive il parlato a una frequenza di campionamento di 24,000 Hz. Queste due voci non vanno sostituite con la descrizione a quattro voci di un modello commerciale con un nome distinto.
Usare l’audio del video
La traccia audio di un video può essere pertinente al suo significato, come istruzioni parlate o un suono prodotto da un’azione visibile. Qwen espone use_audio_in_video nella preparazione dei media, nell’elaborazione e nella generazione. L’impostazione deve restare coerente in tutte e tre le fasi e durante una conversazione su più turni; impostazioni incoerenti possono produrre risultati inattesi. Un’interpretazione solo visiva del video è quindi diversa da un’interpretazione audiovisiva, anche quando il file è lo stesso.
Output solo testuale e batch
Il produttore supporta l’output solo testuale impostando return_audio=False. Consente inoltre di disabilitare Talker dopo il caricamento, riducendo la memoria GPU di circa 2 GB, ma rendendo indisponibile l’output audio in quell’istanza. L’esempio documentato di batch con campioni misti richiede return_audio=False e combina richieste di testo, immagini, audio e video. Tale esempio di batch non deve essere trasformato in un’affermazione sulla generazione vocale in batch.
Contesto e limiti sostanziali
La configurazione della componente testuale del checkpoint imposta il massimo delle posizioni a 32,768. Testo, media rappresentati e risposte generate consumano spazio nella sequenza; questo valore non definisce autonomamente una durata universale di audio o video. Gli esempi di risorse del produttore mostrano che video più lunghi richiedono molta più memoria, quindi una clip breve e pertinente è spesso più pratica di una registrazione grande e non correlata. Gli esempi non pubblicano una lunghezza massima rigida separata della risposta né una durata dei media universalmente garantita.
Verificare citazioni del parlato e conclusioni rispetto alla fonte, conservare dettaglio visivo sufficiente per la domanda e mantenere un risultato testuale quando chi revisiona deve esaminare la spiegazione parlata. Il valore documentato del modello è la comprensione congiunta e la risposta testuale/vocale, mentre controlli vocali esatti, elaborazione dei media e consegna dell’output restano funzionalità dell’interfaccia scelta.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti qwen2.5-omni-7b | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.0046 / 1K token Output · Token in output $0.0138 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra qwen2.5-omni-7b
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.