Descripción general: comprensión multimedia y respuestas habladas
Qwen-Omni-Turbo es el modelo de comprensión y generación multimodal de Qwen. Acepta texto, imágenes, voz y video, incluidas combinaciones de esas entradas, y produce texto o texto acompañado de voz natural. El fabricante describe la transmisión simultánea de texto y voz, con cuatro opciones de voz conversacional natural. Esto resulta pertinente para tareas en las que la pregunta y su evidencia llegan en formatos distintos, como una pregunta hablada sobre una fotografía o la explicación de una escena audiovisual.
El nombre exacto y sus ediciones
La página actual del modelo del fabricante describe qwen-omni-turbo como funcionalmente equivalente a la versión fechada qwen-omni-turbo-2025-03-26. Enumera por separado qwen-omni-turbo-latest como un nombre que se actualiza dinámicamente y distingue la versión anterior qwen-omni-turbo-2025-01-19. La versión de marzo se describe como una mejora de las capacidades visuales respecto de la de enero. Estas son las relaciones entre ediciones que establece el fabricante, no una prueba de que todas las rutas de aplicaciones con nombres similares utilicen pesos o configuraciones idénticos. Conserva el nombre de una versión fechada cuando la tarea requiera una versión exacta.
El nombre Turbo no identifica la edición independiente en tiempo real, una generación más reciente de Qwen-Omni ni el checkpoint abierto Qwen2.5-Omni-7B. Sus reglas de entrada, voces e interfaces requieren documentación propia. En particular, las cuatro opciones de voz descritas para Omni-Turbo no deben copiarse a la descripción del checkpoint abierto que cuenta con dos voces.
Preparación de una tarea multimedia
Indica qué debe relacionar el modelo entre las entradas. Para una pregunta hablada sobre un diagrama, proporciona el diagrama y la pregunta juntos y solicita una explicación del elemento visible del que se está hablando. Para un video con voz, especifica si el resultado deseado es un resumen de lo que se ve, de lo que se dice o de la relación entre ambos. Un resultado útil puede separar las observaciones visuales de las auditivas antes de presentar la conclusión.
Para una revisión multimedia, proporciona el fragmento breve relevante en lugar de varios recursos no relacionados. Etiqueta las imágenes y explica su función si hay más de una. Conserva el audio y la información temporal que sean importantes para la pregunta. Pide un resultado concreto, como una explicación hablada para quien escucha o una lista textual breve de detalles de la escena. Estos son ejemplos de aplicación propuestos a partir de las capacidades documentadas de entradas mixtas, no afirmaciones de que ya se haya analizado un clip específico.
Salida de texto y voz
La descripción del modelo del fabricante admite respuestas de texto y transmisión simultánea de texto y voz. Una explicación hablada puede ser adecuada para la asistencia conversacional, mientras que el texto es más fácil de revisar, buscar y comparar con el material de origen. El modo de salida elegido y los controles de voz dependen de la interfaz que ofrece acceso al modelo. La transmisión describe la entrega en partes sucesivas; no garantiza un tiempo de respuesta ni demuestra que esté disponible un protocolo independiente de conversación en tiempo real.
Límites de contexto y salida
La especificación dedicada indica una ventana de contexto de 32,768 tokens, una longitud máxima de entrada de 30,720 tokens y una longitud máxima de salida de 2,048 tokens. Prepara el material de origen y la respuesta deseada teniendo en cuenta esos límites por separado. La entrada multimodal debe ajustarse al presupuesto de su representación, no solo a un conteo de caracteres escritos. Una solicitud de narración extensa debe acotarse a una explicación breve que se ajuste a la capacidad de salida permitida.
Esos límites de tokens no establecen una duración universal en minutos ni una cantidad universal de imágenes. El preprocesamiento multimedia y la edición seleccionada influyen en la cantidad de material que cabe. La página del modelo no publica la arquitectura del checkpoint ni su número de parámetros, por lo que la etiqueta Turbo no debe utilizarse para inventar un tamaño ni para atribuirle la arquitectura de otro modelo Omni.
Herramientas y limitaciones sustantivas
La matriz de capacidades del modelo exacto no admite llamadas a funciones, búsqueda web integrada ni salidas estructuradas con cumplimiento obligatorio del esquema. Enumera la inferencia por lotes en algunas configuraciones del fabricante y el almacenamiento en caché del contexto en otra. Pedir una lista o una respuesta con forma de JSON es una solicitud de formato textual, no una garantía de cumplimiento de un esquema. La capacidad del modelo para comprender una tarea visual o hablada tampoco le da acceso a información actual ni a sistemas externos.
Verifica si la respuesta distingue entre la evidencia visible, el contenido audible y la interpretación. Las citas de lo dicho, las etiquetas visuales pequeñas y las relaciones inferidas deben compararse con el material proporcionado. Para un resultado hablado, conserva el texto que lo acompaña cuando esté disponible, de modo que una persona revisora pueda examinar la explicación. La ventaja práctica consiste en relacionar varias modalidades en una sola respuesta, con una salida breve ajustada a la edición documentada.
", "aboutText": "Descripción general: comprensión multimedia y respuestas habladas\n\nQwen-Omni-Turbo es el modelo de comprensión y generación multimodal de Qwen. Acepta texto, imágenes, voz y video, incluidas combinaciones de esas entradas, y produce texto o texto acompañado de voz natural. El fabricante describe la transmisión simultánea de texto y voz, con cuatro opciones de voz conversacional natural. Esto resulta pertinente para tareas en las que la pregunta y su evidencia llegan en formatos distintos, como una pregunta hablada sobre una fotografía o la explicación de una escena audiovisual.\n\nEl nombre exacto y sus ediciones\n\nLa página actual del modelo del fabricante describe qwen-omni-turbo como funcionalmente equivalente a la versión fechada qwen-omni-turbo-2025-03-26. Enumera por separado qwen-omni-turbo-latest como un nombre que se actualiza dinámicamente y distingue la versión anterior qwen-omni-turbo-2025-01-19. La versión de marzo se describe como una mejora de las capacidades visuales respecto de la de enero. Estas son las relaciones entre ediciones que establece el fabricante, no una prueba de que todas las rutas de aplicaciones con nombres similares utilicen pesos o configuraciones idénticos. Conserva el nombre de una versión fechada cuando la tarea requiera una versión exacta.\n\nEl nombre Turbo no identifica la edición independiente en tiempo real, una generación más reciente de Qwen-Omni ni el checkpoint abierto Qwen2.5-Omni-7B. Sus reglas de entrada, voces e interfaces requieren documentación propia. En particular, las cuatro opciones de voz descritas para Omni-Turbo no deben copiarse a la descripción del checkpoint abierto que cuenta con dos voces.\n\nPreparación de una tarea multimedia\n\nIndica qué debe relacionar el modelo entre las entradas. Para una pregunta hablada sobre un diagrama, proporciona el diagrama y la pregunta juntos y solicita una explicación del elemento visible del que se está hablando. Para un video con voz, especifica si el resultado deseado es un resumen de lo que se ve, de lo que se dice o de la relación entre ambos. Un resultado útil puede separar las observaciones visuales de las auditivas antes de presentar la conclusión.\n\nPara una revisión multimedia, proporciona el fragmento breve relevante en lugar de varios recursos no relacionados. Etiqueta las imágenes y explica su función si hay más de una. Conserva el audio y la información temporal que sean importantes para la pregunta. Pide un resultado concreto, como una explicación hablada para quien escucha o una lista textual breve de detalles de la escena. Estos son ejemplos de aplicación propuestos a partir de las capacidades documentadas de entradas mixtas, no afirmaciones de que ya se haya analizado un clip específico.\n\nSalida de texto y voz\n\nLa descripción del modelo del fabricante admite respuestas de texto y transmisión simultánea de texto y voz. Una explicación hablada puede ser adecuada para la asistencia conversacional, mientras que el texto es más fácil de revisar, buscar y comparar con el material de origen. El modo de salida elegido y los controles de voz dependen de la interfaz que ofrece acceso al modelo. La transmisión describe la entrega en partes sucesivas; no garantiza un tiempo de respuesta ni demuestra que esté disponible un protocolo independiente de conversación en tiempo real.\n\nLímites de contexto y salida\n\nLa especificación dedicada indica una ventana de contexto de 32,768 tokens, una longitud máxima de entrada de 30,720 tokens y una longitud máxima de salida de 2,048 tokens. Prepara el material de origen y la respuesta deseada teniendo en cuenta esos límites por separado. La entrada multimodal debe ajustarse al presupuesto de su representación, no solo a un conteo de caracteres escritos. Una solicitud de narración extensa debe acotarse a una explicación breve que se ajuste a la capacidad de salida permitida.\n\nEsos límites de tokens no establecen una duración universal en minutos ni una cantidad universal de imágenes. El preprocesamiento multimedia y la edición seleccionada influyen en la cantidad de material que cabe. La página del modelo no publica la arquitectura del checkpoint ni su número de parámetros, por lo que la etiqueta Turbo no debe utilizarse para inventar un tamaño ni para atribuirle la arquitectura de otro modelo Omni.\n\nHerramientas y limitaciones sustantivas\n\nLa matriz de capacidades del modelo exacto no admite llamadas a funciones, búsqueda web integrada ni salidas estructuradas con cumplimiento obligatorio del esquema. Enumera la inferencia por lotes en algunas configuraciones del fabricante y el almacenamiento en caché del contexto en otra. Pedir una lista o una respuesta con forma de JSON es una solicitud de formato textual, no una garantía de cumplimiento de un esquema. La capacidad del modelo para comprender una tarea visual o hablada tampoco le da acceso a información actual ni a sistemas externos.\n\nVerifica si la respuesta distingue entre la evidencia visible, el contenido audible y la interpretación. Las citas de lo dicho, las etiquetas visuales pequeñas y las relaciones inferidas deben compararse con el material proporcionado. Para un resultado hablado, conserva el texto que lo acompaña cuando esté disponible, de modo que una persona revisora pueda examinar la explicación. La ventaja práctica consiste en relacionar varias modalidades en una sola respuesta, con una salida breve ajustada a la edición documentada.", "editorialOverlay": { "copy_fields": { "practical_html": "Ejemplo técnico en inglés
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo combina texto, imágenes, audio y video en una tarea multimodal y puede transmitir texto en streaming con respuestas habladas. Úsalo para relacionar una pregunta hablada con evidencia visual o explicar un clip audiovisual, dentro del contexto de 32,768 tokens y el límite de salida de 2,048 tokens del fabricante.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
Descripción general: comprensión multimedia y respuestas habladas
Qwen-Omni-Turbo es el modelo de comprensión y generación multimodal de Qwen. Acepta texto, imágenes, voz y video, incluidas combinaciones de esas entradas, y produce texto o texto acompañado de voz natural. El fabricante describe la transmisión simultánea de texto y voz, con cuatro opciones de voz conversacional natural. Esto resulta pertinente para tareas en las que la pregunta y su evidencia llegan en formatos distintos, como una pregunta hablada sobre una fotografía o la explicación de una escena audiovisual.
El nombre exacto y sus ediciones
La página actual del modelo del fabricante describe qwen-omni-turbo como funcionalmente equivalente a la versión fechada qwen-omni-turbo-2025-03-26. Enumera por separado qwen-omni-turbo-latest como un nombre que se actualiza dinámicamente y distingue la versión anterior qwen-omni-turbo-2025-01-19. La versión de marzo se describe como una mejora de las capacidades visuales respecto de la de enero. Estas son las relaciones entre ediciones que establece el fabricante, no una prueba de que todas las rutas de aplicaciones con nombres similares utilicen pesos o configuraciones idénticos. Conserva el nombre de una versión fechada cuando la tarea requiera una versión exacta.
El nombre Turbo no identifica la edición independiente en tiempo real, una generación más reciente de Qwen-Omni ni el checkpoint abierto Qwen2.5-Omni-7B. Sus reglas de entrada, voces e interfaces requieren documentación propia. En particular, las cuatro opciones de voz descritas para Omni-Turbo no deben copiarse a la descripción del checkpoint abierto que cuenta con dos voces.
Preparación de una tarea multimedia
Indica qué debe relacionar el modelo entre las entradas. Para una pregunta hablada sobre un diagrama, proporciona el diagrama y la pregunta juntos y solicita una explicación del elemento visible del que se está hablando. Para un video con voz, especifica si el resultado deseado es un resumen de lo que se ve, de lo que se dice o de la relación entre ambos. Un resultado útil puede separar las observaciones visuales de las auditivas antes de presentar la conclusión.
Para una revisión multimedia, proporciona el fragmento breve relevante en lugar de varios recursos no relacionados. Etiqueta las imágenes y explica su función si hay más de una. Conserva el audio y la información temporal que sean importantes para la pregunta. Pide un resultado concreto, como una explicación hablada para quien escucha o una lista textual breve de detalles de la escena. Estos son ejemplos de aplicación propuestos a partir de las capacidades documentadas de entradas mixtas, no afirmaciones de que ya se haya analizado un clip específico.
Salida de texto y voz
La descripción del modelo del fabricante admite respuestas de texto y transmisión simultánea de texto y voz. Una explicación hablada puede ser adecuada para la asistencia conversacional, mientras que el texto es más fácil de revisar, buscar y comparar con el material de origen. El modo de salida elegido y los controles de voz dependen de la interfaz que ofrece acceso al modelo. La transmisión describe la entrega en partes sucesivas; no garantiza un tiempo de respuesta ni demuestra que esté disponible un protocolo independiente de conversación en tiempo real.
Límites de contexto y salida
La especificación dedicada indica una ventana de contexto de 32,768 tokens, una longitud máxima de entrada de 30,720 tokens y una longitud máxima de salida de 2,048 tokens. Prepara el material de origen y la respuesta deseada teniendo en cuenta esos límites por separado. La entrada multimodal debe ajustarse al presupuesto de su representación, no solo a un conteo de caracteres escritos. Una solicitud de narración extensa debe acotarse a una explicación breve que se ajuste a la capacidad de salida permitida.
Esos límites de tokens no establecen una duración universal en minutos ni una cantidad universal de imágenes. El preprocesamiento multimedia y la edición seleccionada influyen en la cantidad de material que cabe. La página del modelo no publica la arquitectura del checkpoint ni su número de parámetros, por lo que la etiqueta Turbo no debe utilizarse para inventar un tamaño ni para atribuirle la arquitectura de otro modelo Omni.
Herramientas y limitaciones sustantivas
La matriz de capacidades del modelo exacto no admite llamadas a funciones, búsqueda web integrada ni salidas estructuradas con cumplimiento obligatorio del esquema. Enumera la inferencia por lotes en algunas configuraciones del fabricante y el almacenamiento en caché del contexto en otra. Pedir una lista o una respuesta con forma de JSON es una solicitud de formato textual, no una garantía de cumplimiento de un esquema. La capacidad del modelo para comprender una tarea visual o hablada tampoco le da acceso a información actual ni a sistemas externos.
Verifica si la respuesta distingue entre la evidencia visible, el contenido audible y la interpretación. Las citas de lo dicho, las etiquetas visuales pequeñas y las relaciones inferidas deben compararse con el material proporcionado. Para un resultado hablado, conserva el texto que lo acompaña cuando esté disponible, de modo que una persona revisora pueda examinar la explicación. La ventaja práctica consiste en relacionar varias modalidades en una sola respuesta, con una salida breve ajustada a la edición documentada.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites qwen-omni-turbo | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites Ejemplos: system, user, assistant, tool, function Condiciones: Estos roles están representados explícitamente por los tipos de compatibilidad del código fuente; el conjunto exacto de roles depende del modelo. Depende del modelo | Predeterminado— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: role=tool; utiliza el ID real devuelto | Predeterminado— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: Devuelve en los turnos siguientes el razonamiento realmente recibido cuando este modelo lo utilice | Predeterminado— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores y límites function Depende del modelo | Predeterminado— |
Campotools[].function.name | Tipostring | RequisitoObligatorio | Valores y límites Se aplica cuando: herramienta de función proporcionada | Predeterminado— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores y límites Campo de compatibilidad | Predeterminado— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores y límites text | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options se rechaza en esta ruta de texto Ultra | Predeterminado— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores y límites Condiciones: 1h se rechaza en los campos reales de caché de instrucciones | Predeterminado— |
Texto · Texto UTF8
messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages |
Parámetromaterial_types | Contratotext |
Parámetromessages | Contratomatriz de mensajes con estructura role/content |
Parámetrofile_material | Contratodocumento real en UTF-8 insertado como texto literal; no se deduce ningún ID de archivo |
Parámetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parámetrocontrol_scope | Contratodepende del modelo; las herramientas de funciones del usuario difieren de las herramientas alojadas |
Parámetrooutput_modalities | Contratotext |
Parámetrohosted_operations | Contratofalse |
Parámetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envía el ID exacto del modelo junto con messages.
La longitud del contexto no es un límite máximo de salida.
Un archivo de texto puede aportar texto literal; las entradas de imagen, audio u objetos de archivo requieren una vinculación exacta.
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.0046 / 1K tokens Salida · Tokens de salida $0.0138 / 1K tokens Entrada · Lectura de caché $0 / 1K tokens Entrada · Escritura en caché $0 / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada alternativa y su contenido, llamadas de herramientas y razonamiento. En SSE, ensambla los fragmentos incrementales por índice de alternativa/herramienta y conserva el motivo final de terminación y el uso.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra qwen-omni-turbo
Usa las rutas de método indicadas arriba.
qwen-omni-turboQwen-Omni-Turbo combina texto, imágenes, audio y video en una tarea multimodal y puede transmitir texto en streaming con respuestas habladas. Úsalo para relacionar una pregunta hablada con evidencia visual o explicar un clip audiovisual, dentro del contexto de 32,768 tokens y el límite de salida de 2,048 tokens del fabricante.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
Descripción general: comprensión multimedia y respuestas habladas
Qwen-Omni-Turbo es el modelo de comprensión y generación multimodal de Qwen. Acepta texto, imágenes, voz y video, incluidas combinaciones de esas entradas, y produce texto o texto acompañado de voz natural. El fabricante describe la transmisión simultánea de texto y voz, con cuatro opciones de voz conversacional natural. Esto resulta pertinente para tareas en las que la pregunta y su evidencia llegan en formatos distintos, como una pregunta hablada sobre una fotografía o la explicación de una escena audiovisual.
El nombre exacto y sus ediciones
La página actual del modelo del fabricante describe qwen-omni-turbo como funcionalmente equivalente a la versión fechada qwen-omni-turbo-2025-03-26. Enumera por separado qwen-omni-turbo-latest como un nombre que se actualiza dinámicamente y distingue la versión anterior qwen-omni-turbo-2025-01-19. La versión de marzo se describe como una mejora de las capacidades visuales respecto de la de enero. Estas son las relaciones entre ediciones que establece el fabricante, no una prueba de que todas las rutas de aplicaciones con nombres similares utilicen pesos o configuraciones idénticos. Conserva el nombre de una versión fechada cuando la tarea requiera una versión exacta.
El nombre Turbo no identifica la edición independiente en tiempo real, una generación más reciente de Qwen-Omni ni el checkpoint abierto Qwen2.5-Omni-7B. Sus reglas de entrada, voces e interfaces requieren documentación propia. En particular, las cuatro opciones de voz descritas para Omni-Turbo no deben copiarse a la descripción del checkpoint abierto que cuenta con dos voces.
Preparación de una tarea multimedia
Indica qué debe relacionar el modelo entre las entradas. Para una pregunta hablada sobre un diagrama, proporciona el diagrama y la pregunta juntos y solicita una explicación del elemento visible del que se está hablando. Para un video con voz, especifica si el resultado deseado es un resumen de lo que se ve, de lo que se dice o de la relación entre ambos. Un resultado útil puede separar las observaciones visuales de las auditivas antes de presentar la conclusión.
Para una revisión multimedia, proporciona el fragmento breve relevante en lugar de varios recursos no relacionados. Etiqueta las imágenes y explica su función si hay más de una. Conserva el audio y la información temporal que sean importantes para la pregunta. Pide un resultado concreto, como una explicación hablada para quien escucha o una lista textual breve de detalles de la escena. Estos son ejemplos de aplicación propuestos a partir de las capacidades documentadas de entradas mixtas, no afirmaciones de que ya se haya analizado un clip específico.
Salida de texto y voz
La descripción del modelo del fabricante admite respuestas de texto y transmisión simultánea de texto y voz. Una explicación hablada puede ser adecuada para la asistencia conversacional, mientras que el texto es más fácil de revisar, buscar y comparar con el material de origen. El modo de salida elegido y los controles de voz dependen de la interfaz que ofrece acceso al modelo. La transmisión describe la entrega en partes sucesivas; no garantiza un tiempo de respuesta ni demuestra que esté disponible un protocolo independiente de conversación en tiempo real.
Límites de contexto y salida
La especificación dedicada indica una ventana de contexto de 32,768 tokens, una longitud máxima de entrada de 30,720 tokens y una longitud máxima de salida de 2,048 tokens. Prepara el material de origen y la respuesta deseada teniendo en cuenta esos límites por separado. La entrada multimodal debe ajustarse al presupuesto de su representación, no solo a un conteo de caracteres escritos. Una solicitud de narración extensa debe acotarse a una explicación breve que se ajuste a la capacidad de salida permitida.
Esos límites de tokens no establecen una duración universal en minutos ni una cantidad universal de imágenes. El preprocesamiento multimedia y la edición seleccionada influyen en la cantidad de material que cabe. La página del modelo no publica la arquitectura del checkpoint ni su número de parámetros, por lo que la etiqueta Turbo no debe utilizarse para inventar un tamaño ni para atribuirle la arquitectura de otro modelo Omni.
Herramientas y limitaciones sustantivas
La matriz de capacidades del modelo exacto no admite llamadas a funciones, búsqueda web integrada ni salidas estructuradas con cumplimiento obligatorio del esquema. Enumera la inferencia por lotes en algunas configuraciones del fabricante y el almacenamiento en caché del contexto en otra. Pedir una lista o una respuesta con forma de JSON es una solicitud de formato textual, no una garantía de cumplimiento de un esquema. La capacidad del modelo para comprender una tarea visual o hablada tampoco le da acceso a información actual ni a sistemas externos.
Verifica si la respuesta distingue entre la evidencia visible, el contenido audible y la interpretación. Las citas de lo dicho, las etiquetas visuales pequeñas y las relaciones inferidas deben compararse con el material proporcionado. Para un resultado hablado, conserva el texto que lo acompaña cuando esté disponible, de modo que una persona revisora pueda examinar la explicación. La ventaja práctica consiste en relacionar varias modalidades en una sola respuesta, con una salida breve ajustada a la edición documentada.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites qwen-omni-turbo | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites user, assistant | Predeterminado— |
Campomessages[].content | Tipostring | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Texto · Texto UTF-8
cadena messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages, max_tokens |
Parámetrooptional_controls | Contratostream |
Parámetromaterial_types | Contratotext |
Parámetrotext_file_material | ContratoLee el documento real en UTF-8 y coloca su texto en el campo input indicado o en la cadena de contenido del mensaje. |
Ciclo de vida: synchronous_or_streamed
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.0046 / 1K tokens Salida · Tokens de salida $0.0138 / 1K tokens Entrada · Lectura de caché $0 / 1K tokens Entrada · Escritura en caché $0 / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva todos los bloques de contenido, las firmas de razonamiento y los ID reales de uso de herramientas. Ensambla todos los fragmentos incrementales de los bloques SSE; el primer bloque de texto no constituye la salida completa.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra qwen-omni-turbo
Usa las rutas de método indicadas arriba.
Ejemplo técnico en inglés
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.