ERNIE-4.5-VL-28B-A3B es el miembro de visión y lenguaje posentrenado de la familia ERNIE 4.5 de Baidu. Sus bases combinan preentrenamiento textual y visual con una mezcla heterogénea de expertos. El enrutamiento aislado por modalidad y los objetivos equilibrados de entrenamiento favorecen la interacción entre lenguaje y visión manteniendo distintas sus representaciones. El modelo resultante acepta texto e imágenes y produce una respuesta de texto fundamentada en el material visual proporcionado. La tabla oficial de modelos de Baidu también indica vídeo junto con texto e imágenes como entradas de esta edición VL; su salida sigue siendo texto.
Su posentrenamiento enfatiza la comprensión de imágenes, la adaptación específica de tareas y el razonamiento multimodal. La familia utiliza ajuste fino supervisado y optimización basada en preferencias, mientras que esta edición VL también incorpora aprendizaje por refuerzo con recompensas verificables. Los modos con y sin pensamiento ofrecen formas distintas de procesar la tarea visual. El modo pertenece a la versión de visión y lenguaje y no sustituye al modelo de texto Thinking con nombre independiente.
La configuración tiene 28 mil millones de parámetros totales y 3 mil millones activados por token. Incluye 28 capas, 20 cabezas de consulta y cuatro cabezas de clave/valor. Las configuraciones de expertos de texto y visión indican cada una 64 expertos con seis seleccionados, junto con dos expertos compartidos. La configuración publicada del modelo establece una ventana de contexto de 131 072 tokens. La ficha alojada de Baidu, configurada por separado, describe un contexto de 32K para la misma línea VL con ese nombre, por lo que la configuración del modelo y los límites del servicio alojado siguen siendo especificaciones numéricas distintas.
Para una imagen documental, defina la información que buscar: el encabezado pertinente, una entrada de tabla, una explicación de un diagrama o una comparación de secciones visibles. Para una captura de interfaz, indique el objetivo del usuario y pida una explicación de los componentes visibles o de su relación con el requisito. Para una fotografía de producto, solicite una descripción de los objetos y las características realmente mostrados. Si varias imágenes forman una tarea, etiquete su orden y utilice los mismos criterios para que la respuesta pueda compararlas de manera coherente.
Para una tarea de visión y lenguaje, empareje el material visual con un objetivo escrito concreto. Elija el artefacto textual antes del análisis: una explicación, una tabla de características, una descripción o una lista de observaciones. Pida los detalles visibles que respalden cada conclusión y distíngalos de la interpretación. Cuando importe una etiqueta o zona pequeña, proporcione una imagen de origen legible e identifique el área de interés. Esto conecta la respuesta con el material que puede revisarse.
El ejemplo de uso de Baidu combina texto con una imagen y selecciona el modo sin pensamiento en el procesador. El proveedor distribuye formatos de pesos distintos para los marcos de ejecución y publica la colección ERNIE 4.5 bajo Apache 2.0. La identidad VL-28B-A3B conserva su finalidad de visión y lenguaje, sus modos y su configuración por separado de las versiones ERNIE exclusivamente de texto. La ficha del modelo verificada no establece un límite máximo independiente de tokens de salida ni un límite nativo de duración de vídeo.
", "aboutText": "ERNIE-4.5-VL-28B-A3B es el miembro de visión y lenguaje posentrenado de la familia ERNIE 4.5 de Baidu. Sus bases combinan preentrenamiento textual y visual con una mezcla heterogénea de expertos. El enrutamiento aislado por modalidad y los objetivos equilibrados de entrenamiento favorecen la interacción entre lenguaje y visión manteniendo distintas sus representaciones. El modelo resultante acepta texto e imágenes y produce una respuesta de texto fundamentada en el material visual proporcionado. La tabla oficial de modelos de Baidu también indica vídeo junto con texto e imágenes como entradas de esta edición VL; su salida sigue siendo texto.\n\nSu posentrenamiento enfatiza la comprensión de imágenes, la adaptación específica de tareas y el razonamiento multimodal. La familia utiliza ajuste fino supervisado y optimización basada en preferencias, mientras que esta edición VL también incorpora aprendizaje por refuerzo con recompensas verificables. Los modos con y sin pensamiento ofrecen formas distintas de procesar la tarea visual. El modo pertenece a la versión de visión y lenguaje y no sustituye al modelo de texto Thinking con nombre independiente.\n\nLa configuración tiene 28 mil millones de parámetros totales y 3 mil millones activados por token. Incluye 28 capas, 20 cabezas de consulta y cuatro cabezas de clave/valor. Las configuraciones de expertos de texto y visión indican cada una 64 expertos con seis seleccionados, junto con dos expertos compartidos. La configuración publicada del modelo establece una ventana de contexto de 131 072 tokens. La ficha alojada de Baidu, configurada por separado, describe un contexto de 32K para la misma línea VL con ese nombre, por lo que la configuración del modelo y los límites del servicio alojado siguen siendo especificaciones numéricas distintas.\n\nPara una imagen documental, defina la información que buscar: el encabezado pertinente, una entrada de tabla, una explicación de un diagrama o una comparación de secciones visibles. Para una captura de interfaz, indique el objetivo del usuario y pida una explicación de los componentes visibles o de su relación con el requisito. Para una fotografía de producto, solicite una descripción de los objetos y las características realmente mostrados. Si varias imágenes forman una tarea, etiquete su orden y utilice los mismos criterios para que la respuesta pueda compararlas de manera coherente.\n\nPara una tarea de visión y lenguaje, empareje el material visual con un objetivo escrito concreto. Elija el artefacto textual antes del análisis: una explicación, una tabla de características, una descripción o una lista de observaciones. Pida los detalles visibles que respalden cada conclusión y distíngalos de la interpretación. Cuando importe una etiqueta o zona pequeña, proporcione una imagen de origen legible e identifique el área de interés. Esto conecta la respuesta con el material que puede revisarse.\n\nEl ejemplo de uso de Baidu combina texto con una imagen y selecciona el modo sin pensamiento en el procesador. El proveedor distribuye formatos de pesos distintos para los marcos de ejecución y publica la colección ERNIE 4.5 bajo Apache 2.0. La identidad VL-28B-A3B conserva su finalidad de visión y lenguaje, sus modos y su configuración por separado de las versiones ERNIE exclusivamente de texto. La ficha del modelo verificada no establece un límite máximo independiente de tokens de salida ni un límite nativo de duración de vídeo.", "editorialOverlay": { "copy_fields": { "practical_html": "Ejemplo técnico en inglés
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.baidu/ernie-4.5-vl-28b-a3bEl modelo de visión y lenguaje ERNIE 4.5 de Baidu conecta preguntas de texto con contenido de imágenes y devuelve texto. Utiliza una mezcla de expertos de 28B/3B y admite modos con y sin pensamiento, con límites de contexto específicos de la edición para el modelo y el servicio alojado.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
ERNIE-4.5-VL-28B-A3B es el miembro de visión y lenguaje posentrenado de la familia ERNIE 4.5 de Baidu. Sus bases combinan preentrenamiento textual y visual con una mezcla heterogénea de expertos. El enrutamiento aislado por modalidad y los objetivos equilibrados de entrenamiento favorecen la interacción entre lenguaje y visión manteniendo distintas sus representaciones. El modelo resultante acepta texto e imágenes y produce una respuesta de texto fundamentada en el material visual proporcionado. La tabla oficial de modelos de Baidu también indica vídeo junto con texto e imágenes como entradas de esta edición VL; su salida sigue siendo texto.
Su posentrenamiento enfatiza la comprensión de imágenes, la adaptación específica de tareas y el razonamiento multimodal. La familia utiliza ajuste fino supervisado y optimización basada en preferencias, mientras que esta edición VL también incorpora aprendizaje por refuerzo con recompensas verificables. Los modos con y sin pensamiento ofrecen formas distintas de procesar la tarea visual. El modo pertenece a la versión de visión y lenguaje y no sustituye al modelo de texto Thinking con nombre independiente.
La configuración tiene 28 mil millones de parámetros totales y 3 mil millones activados por token. Incluye 28 capas, 20 cabezas de consulta y cuatro cabezas de clave/valor. Las configuraciones de expertos de texto y visión indican cada una 64 expertos con seis seleccionados, junto con dos expertos compartidos. La configuración publicada del modelo establece una ventana de contexto de 131 072 tokens. La ficha alojada de Baidu, configurada por separado, describe un contexto de 32K para la misma línea VL con ese nombre, por lo que la configuración del modelo y los límites del servicio alojado siguen siendo especificaciones numéricas distintas.
Para una imagen documental, defina la información que buscar: el encabezado pertinente, una entrada de tabla, una explicación de un diagrama o una comparación de secciones visibles. Para una captura de interfaz, indique el objetivo del usuario y pida una explicación de los componentes visibles o de su relación con el requisito. Para una fotografía de producto, solicite una descripción de los objetos y las características realmente mostrados. Si varias imágenes forman una tarea, etiquete su orden y utilice los mismos criterios para que la respuesta pueda compararlas de manera coherente.
Para una tarea de visión y lenguaje, empareje el material visual con un objetivo escrito concreto. Elija el artefacto textual antes del análisis: una explicación, una tabla de características, una descripción o una lista de observaciones. Pida los detalles visibles que respalden cada conclusión y distíngalos de la interpretación. Cuando importe una etiqueta o zona pequeña, proporcione una imagen de origen legible e identifique el área de interés. Esto conecta la respuesta con el material que puede revisarse.
El ejemplo de uso de Baidu combina texto con una imagen y selecciona el modo sin pensamiento en el procesador. El proveedor distribuye formatos de pesos distintos para los marcos de ejecución y publica la colección ERNIE 4.5 bajo Apache 2.0. La identidad VL-28B-A3B conserva su finalidad de visión y lenguaje, sus modos y su configuración por separado de las versiones ERNIE exclusivamente de texto. La ficha del modelo verificada no establece un límite máximo independiente de tokens de salida ni un límite nativo de duración de vídeo.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites baidu/ernie-4.5-vl-28b-a3b | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites Ejemplos: system, user, assistant, tool, function Condiciones: Estos roles están representados explícitamente por los tipos de compatibilidad del código fuente; el conjunto exacto de roles depende del modelo. Depende del modelo | Predeterminado— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: role=tool; utiliza el ID real devuelto | Predeterminado— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: Devuelve en los turnos siguientes el razonamiento realmente recibido cuando este modelo lo utilice | Predeterminado— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores y límites function Depende del modelo | Predeterminado— |
Campotools[].function.name | Tipostring | RequisitoObligatorio | Valores y límites Se aplica cuando: herramienta de función proporcionada | Predeterminado— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores y límites Campo de compatibilidad | Predeterminado— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores y límites text | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options se rechaza en esta ruta de texto Ultra | Predeterminado— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores y límites Condiciones: 1h se rechaza en los campos reales de caché de instrucciones | Predeterminado— |
Texto · Texto UTF8
messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages |
Parámetromaterial_types | Contratotext |
Parámetromessages | Contratomatriz de mensajes con estructura role/content |
Parámetrofile_material | Contratodocumento real en UTF-8 insertado como texto literal; no se deduce ningún ID de archivo |
Parámetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parámetrocontrol_scope | Contratodepende del modelo; las herramientas de funciones del usuario difieren de las herramientas alojadas |
Parámetrooutput_modalities | Contratotext |
Parámetrohosted_operations | Contratofalse |
Parámetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envía el ID exacto del modelo junto con messages.
La longitud del contexto no es un límite máximo de salida.
Un archivo de texto puede aportar texto literal; las entradas de imagen, audio u objetos de archivo requieren una vinculación exacta.
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.000286 / 1K tokens Salida · Tokens de salida $0.001144 / 1K tokens Entrada · Lectura de caché $0 / 1K tokens Entrada · Escritura en caché $0 / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un importe estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-28b-a3b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada alternativa y su contenido, llamadas de herramientas y razonamiento. En SSE, ensambla los fragmentos incrementales por índice de alternativa/herramienta y conserva el motivo final de terminación y el uso.
Conserva los ID de solicitud y respuesta y las cabeceras. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Usa las rutas de método indicadas arriba.
baidu/ernie-4.5-vl-28b-a3bEl modelo de visión y lenguaje ERNIE 4.5 de Baidu conecta preguntas de texto con contenido de imágenes y devuelve texto. Utiliza una mezcla de expertos de 28B/3B y admite modos con y sin pensamiento, con límites de contexto específicos de la edición para el modelo y el servicio alojado.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
ERNIE-4.5-VL-28B-A3B es el miembro de visión y lenguaje posentrenado de la familia ERNIE 4.5 de Baidu. Sus bases combinan preentrenamiento textual y visual con una mezcla heterogénea de expertos. El enrutamiento aislado por modalidad y los objetivos equilibrados de entrenamiento favorecen la interacción entre lenguaje y visión manteniendo distintas sus representaciones. El modelo resultante acepta texto e imágenes y produce una respuesta de texto fundamentada en el material visual proporcionado. La tabla oficial de modelos de Baidu también indica vídeo junto con texto e imágenes como entradas de esta edición VL; su salida sigue siendo texto.
Su posentrenamiento enfatiza la comprensión de imágenes, la adaptación específica de tareas y el razonamiento multimodal. La familia utiliza ajuste fino supervisado y optimización basada en preferencias, mientras que esta edición VL también incorpora aprendizaje por refuerzo con recompensas verificables. Los modos con y sin pensamiento ofrecen formas distintas de procesar la tarea visual. El modo pertenece a la versión de visión y lenguaje y no sustituye al modelo de texto Thinking con nombre independiente.
La configuración tiene 28 mil millones de parámetros totales y 3 mil millones activados por token. Incluye 28 capas, 20 cabezas de consulta y cuatro cabezas de clave/valor. Las configuraciones de expertos de texto y visión indican cada una 64 expertos con seis seleccionados, junto con dos expertos compartidos. La configuración publicada del modelo establece una ventana de contexto de 131 072 tokens. La ficha alojada de Baidu, configurada por separado, describe un contexto de 32K para la misma línea VL con ese nombre, por lo que la configuración del modelo y los límites del servicio alojado siguen siendo especificaciones numéricas distintas.
Para una imagen documental, defina la información que buscar: el encabezado pertinente, una entrada de tabla, una explicación de un diagrama o una comparación de secciones visibles. Para una captura de interfaz, indique el objetivo del usuario y pida una explicación de los componentes visibles o de su relación con el requisito. Para una fotografía de producto, solicite una descripción de los objetos y las características realmente mostrados. Si varias imágenes forman una tarea, etiquete su orden y utilice los mismos criterios para que la respuesta pueda compararlas de manera coherente.
Para una tarea de visión y lenguaje, empareje el material visual con un objetivo escrito concreto. Elija el artefacto textual antes del análisis: una explicación, una tabla de características, una descripción o una lista de observaciones. Pida los detalles visibles que respalden cada conclusión y distíngalos de la interpretación. Cuando importe una etiqueta o zona pequeña, proporcione una imagen de origen legible e identifique el área de interés. Esto conecta la respuesta con el material que puede revisarse.
El ejemplo de uso de Baidu combina texto con una imagen y selecciona el modo sin pensamiento en el procesador. El proveedor distribuye formatos de pesos distintos para los marcos de ejecución y publica la colección ERNIE 4.5 bajo Apache 2.0. La identidad VL-28B-A3B conserva su finalidad de visión y lenguaje, sus modos y su configuración por separado de las versiones ERNIE exclusivamente de texto. La ficha del modelo verificada no establece un límite máximo independiente de tokens de salida ni un límite nativo de duración de vídeo.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites baidu/ernie-4.5-vl-28b-a3b | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites user, assistant | Predeterminado— |
Campomessages[].content | Tipostring | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Texto · Texto UTF-8
cadena messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages, max_tokens |
Parámetrooptional_controls | Contratostream |
Parámetromaterial_types | Contratotext |
Parámetrotext_file_material | ContratoLee el documento real en UTF-8 y coloca su texto en el campo input indicado o en la cadena de contenido del mensaje. |
Ciclo de vida: synchronous_or_streamed
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
| Configuración | Tabla de tarifas | Cargo |
|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Cargo Entrada · Tokens de entrada $0.000286 / 1K tokens Salida · Tokens de salida $0.001144 / 1K tokens Entrada · Lectura de caché $0 / 1K tokens Entrada · Escritura en caché $0 / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un importe estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
{\n "model": "baidu/ernie-4.5-vl-28b-a3b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva todos los bloques de contenido, las firmas de razonamiento y los ID reales de uso de herramientas. Ensambla todos los fragmentos incrementales de los bloques SSE; el primer bloque de texto no constituye la salida completa.
Conserva los ID de solicitud y respuesta y las cabeceras. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Usa las rutas de método indicadas arriba.
Ejemplo técnico en inglés
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.