ERNIE 4.5 VL 424B-A47B é o modelo de conversação de visão e linguagem da Baidu, desenvolvido a partir do modelo ERNIE 4.5 VL Base correspondente. Combina instruções textuais com material visual e gera uma resposta em texto. A sua rede de mistura de especialistas tem 424 mil milhões de parâmetros no total, com 47 mil milhões ativados para cada token, e o fabricante publica um comprimento de contexto de 131 072 tokens.
Destaques de ERNIE 4.5. A família utiliza uma arquitetura heterogénea de mistura de especialistas que partilha algum conhecimento entre linguagem e visão, preservando o processamento específico de cada modalidade. A Baidu descreve pré-treino multimodal conjunto, infraestrutura eficiente de treino e inferência e pós-treino adaptado à modalidade pretendida. No modelo VL, a ênfase está na compreensão de imagens, nas instruções visuais específicas de tarefas e no raciocínio que liga elementos visuais à linguagem. O seu treino inclui afinação supervisionada e aprendizagem por reforço com recompensas verificáveis.
Visão geral do modelo. A configuração indica 54 camadas, 64 cabeças de atenção para consultas e 8 cabeças de chave/valor, com grupos de especialistas separados para texto e visão. Cada grupo indica 64 especialistas e 8 especialistas ativados. A tabela de modelos do fabricante identifica texto, imagem e vídeo como modalidades de entrada para esta edição e texto como saída. Considere a saída como uma interpretação do conteúdo fornecido: uma descrição, uma resposta a uma pergunta visual ou uma explicação fundamentada do que o material sustenta.
Compreensão de imagens. Forneça a imagem original e uma pergunta explícita. Numa página de documento, conserve identificações, cabeçalhos de colunas e o texto envolvente de um valor em discussão; depois peça campos selecionados com a localização na página que os sustenta. Num diagrama, indique se o objetivo é explicar os componentes, seguir um processo ou compará-lo com uma especificação escrita. Peça ao modelo que apresente as identificações visíveis antes de tirar uma conclusão, para permitir rever as observações separadamente da interpretação.
Raciocínio multimodal. Quando várias imagens contribuírem para a mesma tarefa, identifique os seus papéis e explique os pormenores a comparar. Um pedido útil pode associar uma fotografia de produto a uma especificação fornecida e pedir uma lista de correspondências visíveis, diferenças e aspetos que a imagem não permite estabelecer. Para material temporal, identifique o acontecimento ou a mudança que pretende compreender e peça uma sequência de observações associadas aos fotogramas ou segmentos fornecidos. O resultado final deve tornar fácil examinar os elementos que sustentam uma mudança afirmada.
Respostas com raciocínio e diretas. A Baidu descreve modos com e sem raciocínio para os seus modelos de visão e linguagem. O raciocínio serve tarefas que exigem análise de informação visual e textual; uma resposta direta pode servir uma descrição simples ou uma pergunta visual simples. Enuncie claramente o resultado necessário, como uma resposta concisa, uma tabela comparativa ou uma explicação com observações de suporte. A seleção do modo pertence à configuração da geração, e não à redação comum de um pedido sobre uma imagem.
Prepare o material em torno da pergunta. Utilize páginas legíveis e vistas relevantes, mantenha consistentes as identificações das imagens e reserve espaço no contexto para a resposta textual pedida. Peça ao modelo que assinale texto ilegível e separe propriedades inferidas de pormenores visíveis. Uma imagem pode mostrar uma identificação, forma ou disposição, enquanto a resposta também precisa de uma regra ou especificação fornecida. Confirme os valores extraídos críticos face ao original e utilize uma vista adicional quando os elementos disponíveis deixarem um pormenor importante por resolver.
", "aboutText": "ERNIE 4.5 VL 424B-A47B é o modelo de conversação de visão e linguagem da Baidu, desenvolvido a partir do modelo ERNIE 4.5 VL Base correspondente. Combina instruções textuais com material visual e gera uma resposta em texto. A sua rede de mistura de especialistas tem 424 mil milhões de parâmetros no total, com 47 mil milhões ativados para cada token, e o fabricante publica um comprimento de contexto de 131 072 tokens.\n\nDestaques de ERNIE 4.5. A família utiliza uma arquitetura heterogénea de mistura de especialistas que partilha algum conhecimento entre linguagem e visão, preservando o processamento específico de cada modalidade. A Baidu descreve pré-treino multimodal conjunto, infraestrutura eficiente de treino e inferência e pós-treino adaptado à modalidade pretendida. No modelo VL, a ênfase está na compreensão de imagens, nas instruções visuais específicas de tarefas e no raciocínio que liga elementos visuais à linguagem. O seu treino inclui afinação supervisionada e aprendizagem por reforço com recompensas verificáveis.\n\nVisão geral do modelo. A configuração indica 54 camadas, 64 cabeças de atenção para consultas e 8 cabeças de chave/valor, com grupos de especialistas separados para texto e visão. Cada grupo indica 64 especialistas e 8 especialistas ativados. A tabela de modelos do fabricante identifica texto, imagem e vídeo como modalidades de entrada para esta edição e texto como saída. Considere a saída como uma interpretação do conteúdo fornecido: uma descrição, uma resposta a uma pergunta visual ou uma explicação fundamentada do que o material sustenta.\n\nCompreensão de imagens. Forneça a imagem original e uma pergunta explícita. Numa página de documento, conserve identificações, cabeçalhos de colunas e o texto envolvente de um valor em discussão; depois peça campos selecionados com a localização na página que os sustenta. Num diagrama, indique se o objetivo é explicar os componentes, seguir um processo ou compará-lo com uma especificação escrita. Peça ao modelo que apresente as identificações visíveis antes de tirar uma conclusão, para permitir rever as observações separadamente da interpretação.\n\nRaciocínio multimodal. Quando várias imagens contribuírem para a mesma tarefa, identifique os seus papéis e explique os pormenores a comparar. Um pedido útil pode associar uma fotografia de produto a uma especificação fornecida e pedir uma lista de correspondências visíveis, diferenças e aspetos que a imagem não permite estabelecer. Para material temporal, identifique o acontecimento ou a mudança que pretende compreender e peça uma sequência de observações associadas aos fotogramas ou segmentos fornecidos. O resultado final deve tornar fácil examinar os elementos que sustentam uma mudança afirmada.\n\nRespostas com raciocínio e diretas. A Baidu descreve modos com e sem raciocínio para os seus modelos de visão e linguagem. O raciocínio serve tarefas que exigem análise de informação visual e textual; uma resposta direta pode servir uma descrição simples ou uma pergunta visual simples. Enuncie claramente o resultado necessário, como uma resposta concisa, uma tabela comparativa ou uma explicação com observações de suporte. A seleção do modo pertence à configuração da geração, e não à redação comum de um pedido sobre uma imagem.\n\nPrepare o material em torno da pergunta. Utilize páginas legíveis e vistas relevantes, mantenha consistentes as identificações das imagens e reserve espaço no contexto para a resposta textual pedida. Peça ao modelo que assinale texto ilegível e separe propriedades inferidas de pormenores visíveis. Uma imagem pode mostrar uma identificação, forma ou disposição, enquanto a resposta também precisa de uma regra ou especificação fornecida. Confirme os valores extraídos críticos face ao original e utilize uma vista adicional quando os elementos disponíveis deixarem um pormenor importante por resolver.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B é o modelo de visão e linguagem de mistura de especialistas da Baidu para compreensão de imagens e raciocínio multimodal. A configuração publicada tem 424 mil milhões de parâmetros no total, 47 mil milhões ativos por token e um contexto de 131 072 tokens; as respostas são geradas em texto.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
ERNIE 4.5 VL 424B-A47B é o modelo de conversação de visão e linguagem da Baidu, desenvolvido a partir do modelo ERNIE 4.5 VL Base correspondente. Combina instruções textuais com material visual e gera uma resposta em texto. A sua rede de mistura de especialistas tem 424 mil milhões de parâmetros no total, com 47 mil milhões ativados para cada token, e o fabricante publica um comprimento de contexto de 131 072 tokens.
Destaques de ERNIE 4.5. A família utiliza uma arquitetura heterogénea de mistura de especialistas que partilha algum conhecimento entre linguagem e visão, preservando o processamento específico de cada modalidade. A Baidu descreve pré-treino multimodal conjunto, infraestrutura eficiente de treino e inferência e pós-treino adaptado à modalidade pretendida. No modelo VL, a ênfase está na compreensão de imagens, nas instruções visuais específicas de tarefas e no raciocínio que liga elementos visuais à linguagem. O seu treino inclui afinação supervisionada e aprendizagem por reforço com recompensas verificáveis.
Visão geral do modelo. A configuração indica 54 camadas, 64 cabeças de atenção para consultas e 8 cabeças de chave/valor, com grupos de especialistas separados para texto e visão. Cada grupo indica 64 especialistas e 8 especialistas ativados. A tabela de modelos do fabricante identifica texto, imagem e vídeo como modalidades de entrada para esta edição e texto como saída. Considere a saída como uma interpretação do conteúdo fornecido: uma descrição, uma resposta a uma pergunta visual ou uma explicação fundamentada do que o material sustenta.
Compreensão de imagens. Forneça a imagem original e uma pergunta explícita. Numa página de documento, conserve identificações, cabeçalhos de colunas e o texto envolvente de um valor em discussão; depois peça campos selecionados com a localização na página que os sustenta. Num diagrama, indique se o objetivo é explicar os componentes, seguir um processo ou compará-lo com uma especificação escrita. Peça ao modelo que apresente as identificações visíveis antes de tirar uma conclusão, para permitir rever as observações separadamente da interpretação.
Raciocínio multimodal. Quando várias imagens contribuírem para a mesma tarefa, identifique os seus papéis e explique os pormenores a comparar. Um pedido útil pode associar uma fotografia de produto a uma especificação fornecida e pedir uma lista de correspondências visíveis, diferenças e aspetos que a imagem não permite estabelecer. Para material temporal, identifique o acontecimento ou a mudança que pretende compreender e peça uma sequência de observações associadas aos fotogramas ou segmentos fornecidos. O resultado final deve tornar fácil examinar os elementos que sustentam uma mudança afirmada.
Respostas com raciocínio e diretas. A Baidu descreve modos com e sem raciocínio para os seus modelos de visão e linguagem. O raciocínio serve tarefas que exigem análise de informação visual e textual; uma resposta direta pode servir uma descrição simples ou uma pergunta visual simples. Enuncie claramente o resultado necessário, como uma resposta concisa, uma tabela comparativa ou uma explicação com observações de suporte. A seleção do modo pertence à configuração da geração, e não à redação comum de um pedido sobre uma imagem.
Prepare o material em torno da pergunta. Utilize páginas legíveis e vistas relevantes, mantenha consistentes as identificações das imagens e reserve espaço no contexto para a resposta textual pedida. Peça ao modelo que assinale texto ilegível e separe propriedades inferidas de pormenores visíveis. Uma imagem pode mostrar uma identificação, forma ou disposição, enquanto a resposta também precisa de uma regra ou especificação fornecida. Confirme os valores extraídos críticos face ao original e utilize uma vista adicional quando os elementos disponíveis deixarem um pormenor importante por resolver.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites baidu/ernie-4.5-vl-424b-a47b | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.000858 / 1K tokens Saída · Tokens de saída $0.00258 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-424b-a47b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Use os caminhos dos métodos indicados acima.
baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B é o modelo de visão e linguagem de mistura de especialistas da Baidu para compreensão de imagens e raciocínio multimodal. A configuração publicada tem 424 mil milhões de parâmetros no total, 47 mil milhões ativos por token e um contexto de 131 072 tokens; as respostas são geradas em texto.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
ERNIE 4.5 VL 424B-A47B é o modelo de conversação de visão e linguagem da Baidu, desenvolvido a partir do modelo ERNIE 4.5 VL Base correspondente. Combina instruções textuais com material visual e gera uma resposta em texto. A sua rede de mistura de especialistas tem 424 mil milhões de parâmetros no total, com 47 mil milhões ativados para cada token, e o fabricante publica um comprimento de contexto de 131 072 tokens.
Destaques de ERNIE 4.5. A família utiliza uma arquitetura heterogénea de mistura de especialistas que partilha algum conhecimento entre linguagem e visão, preservando o processamento específico de cada modalidade. A Baidu descreve pré-treino multimodal conjunto, infraestrutura eficiente de treino e inferência e pós-treino adaptado à modalidade pretendida. No modelo VL, a ênfase está na compreensão de imagens, nas instruções visuais específicas de tarefas e no raciocínio que liga elementos visuais à linguagem. O seu treino inclui afinação supervisionada e aprendizagem por reforço com recompensas verificáveis.
Visão geral do modelo. A configuração indica 54 camadas, 64 cabeças de atenção para consultas e 8 cabeças de chave/valor, com grupos de especialistas separados para texto e visão. Cada grupo indica 64 especialistas e 8 especialistas ativados. A tabela de modelos do fabricante identifica texto, imagem e vídeo como modalidades de entrada para esta edição e texto como saída. Considere a saída como uma interpretação do conteúdo fornecido: uma descrição, uma resposta a uma pergunta visual ou uma explicação fundamentada do que o material sustenta.
Compreensão de imagens. Forneça a imagem original e uma pergunta explícita. Numa página de documento, conserve identificações, cabeçalhos de colunas e o texto envolvente de um valor em discussão; depois peça campos selecionados com a localização na página que os sustenta. Num diagrama, indique se o objetivo é explicar os componentes, seguir um processo ou compará-lo com uma especificação escrita. Peça ao modelo que apresente as identificações visíveis antes de tirar uma conclusão, para permitir rever as observações separadamente da interpretação.
Raciocínio multimodal. Quando várias imagens contribuírem para a mesma tarefa, identifique os seus papéis e explique os pormenores a comparar. Um pedido útil pode associar uma fotografia de produto a uma especificação fornecida e pedir uma lista de correspondências visíveis, diferenças e aspetos que a imagem não permite estabelecer. Para material temporal, identifique o acontecimento ou a mudança que pretende compreender e peça uma sequência de observações associadas aos fotogramas ou segmentos fornecidos. O resultado final deve tornar fácil examinar os elementos que sustentam uma mudança afirmada.
Respostas com raciocínio e diretas. A Baidu descreve modos com e sem raciocínio para os seus modelos de visão e linguagem. O raciocínio serve tarefas que exigem análise de informação visual e textual; uma resposta direta pode servir uma descrição simples ou uma pergunta visual simples. Enuncie claramente o resultado necessário, como uma resposta concisa, uma tabela comparativa ou uma explicação com observações de suporte. A seleção do modo pertence à configuração da geração, e não à redação comum de um pedido sobre uma imagem.
Prepare o material em torno da pergunta. Utilize páginas legíveis e vistas relevantes, mantenha consistentes as identificações das imagens e reserve espaço no contexto para a resposta textual pedida. Peça ao modelo que assinale texto ilegível e separe propriedades inferidas de pormenores visíveis. Uma imagem pode mostrar uma identificação, forma ou disposição, enquanto a resposta também precisa de uma regra ou especificação fornecida. Confirme os valores extraídos críticos face ao original e utilize uma vista adicional quando os elementos disponíveis deixarem um pormenor importante por resolver.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites baidu/ernie-4.5-vl-424b-a47b | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.000858 / 1K tokens Saída · Tokens de saída $0.00258 / 1K tokens Entrada · Leitura da cache $0 / 1K tokens Entrada · Escrita na cache $0 / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "baidu/ernie-4.5-vl-424b-a47b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.