ERNIE 4.5 VL 424B-A47B è il modello di chat visivo-linguistico di Baidu, sviluppato dal corrispondente modello ERNIE 4.5 VL Base. Combina istruzioni testuali con materiale visivo e genera una risposta testuale. La rete mixture-of-experts ha 424 miliardi di parametri totali, con 47 miliardi attivati per ciascun token, e il produttore pubblica una lunghezza di contesto di 131.072 token.
Caratteristiche principali di ERNIE 4.5. La famiglia usa un'architettura mixture-of-experts eterogenea che condivide parte della conoscenza fra linguaggio e visione, preservando al tempo stesso l'elaborazione specifica per modalità. Baidu descrive preaddestramento multimodale congiunto, infrastrutture efficienti di addestramento e inferenza e post-addestramento adattato alla modalità prevista. Per il modello VL, l'attenzione è rivolta alla comprensione delle immagini, a istruzioni visive specifiche per compito e al ragionamento che collega le prove visive al linguaggio. L'addestramento comprende fine-tuning supervisionato e apprendimento per rinforzo con ricompense verificabili.
Panoramica del modello. La configurazione indica 54 livelli, 64 teste di attenzione per le query e 8 teste per chiavi/valori, con gruppi separati di esperti testuali e visivi. Ogni gruppo indica 64 esperti e 8 esperti attivati. La tabella dei modelli del produttore identifica testo, immagini e video come modalità di input per questa edizione e testo come output. Considera l'output come un'interpretazione del contenuto fornito: una descrizione, una risposta a una domanda visiva o una spiegazione ragionata di ciò che il materiale sostiene.
Comprensione delle immagini. Fornisci l'immagine originale e una domanda esplicita. Per una pagina di documento, conserva etichette, intestazioni delle colonne e testo circostante un valore controverso, poi richiedi i campi selezionati con la posizione nella pagina che li sostiene. Per un diagramma, indica se l'obiettivo è spiegarne i componenti, seguire un processo o confrontarlo con una specifica scritta. Chiedi al modello di riportare le etichette visibili prima di trarre una conclusione, così da poter esaminare le osservazioni separatamente dall'interpretazione.
Ragionamento multimodale. Quando più immagini contribuiscono allo stesso compito, etichetta i loro ruoli e spiega quali dettagli devono essere confrontati. Una richiesta utile può affiancare una fotografia di prodotto a una specifica fornita e chiedere un elenco di corrispondenze visibili, differenze e aspetti che l'immagine non può stabilire. Per materiale che si sviluppa nel tempo, identifica l'evento o il cambiamento da comprendere e richiedi una sequenza di osservazioni legate ai fotogrammi o ai segmenti forniti. Il risultato finale deve rendere facile esaminare le prove alla base di un cambiamento affermato.
Ragionamento e risposte dirette. Baidu descrive modalità con e senza ragionamento per i suoi modelli visivo-linguistici. Il ragionamento serve a compiti che richiedono analisi di informazioni visive e testuali; una risposta diretta può servire a una descrizione semplice o a una domanda visiva elementare. Indica chiaramente il risultato necessario, come una risposta concisa, una tabella di confronto o una spiegazione con osservazioni a sostegno. La selezione della modalità appartiene alla configurazione della generazione, anziché alla normale formulazione di una richiesta su un'immagine.
Prepara il materiale attorno alla domanda. Usa pagine leggibili e viste pertinenti, mantieni coerenti le etichette delle immagini e riserva nel contesto spazio per la risposta testuale richiesta. Chiedi al modello di segnalare il testo illeggibile e di separare le proprietà dedotte dai dettagli visibili. Un'immagine può mostrare un'etichetta, una forma o una disposizione, mentre la risposta richiede anche una regola o una specifica fornita. Conferma i valori estratti critici rispetto all'originale e usa una vista aggiuntiva quando le prove lasciano irrisolto un dettaglio importante.
", "aboutText": "ERNIE 4.5 VL 424B-A47B è il modello di chat visivo-linguistico di Baidu, sviluppato dal corrispondente modello ERNIE 4.5 VL Base. Combina istruzioni testuali con materiale visivo e genera una risposta testuale. La rete mixture-of-experts ha 424 miliardi di parametri totali, con 47 miliardi attivati per ciascun token, e il produttore pubblica una lunghezza di contesto di 131.072 token.\n\nCaratteristiche principali di ERNIE 4.5. La famiglia usa un'architettura mixture-of-experts eterogenea che condivide parte della conoscenza fra linguaggio e visione, preservando al tempo stesso l'elaborazione specifica per modalità. Baidu descrive preaddestramento multimodale congiunto, infrastrutture efficienti di addestramento e inferenza e post-addestramento adattato alla modalità prevista. Per il modello VL, l'attenzione è rivolta alla comprensione delle immagini, a istruzioni visive specifiche per compito e al ragionamento che collega le prove visive al linguaggio. L'addestramento comprende fine-tuning supervisionato e apprendimento per rinforzo con ricompense verificabili.\n\nPanoramica del modello. La configurazione indica 54 livelli, 64 teste di attenzione per le query e 8 teste per chiavi/valori, con gruppi separati di esperti testuali e visivi. Ogni gruppo indica 64 esperti e 8 esperti attivati. La tabella dei modelli del produttore identifica testo, immagini e video come modalità di input per questa edizione e testo come output. Considera l'output come un'interpretazione del contenuto fornito: una descrizione, una risposta a una domanda visiva o una spiegazione ragionata di ciò che il materiale sostiene.\n\nComprensione delle immagini. Fornisci l'immagine originale e una domanda esplicita. Per una pagina di documento, conserva etichette, intestazioni delle colonne e testo circostante un valore controverso, poi richiedi i campi selezionati con la posizione nella pagina che li sostiene. Per un diagramma, indica se l'obiettivo è spiegarne i componenti, seguire un processo o confrontarlo con una specifica scritta. Chiedi al modello di riportare le etichette visibili prima di trarre una conclusione, così da poter esaminare le osservazioni separatamente dall'interpretazione.\n\nRagionamento multimodale. Quando più immagini contribuiscono allo stesso compito, etichetta i loro ruoli e spiega quali dettagli devono essere confrontati. Una richiesta utile può affiancare una fotografia di prodotto a una specifica fornita e chiedere un elenco di corrispondenze visibili, differenze e aspetti che l'immagine non può stabilire. Per materiale che si sviluppa nel tempo, identifica l'evento o il cambiamento da comprendere e richiedi una sequenza di osservazioni legate ai fotogrammi o ai segmenti forniti. Il risultato finale deve rendere facile esaminare le prove alla base di un cambiamento affermato.\n\nRagionamento e risposte dirette. Baidu descrive modalità con e senza ragionamento per i suoi modelli visivo-linguistici. Il ragionamento serve a compiti che richiedono analisi di informazioni visive e testuali; una risposta diretta può servire a una descrizione semplice o a una domanda visiva elementare. Indica chiaramente il risultato necessario, come una risposta concisa, una tabella di confronto o una spiegazione con osservazioni a sostegno. La selezione della modalità appartiene alla configurazione della generazione, anziché alla normale formulazione di una richiesta su un'immagine.\n\nPrepara il materiale attorno alla domanda. Usa pagine leggibili e viste pertinenti, mantieni coerenti le etichette delle immagini e riserva nel contesto spazio per la risposta testuale richiesta. Chiedi al modello di segnalare il testo illeggibile e di separare le proprietà dedotte dai dettagli visibili. Un'immagine può mostrare un'etichetta, una forma o una disposizione, mentre la risposta richiede anche una regola o una specifica fornita. Conferma i valori estratti critici rispetto all'originale e usa una vista aggiuntiva quando le prove lasciano irrisolto un dettaglio importante.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B è il modello mixture-of-experts visivo-linguistico di Baidu per la comprensione delle immagini e il ragionamento multimodale. La configurazione pubblicata ha 424 miliardi di parametri totali, 47 miliardi attivi per token e un contesto di 131.072 token; le risposte vengono generate come testo.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
ERNIE 4.5 VL 424B-A47B è il modello di chat visivo-linguistico di Baidu, sviluppato dal corrispondente modello ERNIE 4.5 VL Base. Combina istruzioni testuali con materiale visivo e genera una risposta testuale. La rete mixture-of-experts ha 424 miliardi di parametri totali, con 47 miliardi attivati per ciascun token, e il produttore pubblica una lunghezza di contesto di 131.072 token.
Caratteristiche principali di ERNIE 4.5. La famiglia usa un'architettura mixture-of-experts eterogenea che condivide parte della conoscenza fra linguaggio e visione, preservando al tempo stesso l'elaborazione specifica per modalità. Baidu descrive preaddestramento multimodale congiunto, infrastrutture efficienti di addestramento e inferenza e post-addestramento adattato alla modalità prevista. Per il modello VL, l'attenzione è rivolta alla comprensione delle immagini, a istruzioni visive specifiche per compito e al ragionamento che collega le prove visive al linguaggio. L'addestramento comprende fine-tuning supervisionato e apprendimento per rinforzo con ricompense verificabili.
Panoramica del modello. La configurazione indica 54 livelli, 64 teste di attenzione per le query e 8 teste per chiavi/valori, con gruppi separati di esperti testuali e visivi. Ogni gruppo indica 64 esperti e 8 esperti attivati. La tabella dei modelli del produttore identifica testo, immagini e video come modalità di input per questa edizione e testo come output. Considera l'output come un'interpretazione del contenuto fornito: una descrizione, una risposta a una domanda visiva o una spiegazione ragionata di ciò che il materiale sostiene.
Comprensione delle immagini. Fornisci l'immagine originale e una domanda esplicita. Per una pagina di documento, conserva etichette, intestazioni delle colonne e testo circostante un valore controverso, poi richiedi i campi selezionati con la posizione nella pagina che li sostiene. Per un diagramma, indica se l'obiettivo è spiegarne i componenti, seguire un processo o confrontarlo con una specifica scritta. Chiedi al modello di riportare le etichette visibili prima di trarre una conclusione, così da poter esaminare le osservazioni separatamente dall'interpretazione.
Ragionamento multimodale. Quando più immagini contribuiscono allo stesso compito, etichetta i loro ruoli e spiega quali dettagli devono essere confrontati. Una richiesta utile può affiancare una fotografia di prodotto a una specifica fornita e chiedere un elenco di corrispondenze visibili, differenze e aspetti che l'immagine non può stabilire. Per materiale che si sviluppa nel tempo, identifica l'evento o il cambiamento da comprendere e richiedi una sequenza di osservazioni legate ai fotogrammi o ai segmenti forniti. Il risultato finale deve rendere facile esaminare le prove alla base di un cambiamento affermato.
Ragionamento e risposte dirette. Baidu descrive modalità con e senza ragionamento per i suoi modelli visivo-linguistici. Il ragionamento serve a compiti che richiedono analisi di informazioni visive e testuali; una risposta diretta può servire a una descrizione semplice o a una domanda visiva elementare. Indica chiaramente il risultato necessario, come una risposta concisa, una tabella di confronto o una spiegazione con osservazioni a sostegno. La selezione della modalità appartiene alla configurazione della generazione, anziché alla normale formulazione di una richiesta su un'immagine.
Prepara il materiale attorno alla domanda. Usa pagine leggibili e viste pertinenti, mantieni coerenti le etichette delle immagini e riserva nel contesto spazio per la risposta testuale richiesta. Chiedi al modello di segnalare il testo illeggibile e di separare le proprietà dedotte dai dettagli visibili. Un'immagine può mostrare un'etichetta, una forma o una disposizione, mentre la risposta richiede anche una regola o una specifica fornita. Conferma i valori estratti critici rispetto all'originale e usa una vista aggiuntiva quando le prove lasciano irrisolto un dettaglio importante.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti baidu/ernie-4.5-vl-424b-a47b | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.000858 / 1K token Output · Token in output $0.00258 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-424b-a47b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Usa i percorsi dei metodi indicati sopra.
baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B è il modello mixture-of-experts visivo-linguistico di Baidu per la comprensione delle immagini e il ragionamento multimodale. La configurazione pubblicata ha 424 miliardi di parametri totali, 47 miliardi attivi per token e un contesto di 131.072 token; le risposte vengono generate come testo.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
ERNIE 4.5 VL 424B-A47B è il modello di chat visivo-linguistico di Baidu, sviluppato dal corrispondente modello ERNIE 4.5 VL Base. Combina istruzioni testuali con materiale visivo e genera una risposta testuale. La rete mixture-of-experts ha 424 miliardi di parametri totali, con 47 miliardi attivati per ciascun token, e il produttore pubblica una lunghezza di contesto di 131.072 token.
Caratteristiche principali di ERNIE 4.5. La famiglia usa un'architettura mixture-of-experts eterogenea che condivide parte della conoscenza fra linguaggio e visione, preservando al tempo stesso l'elaborazione specifica per modalità. Baidu descrive preaddestramento multimodale congiunto, infrastrutture efficienti di addestramento e inferenza e post-addestramento adattato alla modalità prevista. Per il modello VL, l'attenzione è rivolta alla comprensione delle immagini, a istruzioni visive specifiche per compito e al ragionamento che collega le prove visive al linguaggio. L'addestramento comprende fine-tuning supervisionato e apprendimento per rinforzo con ricompense verificabili.
Panoramica del modello. La configurazione indica 54 livelli, 64 teste di attenzione per le query e 8 teste per chiavi/valori, con gruppi separati di esperti testuali e visivi. Ogni gruppo indica 64 esperti e 8 esperti attivati. La tabella dei modelli del produttore identifica testo, immagini e video come modalità di input per questa edizione e testo come output. Considera l'output come un'interpretazione del contenuto fornito: una descrizione, una risposta a una domanda visiva o una spiegazione ragionata di ciò che il materiale sostiene.
Comprensione delle immagini. Fornisci l'immagine originale e una domanda esplicita. Per una pagina di documento, conserva etichette, intestazioni delle colonne e testo circostante un valore controverso, poi richiedi i campi selezionati con la posizione nella pagina che li sostiene. Per un diagramma, indica se l'obiettivo è spiegarne i componenti, seguire un processo o confrontarlo con una specifica scritta. Chiedi al modello di riportare le etichette visibili prima di trarre una conclusione, così da poter esaminare le osservazioni separatamente dall'interpretazione.
Ragionamento multimodale. Quando più immagini contribuiscono allo stesso compito, etichetta i loro ruoli e spiega quali dettagli devono essere confrontati. Una richiesta utile può affiancare una fotografia di prodotto a una specifica fornita e chiedere un elenco di corrispondenze visibili, differenze e aspetti che l'immagine non può stabilire. Per materiale che si sviluppa nel tempo, identifica l'evento o il cambiamento da comprendere e richiedi una sequenza di osservazioni legate ai fotogrammi o ai segmenti forniti. Il risultato finale deve rendere facile esaminare le prove alla base di un cambiamento affermato.
Ragionamento e risposte dirette. Baidu descrive modalità con e senza ragionamento per i suoi modelli visivo-linguistici. Il ragionamento serve a compiti che richiedono analisi di informazioni visive e testuali; una risposta diretta può servire a una descrizione semplice o a una domanda visiva elementare. Indica chiaramente il risultato necessario, come una risposta concisa, una tabella di confronto o una spiegazione con osservazioni a sostegno. La selezione della modalità appartiene alla configurazione della generazione, anziché alla normale formulazione di una richiesta su un'immagine.
Prepara il materiale attorno alla domanda. Usa pagine leggibili e viste pertinenti, mantieni coerenti le etichette delle immagini e riserva nel contesto spazio per la risposta testuale richiesta. Chiedi al modello di segnalare il testo illeggibile e di separare le proprietà dedotte dai dettagli visibili. Un'immagine può mostrare un'etichetta, una forma o una disposizione, mentre la risposta richiede anche una regola o una specifica fornita. Conferma i valori estratti critici rispetto all'originale e usa una vista aggiuntiva quando le prove lasciano irrisolto un dettaglio importante.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti baidu/ernie-4.5-vl-424b-a47b | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
| Configurazione | Listino delle tariffe | Costo |
|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Costo Input · Token in input $0.000858 / 1K token Output · Token in output $0.00258 / 1K token Input · Lettura dalla cache $0 / 1K token Input · Scrittura nella cache $0 / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "baidu/ernie-4.5-vl-424b-a47b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.