Az ERNIE-4.5-VL-28B-A3B a Baidu ERNIE 4.5 családjának utótanított képi-nyelvi tagja. Alapjai a szöveges és vizuális előtanítást heterogén szakértőkeverékkel kapcsolják össze. A modalitásonként elkülönített útválasztás és a kiegyensúlyozott tanítási célok támogatják a nyelv és a látás kölcsönhatását, miközben külön tartják reprezentációikat. Az így kapott modell szöveget és képeket fogad, és a megadott vizuális anyagra alapozott szöveges választ készít. A Baidu hivatalos modelltáblázata a szöveg- és képbemenet mellett videót is felsorol ennél a VL kiadásnál; kimenete továbbra is szöveg.
Utótanítása a képértelmezésre, a feladatspecifikus alkalmazkodásra és a multimodális következtetésre helyezi a hangsúlyt. A család felügyelt finomhangolást és preferenciaalapú optimalizálást használ, ez a VL kiadás pedig ellenőrizhető jutalmakkal végzett megerősítéses tanulást is alkalmaz. A következtető és következtetés nélküli módok különböző lehetőségeket adnak a vizuális feladat feldolgozására. A mód a képi-nyelvi kiadáshoz tartozik, és nem helyettesíti a külön névvel rendelkező szöveges Thinking modellt.
A konfiguráció 28 milliárd összes és tokenenként 3 milliárd aktivált paramétert tartalmaz. 28 rétegből, 20 lekérdezési fejből és négy kulcs/érték fejből áll. A szöveges és vizuális szakértőkonfiguráció egyaránt 64 szakértőt sorol fel, amelyekből hatot választ ki, két megosztott szakértő mellett. A közzétett modellkonfiguráció 131 072 tokenes kontextusablakot ad meg. A Baidu külön konfigurált hosztolt bejegyzése 32K kontextust ír le az azonos nevű VL modellvonalhoz, így a modellkonfiguráció és a hosztolt szolgáltatás korlátai különálló számszerű specifikációk maradnak.
Dokumentumképnél határozza meg a keresett információt: a vonatkozó címet, táblázatbejegyzést, ábra magyarázatát vagy a látható szakaszok összehasonlítását. Interfész-képernyőképnél adja meg a felhasználó célját, és kérje a látható összetevők vagy a követelményhez való kapcsolatuk magyarázatát. Termékfotónál a ténylegesen megjelenített tárgyak és jellemzők leírását kérje. Ha több kép alkot egy feladatot, jelölje a sorrendjüket, és alkalmazzon azonos szempontokat, hogy a válasz következetesen össze tudja hasonlítani őket.
Képi-nyelvi feladatnál párosítsa a vizuális anyagot egy konkrét írott céllal. Az elemzés előtt válassza ki a szöveges eredményterméket: magyarázatot, jellemzőtáblázatot, leírást vagy megfigyeléslistát. Kérje az egyes következtetéseket alátámasztó látható részleteket, és különítse el azokat az értelmezéstől. Ha egy kis felirat vagy régió számít, adjon olvasható forrásképet, és jelölje meg az érdekes területet. Ez a választ felülvizsgálható anyaghoz kapcsolja.
A Baidu használati példája szöveget és képet kapcsol össze, és a processzorban a következtetés nélküli módot választja ki. A gyártó különböző végrehajtási keretrendszerekhez eltérő súlyformátumokat terjeszt, és az ERNIE 4.5 gyűjteményt Apache 2.0 alatt adja ki. A VL-28B-A3B identitás megőrzi képi-nyelvi célját, módjait és konfigurációját, elkülönülve a kizárólag szöveges ERNIE-kiadásoktól. Az ellenőrzött modellkártya külön maximális kimeneti tokenkorlátot és natív videóhossz-korlátot nem állapít meg.
", "aboutText": "Az ERNIE-4.5-VL-28B-A3B a Baidu ERNIE 4.5 családjának utótanított képi-nyelvi tagja. Alapjai a szöveges és vizuális előtanítást heterogén szakértőkeverékkel kapcsolják össze. A modalitásonként elkülönített útválasztás és a kiegyensúlyozott tanítási célok támogatják a nyelv és a látás kölcsönhatását, miközben külön tartják reprezentációikat. Az így kapott modell szöveget és képeket fogad, és a megadott vizuális anyagra alapozott szöveges választ készít. A Baidu hivatalos modelltáblázata a szöveg- és képbemenet mellett videót is felsorol ennél a VL kiadásnál; kimenete továbbra is szöveg.\n\nUtótanítása a képértelmezésre, a feladatspecifikus alkalmazkodásra és a multimodális következtetésre helyezi a hangsúlyt. A család felügyelt finomhangolást és preferenciaalapú optimalizálást használ, ez a VL kiadás pedig ellenőrizhető jutalmakkal végzett megerősítéses tanulást is alkalmaz. A következtető és következtetés nélküli módok különböző lehetőségeket adnak a vizuális feladat feldolgozására. A mód a képi-nyelvi kiadáshoz tartozik, és nem helyettesíti a külön névvel rendelkező szöveges Thinking modellt.\n\nA konfiguráció 28 milliárd összes és tokenenként 3 milliárd aktivált paramétert tartalmaz. 28 rétegből, 20 lekérdezési fejből és négy kulcs/érték fejből áll. A szöveges és vizuális szakértőkonfiguráció egyaránt 64 szakértőt sorol fel, amelyekből hatot választ ki, két megosztott szakértő mellett. A közzétett modellkonfiguráció 131 072 tokenes kontextusablakot ad meg. A Baidu külön konfigurált hosztolt bejegyzése 32K kontextust ír le az azonos nevű VL modellvonalhoz, így a modellkonfiguráció és a hosztolt szolgáltatás korlátai különálló számszerű specifikációk maradnak.\n\nDokumentumképnél határozza meg a keresett információt: a vonatkozó címet, táblázatbejegyzést, ábra magyarázatát vagy a látható szakaszok összehasonlítását. Interfész-képernyőképnél adja meg a felhasználó célját, és kérje a látható összetevők vagy a követelményhez való kapcsolatuk magyarázatát. Termékfotónál a ténylegesen megjelenített tárgyak és jellemzők leírását kérje. Ha több kép alkot egy feladatot, jelölje a sorrendjüket, és alkalmazzon azonos szempontokat, hogy a válasz következetesen össze tudja hasonlítani őket.\n\nKépi-nyelvi feladatnál párosítsa a vizuális anyagot egy konkrét írott céllal. Az elemzés előtt válassza ki a szöveges eredményterméket: magyarázatot, jellemzőtáblázatot, leírást vagy megfigyeléslistát. Kérje az egyes következtetéseket alátámasztó látható részleteket, és különítse el azokat az értelmezéstől. Ha egy kis felirat vagy régió számít, adjon olvasható forrásképet, és jelölje meg az érdekes területet. Ez a választ felülvizsgálható anyaghoz kapcsolja.\n\nA Baidu használati példája szöveget és képet kapcsol össze, és a processzorban a következtetés nélküli módot választja ki. A gyártó különböző végrehajtási keretrendszerekhez eltérő súlyformátumokat terjeszt, és az ERNIE 4.5 gyűjteményt Apache 2.0 alatt adja ki. A VL-28B-A3B identitás megőrzi képi-nyelvi célját, módjait és konfigurációját, elkülönülve a kizárólag szöveges ERNIE-kiadásoktól. Az ellenőrzött modellkártya külön maximális kimeneti tokenkorlátot és natív videóhossz-korlátot nem állapít meg.", "editorialOverlay": { "copy_fields": { "practical_html": "Technikai példa angolul
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.baidu/ernie-4.5-vl-28b-a3bA Baidu ERNIE 4.5 képi-nyelvi modellje szöveges kérdéseket kapcsol össze képtartalommal, és szöveget ad vissza. 28B/3B szakértőkeverékes felépítést használ, és következtető, valamint következtetés nélküli módokat támogat, kiadásspecifikus modell- és hosztolt szolgáltatási kontextuskorlátokkal.
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
Az ERNIE-4.5-VL-28B-A3B a Baidu ERNIE 4.5 családjának utótanított képi-nyelvi tagja. Alapjai a szöveges és vizuális előtanítást heterogén szakértőkeverékkel kapcsolják össze. A modalitásonként elkülönített útválasztás és a kiegyensúlyozott tanítási célok támogatják a nyelv és a látás kölcsönhatását, miközben külön tartják reprezentációikat. Az így kapott modell szöveget és képeket fogad, és a megadott vizuális anyagra alapozott szöveges választ készít. A Baidu hivatalos modelltáblázata a szöveg- és képbemenet mellett videót is felsorol ennél a VL kiadásnál; kimenete továbbra is szöveg.
Utótanítása a képértelmezésre, a feladatspecifikus alkalmazkodásra és a multimodális következtetésre helyezi a hangsúlyt. A család felügyelt finomhangolást és preferenciaalapú optimalizálást használ, ez a VL kiadás pedig ellenőrizhető jutalmakkal végzett megerősítéses tanulást is alkalmaz. A következtető és következtetés nélküli módok különböző lehetőségeket adnak a vizuális feladat feldolgozására. A mód a képi-nyelvi kiadáshoz tartozik, és nem helyettesíti a külön névvel rendelkező szöveges Thinking modellt.
A konfiguráció 28 milliárd összes és tokenenként 3 milliárd aktivált paramétert tartalmaz. 28 rétegből, 20 lekérdezési fejből és négy kulcs/érték fejből áll. A szöveges és vizuális szakértőkonfiguráció egyaránt 64 szakértőt sorol fel, amelyekből hatot választ ki, két megosztott szakértő mellett. A közzétett modellkonfiguráció 131 072 tokenes kontextusablakot ad meg. A Baidu külön konfigurált hosztolt bejegyzése 32K kontextust ír le az azonos nevű VL modellvonalhoz, így a modellkonfiguráció és a hosztolt szolgáltatás korlátai különálló számszerű specifikációk maradnak.
Dokumentumképnél határozza meg a keresett információt: a vonatkozó címet, táblázatbejegyzést, ábra magyarázatát vagy a látható szakaszok összehasonlítását. Interfész-képernyőképnél adja meg a felhasználó célját, és kérje a látható összetevők vagy a követelményhez való kapcsolatuk magyarázatát. Termékfotónál a ténylegesen megjelenített tárgyak és jellemzők leírását kérje. Ha több kép alkot egy feladatot, jelölje a sorrendjüket, és alkalmazzon azonos szempontokat, hogy a válasz következetesen össze tudja hasonlítani őket.
Képi-nyelvi feladatnál párosítsa a vizuális anyagot egy konkrét írott céllal. Az elemzés előtt válassza ki a szöveges eredményterméket: magyarázatot, jellemzőtáblázatot, leírást vagy megfigyeléslistát. Kérje az egyes következtetéseket alátámasztó látható részleteket, és különítse el azokat az értelmezéstől. Ha egy kis felirat vagy régió számít, adjon olvasható forrásképet, és jelölje meg az érdekes területet. Ez a választ felülvizsgálható anyaghoz kapcsolja.
A Baidu használati példája szöveget és képet kapcsol össze, és a processzorban a következtetés nélküli módot választja ki. A gyártó különböző végrehajtási keretrendszerekhez eltérő súlyformátumokat terjeszt, és az ERNIE 4.5 gyűjteményt Apache 2.0 alatt adja ki. A VL-28B-A3B identitás megőrzi képi-nyelvi célját, módjait és konfigurációját, elkülönülve a kizárólag szöveges ERNIE-kiadásoktól. Az ellenőrzött modellkártya külön maximális kimeneti tokenkorlátot és natív videóhossz-korlátot nem állapít meg.
POST /v1/chat/completionstexttext| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok baidu/ernie-4.5-vl-28b-a3b | Alapértelmezett— |
Mezőmessages | Típusmessage[] | KövetelményKötelező | Értékek és korlátok Minimális elemszám: 1 | Alapértelmezett— |
Mezőmessages[].role | Típusstring | KövetelményKötelező | Értékek és korlátok Példák: system, user, assistant, tool, function Feltételek: Ezeket a szerepeket a forráskód kompatibilitási típusai kifejezetten reprezentálják; a pontos szerepkészlet továbbra is modellspecifikus. Modelltől függ | Alapértelmezett— |
Mezőmessages[].content | Típusstring|content_part[]|null | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőmessages[].tool_calls | Típustool_call[] | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőmessages[].tool_call_id | Típusstring | KövetelményOpcionális | Értékek és korlátok Akkor alkalmazandó, ha: role=tool; használja a ténylegesen visszaadott ID-t | Alapértelmezett— |
Mezőmessages[].name | Típusstring | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőmessages[].reasoning_content | Típusstring | KövetelményOpcionális | Értékek és korlátok Akkor alkalmazandó, ha: Küldje vissza a ténylegesen visszaadott gondolkodási tartalmat, ha ez a modell használja | Alapértelmezett— |
Mezőmessages[].reasoning_details | Típusobject|array | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőmax_tokens | Típusinteger | KövetelményOpcionális | Értékek és korlátok Minimum: 1 Modelltől függ | Alapértelmezett— |
Mezőmax_completion_tokens | Típusinteger | KövetelményOpcionális | Értékek és korlátok Minimum: 1 Modelltől függ | Alapértelmezett— |
Mezőstream | Típusboolean | KövetelményOpcionális | Értékek és korlátok | Alapértelmezettfalse |
Mezőstream_options.include_usage | Típusboolean | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőtemperature | Típusnumber | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőtop_p | Típusnumber | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőstop | Típusstring|string[] | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőtools | Típusfunction_tool[] | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőtools[].type | Típusstring | KövetelményOpcionális | Értékek és korlátok function Modelltől függ | Alapértelmezett— |
Mezőtools[].function.name | Típusstring | KövetelményKötelező | Értékek és korlátok Akkor alkalmazandó, ha: Függvényeszköz megadva | Alapértelmezett— |
Mezőtools[].function.description | Típusstring | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőtools[].function.parameters | TípusJSON_schema | KövetelményOpcionális | Értékek és korlátok | Alapértelmezett— |
Mezőtool_choice | Típusstring|object | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőparallel_tool_calls | Típusboolean | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőresponse_format | Típusobject | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőreasoning_effort | Típusstring | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőreasoning | Típusobject | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőservice_tier | Típusstring | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőinstructions | Típusstring | KövetelményOpcionális | Értékek és korlátok Kompatibilitási mező | Alapértelmezett— |
Mezőfunctions | Típusfunction[] | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőfunction_call | Típusstring|object | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőprompt_cache_options | Típusobject | KövetelményOpcionális | Értékek és korlátok Modelltől függ | Alapértelmezett— |
Mezőmodalities | Típusstring[] | KövetelményOpcionális | Értékek és korlátok text | Alapértelmezett— |
Mezőprovider | Típusobject | KövetelményOpcionális | Értékek és korlátok Feltételek: A provider.options elutasításra kerül ezen az Ultra szöveges útvonalon | Alapértelmezett— |
Mezőcache_control.ttl | Típusstring | KövetelményOpcionális | Értékek és korlátok Feltételek: Az 1h elutasításra kerül a tényleges prompt-gyorsítótárazási helyeken | Alapértelmezett— |
Szöveg · UTF8 szöveg
messages[].content
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, messages |
Paramétermaterial_types | Szerződéstext |
Paramétermessages | Szerződésüzenettömb role/content szerkezettel |
Paraméterfile_material | Szerződésa tényleges UTF-8 dokumentum szó szerinti szövegként beillesztve; nincs kikövetkeztetett fájlazonosító |
Paraméteroptional_controls | Szerződésstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramétercontrol_scope | Szerződésmodellspecifikus; a felhasználói függvényeszközök eltérnek a hosztolt eszközöktől |
Paraméteroutput_modalities | Szerződéstext |
Paraméterhosted_operations | Szerződésfalse |
Paramétermultimodal_input_binding | Szerződésnull |
Életciklus: synchronous_or_streamed
Küldje el a pontos modellazonosítót a messages mellett.
A kontextushossz nem kimeneti felső korlát.
Egy szövegfájl szó szerinti szöveget adhat meg; a kép-/hang-/fájlobjektum-bemenetek pontos hozzárendelést igényelnek.
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
| Beállítás | Díjtáblázat | Díj |
|---|---|---|
| BeállításTokenenkénti alapárak | DíjtáblázatAlapdíj | Díj Bemenet · Bemeneti tokenek $0.000286 / 1K token Kimenet · Kimeneti tokenek $0.001144 / 1K token Bemenet · Gyorsítótár olvasása $0 / 1K token Bemenet · Írás a gyorsítótárba $0 / 1K token Bemenet · Írás a gyorsítótárba, 1 óra — / 1K token |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-28b-a3b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson vagy SSE
Őrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizze meg az összes válaszváltozatot és azok tartalmát/eszközhívásait/gondolkodási tartalmát. SSE esetén válaszváltozat- és eszközindex szerint állítsa össze a részleges frissítéseket, és tartsa meg a végső befejezési okot és a használati adatokat.
Őrizze meg a kérés-/válaszazonosítókat és a fejléceket. Nincs megadva általános URL a szöveges feladatok lekéréséhez.
| Mező | Típus |
|---|---|
Mezőchoices[].index | Típusinteger |
Mezőchoices[].message.content | Típusstring|null |
Mezőchoices[].message.tool_calls | Típustool_call[] |
Mezőchoices[].message.reasoning_content | Típusstring |
Mezőchoices[].message.reasoning_details | Típusobject|array |
Mezőchoices[].finish_reason | Típusstring|null |
Mezőusage | Típusobject |
| Válasz | Feltétel | Következő lépés |
|---|---|---|
Válasz400 · invalid_request_error | FeltételÉrvénytelen kötelező mezők, az anyag érvénytelen reprezentációja vagy érvénytelen paraméterérték | Következő lépésJavítsa a jelzett mezőket egy új létrehozási kérés előtt. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Használja a fent látható metódusútvonalakat.
baidu/ernie-4.5-vl-28b-a3bA Baidu ERNIE 4.5 képi-nyelvi modellje szöveges kérdéseket kapcsol össze képtartalommal, és szöveget ad vissza. 28B/3B szakértőkeverékes felépítést használ, és következtető, valamint következtetés nélküli módokat támogat, kiadásspecifikus modell- és hosztolt szolgáltatási kontextuskorlátokkal.
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
Az ERNIE-4.5-VL-28B-A3B a Baidu ERNIE 4.5 családjának utótanított képi-nyelvi tagja. Alapjai a szöveges és vizuális előtanítást heterogén szakértőkeverékkel kapcsolják össze. A modalitásonként elkülönített útválasztás és a kiegyensúlyozott tanítási célok támogatják a nyelv és a látás kölcsönhatását, miközben külön tartják reprezentációikat. Az így kapott modell szöveget és képeket fogad, és a megadott vizuális anyagra alapozott szöveges választ készít. A Baidu hivatalos modelltáblázata a szöveg- és képbemenet mellett videót is felsorol ennél a VL kiadásnál; kimenete továbbra is szöveg.
Utótanítása a képértelmezésre, a feladatspecifikus alkalmazkodásra és a multimodális következtetésre helyezi a hangsúlyt. A család felügyelt finomhangolást és preferenciaalapú optimalizálást használ, ez a VL kiadás pedig ellenőrizhető jutalmakkal végzett megerősítéses tanulást is alkalmaz. A következtető és következtetés nélküli módok különböző lehetőségeket adnak a vizuális feladat feldolgozására. A mód a képi-nyelvi kiadáshoz tartozik, és nem helyettesíti a külön névvel rendelkező szöveges Thinking modellt.
A konfiguráció 28 milliárd összes és tokenenként 3 milliárd aktivált paramétert tartalmaz. 28 rétegből, 20 lekérdezési fejből és négy kulcs/érték fejből áll. A szöveges és vizuális szakértőkonfiguráció egyaránt 64 szakértőt sorol fel, amelyekből hatot választ ki, két megosztott szakértő mellett. A közzétett modellkonfiguráció 131 072 tokenes kontextusablakot ad meg. A Baidu külön konfigurált hosztolt bejegyzése 32K kontextust ír le az azonos nevű VL modellvonalhoz, így a modellkonfiguráció és a hosztolt szolgáltatás korlátai különálló számszerű specifikációk maradnak.
Dokumentumképnél határozza meg a keresett információt: a vonatkozó címet, táblázatbejegyzést, ábra magyarázatát vagy a látható szakaszok összehasonlítását. Interfész-képernyőképnél adja meg a felhasználó célját, és kérje a látható összetevők vagy a követelményhez való kapcsolatuk magyarázatát. Termékfotónál a ténylegesen megjelenített tárgyak és jellemzők leírását kérje. Ha több kép alkot egy feladatot, jelölje a sorrendjüket, és alkalmazzon azonos szempontokat, hogy a válasz következetesen össze tudja hasonlítani őket.
Képi-nyelvi feladatnál párosítsa a vizuális anyagot egy konkrét írott céllal. Az elemzés előtt válassza ki a szöveges eredményterméket: magyarázatot, jellemzőtáblázatot, leírást vagy megfigyeléslistát. Kérje az egyes következtetéseket alátámasztó látható részleteket, és különítse el azokat az értelmezéstől. Ha egy kis felirat vagy régió számít, adjon olvasható forrásképet, és jelölje meg az érdekes területet. Ez a választ felülvizsgálható anyaghoz kapcsolja.
A Baidu használati példája szöveget és képet kapcsol össze, és a processzorban a következtetés nélküli módot választja ki. A gyártó különböző végrehajtási keretrendszerekhez eltérő súlyformátumokat terjeszt, és az ERNIE 4.5 gyűjteményt Apache 2.0 alatt adja ki. A VL-28B-A3B identitás megőrzi képi-nyelvi célját, módjait és konfigurációját, elkülönülve a kizárólag szöveges ERNIE-kiadásoktól. Az ellenőrzött modellkártya külön maximális kimeneti tokenkorlátot és natív videóhossz-korlátot nem állapít meg.
POST /v1/messagestextjson, sse| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok baidu/ernie-4.5-vl-28b-a3b | Alapértelmezett— |
Mezőmessages | Típusmessage[] | KövetelményKötelező | Értékek és korlátok | Alapértelmezett— |
Mezőmessages[].role | Típusstring | KövetelményKötelező | Értékek és korlátok user, assistant | Alapértelmezett— |
Mezőmessages[].content | Típusstring | KövetelményKötelező | Értékek és korlátok | Alapértelmezett— |
Mezőmax_tokens | Típusinteger | KövetelményKötelező | Értékek és korlátok | Alapértelmezett— |
Mezőstream | Típusboolean | KövetelményOpcionális | Értékek és korlátok | Alapértelmezettfalse |
Szöveg · UTF-8 szöveg
messages[].content karakterlánc
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, messages, max_tokens |
Paraméteroptional_controls | Szerződésstream |
Paramétermaterial_types | Szerződéstext |
Paramétertext_file_material | SzerződésOlvassa el a tényleges UTF-8 dokumentumot, és tegye a szövegét a jelzett bemeneti karakterláncba vagy az üzenettartalom karakterláncába. |
Életciklus: synchronous_or_streamed
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
| Beállítás | Díjtáblázat | Díj |
|---|---|---|
| BeállításTokenenkénti alapárak | DíjtáblázatAlapdíj | Díj Bemenet · Bemeneti tokenek $0.000286 / 1K token Kimenet · Kimeneti tokenek $0.001144 / 1K token Bemenet · Gyorsítótár olvasása $0 / 1K token Bemenet · Írás a gyorsítótárba $0 / 1K token Bemenet · Írás a gyorsítótárba, 1 óra — / 1K token |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
{\n "model": "baidu/ernie-4.5-vl-28b-a3b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON vagy SSE
Őrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizze meg az összes tartalomblokkot, a gondolkodási tartalom aláírásait és a tényleges eszközhasználati ID-kat. Állítsa össze az összes SSE-blokk részleges frissítését; az első szövegblokk nem a teljes kimenet.
Őrizze meg a kérés-/válaszazonosítókat és a fejléceket. Nincs megadva általános URL a szöveges feladatok lekéréséhez.
| Mező | Típus |
|---|---|
Mezőid | Típusstring |
Mezőmodel | Típusstring |
Mezőcontent[] | Típustext|thinking|tool_use|other content block |
Mezőstop_reason | Típusstring|null |
Mezőusage | Típusobject |
| Válasz | Feltétel | Következő lépés |
|---|---|---|
Válasz400 · invalid_request_error | FeltételÉrvénytelen kötelező mezők, az anyag érvénytelen reprezentációja vagy érvénytelen paraméterérték | Következő lépésJavítsa a jelzett mezőket egy új létrehozási kérés előtt. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Használja a fent látható metódusútvonalakat.
Technikai példa angolul
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.