ERNIE 4.5 VL 424B-A47B adalah model percakapan visi-bahasa Baidu, dikembangkan dari model ERNIE 4.5 VL Base yang bersesuaian. Model menggabungkan instruksi tekstual dengan materi visual dan menghasilkan jawaban teks. Jaringan mixture-of-experts-nya memiliki total 424 miliar parameter, dengan 47 miliar diaktifkan untuk setiap token, dan pembuatnya memublikasikan panjang konteks 131.072 token.
Sorotan ERNIE 4.5. Keluarga ini menggunakan desain mixture-of-experts heterogen yang berbagi sebagian pengetahuan antara bahasa dan visi sambil mempertahankan pemrosesan khusus modalitas. Baidu menjelaskan prapelatihan multimodal gabungan, infrastruktur pelatihan dan inferensi efisien, serta pascapelatihan yang disesuaikan dengan modalitas yang dituju. Untuk model VL, penekanannya adalah pemahaman gambar, instruksi visual khusus tugas dan penalaran yang menghubungkan bukti visual dengan bahasa. Pelatihannya mencakup fine-tuning terawasi dan pembelajaran penguatan dengan imbalan yang dapat diverifikasi.
Gambaran model. Konfigurasi mencantumkan 54 lapisan, 64 kepala perhatian query dan 8 kepala key/value, dengan kelompok pakar teks dan visi terpisah. Setiap kelompok mencantumkan 64 pakar dan 8 pakar aktif. Tabel model pembuatnya mengidentifikasi teks, gambar dan video sebagai modalitas masukan untuk edisi ini dan teks sebagai keluaran. Anggap keluaran sebagai interpretasi konten yang disediakan: deskripsi, jawaban pertanyaan visual atau penjelasan beralasan tentang apa yang didukung materi.
Pemahaman gambar. Berikan gambar asli dan pertanyaan eksplisit. Untuk halaman dokumen, pertahankan label, judul kolom dan teks sekitar nilai yang dipersoalkan, lalu minta bidang pilihan beserta lokasi halaman yang mendukungnya. Untuk diagram, nyatakan apakah tujuannya menjelaskan komponen, mengikuti proses atau membandingkannya dengan spesifikasi tertulis. Minta model melaporkan label terlihat sebelum menarik kesimpulan agar pengamatan dapat ditinjau terpisah dari interpretasi.
Penalaran multimodal. Ketika beberapa gambar berkontribusi pada tugas sama, beri label perannya dan jelaskan detail yang harus dibandingkan. Permintaan berguna dapat memasangkan foto produk dengan spesifikasi yang disediakan dan meminta daftar kecocokan terlihat, perbedaan dan hal yang tidak dapat ditetapkan gambar. Untuk materi berbasis waktu, identifikasi peristiwa atau perubahan yang ingin dipahami dan minta urutan pengamatan yang terikat pada bingkai atau segmen yang disediakan. Artefak akhir harus memudahkan pemeriksaan bukti di balik perubahan yang diklaim.
Respons berpikir dan langsung. Baidu menjelaskan mode berpikir dan tidak berpikir untuk model visi-bahasanya. Berpikir melayani tugas yang memerlukan analisis lintas informasi visual dan tekstual; respons langsung dapat melayani deskripsi sederhana atau pertanyaan visual mudah. Nyatakan hasil yang dibutuhkan dengan jelas, seperti jawaban ringkas, tabel perbandingan atau penjelasan dengan pengamatan pendukung. Pemilihan mode merupakan bagian pengaturan pembuatan, bukan kata-kata biasa dalam permintaan gambar.
Siapkan materi berdasarkan pertanyaan. Gunakan halaman yang terbaca dan tampilan relevan, jaga label gambar konsisten dan sisakan ruang untuk jawaban teks yang diminta dalam konteks. Minta model menandai teks tidak terbaca dan memisahkan sifat yang disimpulkan dari detail yang terlihat. Gambar mungkin memperlihatkan label, bentuk atau susunan, sementara jawaban juga membutuhkan aturan atau spesifikasi yang disediakan. Konfirmasikan nilai hasil ekstraksi penting terhadap sumber asli dan gunakan tampilan tambahan ketika bukti menyisakan detail penting yang belum terselesaikan.
", "aboutText": "ERNIE 4.5 VL 424B-A47B adalah model percakapan visi-bahasa Baidu, dikembangkan dari model ERNIE 4.5 VL Base yang bersesuaian. Model menggabungkan instruksi tekstual dengan materi visual dan menghasilkan jawaban teks. Jaringan mixture-of-experts-nya memiliki total 424 miliar parameter, dengan 47 miliar diaktifkan untuk setiap token, dan pembuatnya memublikasikan panjang konteks 131.072 token.\n\nSorotan ERNIE 4.5. Keluarga ini menggunakan desain mixture-of-experts heterogen yang berbagi sebagian pengetahuan antara bahasa dan visi sambil mempertahankan pemrosesan khusus modalitas. Baidu menjelaskan prapelatihan multimodal gabungan, infrastruktur pelatihan dan inferensi efisien, serta pascapelatihan yang disesuaikan dengan modalitas yang dituju. Untuk model VL, penekanannya adalah pemahaman gambar, instruksi visual khusus tugas dan penalaran yang menghubungkan bukti visual dengan bahasa. Pelatihannya mencakup fine-tuning terawasi dan pembelajaran penguatan dengan imbalan yang dapat diverifikasi.\n\nGambaran model. Konfigurasi mencantumkan 54 lapisan, 64 kepala perhatian query dan 8 kepala key/value, dengan kelompok pakar teks dan visi terpisah. Setiap kelompok mencantumkan 64 pakar dan 8 pakar aktif. Tabel model pembuatnya mengidentifikasi teks, gambar dan video sebagai modalitas masukan untuk edisi ini dan teks sebagai keluaran. Anggap keluaran sebagai interpretasi konten yang disediakan: deskripsi, jawaban pertanyaan visual atau penjelasan beralasan tentang apa yang didukung materi.\n\nPemahaman gambar. Berikan gambar asli dan pertanyaan eksplisit. Untuk halaman dokumen, pertahankan label, judul kolom dan teks sekitar nilai yang dipersoalkan, lalu minta bidang pilihan beserta lokasi halaman yang mendukungnya. Untuk diagram, nyatakan apakah tujuannya menjelaskan komponen, mengikuti proses atau membandingkannya dengan spesifikasi tertulis. Minta model melaporkan label terlihat sebelum menarik kesimpulan agar pengamatan dapat ditinjau terpisah dari interpretasi.\n\nPenalaran multimodal. Ketika beberapa gambar berkontribusi pada tugas sama, beri label perannya dan jelaskan detail yang harus dibandingkan. Permintaan berguna dapat memasangkan foto produk dengan spesifikasi yang disediakan dan meminta daftar kecocokan terlihat, perbedaan dan hal yang tidak dapat ditetapkan gambar. Untuk materi berbasis waktu, identifikasi peristiwa atau perubahan yang ingin dipahami dan minta urutan pengamatan yang terikat pada bingkai atau segmen yang disediakan. Artefak akhir harus memudahkan pemeriksaan bukti di balik perubahan yang diklaim.\n\nRespons berpikir dan langsung. Baidu menjelaskan mode berpikir dan tidak berpikir untuk model visi-bahasanya. Berpikir melayani tugas yang memerlukan analisis lintas informasi visual dan tekstual; respons langsung dapat melayani deskripsi sederhana atau pertanyaan visual mudah. Nyatakan hasil yang dibutuhkan dengan jelas, seperti jawaban ringkas, tabel perbandingan atau penjelasan dengan pengamatan pendukung. Pemilihan mode merupakan bagian pengaturan pembuatan, bukan kata-kata biasa dalam permintaan gambar.\n\nSiapkan materi berdasarkan pertanyaan. Gunakan halaman yang terbaca dan tampilan relevan, jaga label gambar konsisten dan sisakan ruang untuk jawaban teks yang diminta dalam konteks. Minta model menandai teks tidak terbaca dan memisahkan sifat yang disimpulkan dari detail yang terlihat. Gambar mungkin memperlihatkan label, bentuk atau susunan, sementara jawaban juga membutuhkan aturan atau spesifikasi yang disediakan. Konfirmasikan nilai hasil ekstraksi penting terhadap sumber asli dan gunakan tampilan tambahan ketika bukti menyisakan detail penting yang belum terselesaikan.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B adalah model mixture-of-experts visi-bahasa Baidu untuk pemahaman gambar dan penalaran multimodal. Konfigurasi yang dipublikasikan memiliki 424 miliar parameter total, 47 miliar aktif per token dan konteks 131.072 token; jawaban dihasilkan sebagai teks.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
ERNIE 4.5 VL 424B-A47B adalah model percakapan visi-bahasa Baidu, dikembangkan dari model ERNIE 4.5 VL Base yang bersesuaian. Model menggabungkan instruksi tekstual dengan materi visual dan menghasilkan jawaban teks. Jaringan mixture-of-experts-nya memiliki total 424 miliar parameter, dengan 47 miliar diaktifkan untuk setiap token, dan pembuatnya memublikasikan panjang konteks 131.072 token.
Sorotan ERNIE 4.5. Keluarga ini menggunakan desain mixture-of-experts heterogen yang berbagi sebagian pengetahuan antara bahasa dan visi sambil mempertahankan pemrosesan khusus modalitas. Baidu menjelaskan prapelatihan multimodal gabungan, infrastruktur pelatihan dan inferensi efisien, serta pascapelatihan yang disesuaikan dengan modalitas yang dituju. Untuk model VL, penekanannya adalah pemahaman gambar, instruksi visual khusus tugas dan penalaran yang menghubungkan bukti visual dengan bahasa. Pelatihannya mencakup fine-tuning terawasi dan pembelajaran penguatan dengan imbalan yang dapat diverifikasi.
Gambaran model. Konfigurasi mencantumkan 54 lapisan, 64 kepala perhatian query dan 8 kepala key/value, dengan kelompok pakar teks dan visi terpisah. Setiap kelompok mencantumkan 64 pakar dan 8 pakar aktif. Tabel model pembuatnya mengidentifikasi teks, gambar dan video sebagai modalitas masukan untuk edisi ini dan teks sebagai keluaran. Anggap keluaran sebagai interpretasi konten yang disediakan: deskripsi, jawaban pertanyaan visual atau penjelasan beralasan tentang apa yang didukung materi.
Pemahaman gambar. Berikan gambar asli dan pertanyaan eksplisit. Untuk halaman dokumen, pertahankan label, judul kolom dan teks sekitar nilai yang dipersoalkan, lalu minta bidang pilihan beserta lokasi halaman yang mendukungnya. Untuk diagram, nyatakan apakah tujuannya menjelaskan komponen, mengikuti proses atau membandingkannya dengan spesifikasi tertulis. Minta model melaporkan label terlihat sebelum menarik kesimpulan agar pengamatan dapat ditinjau terpisah dari interpretasi.
Penalaran multimodal. Ketika beberapa gambar berkontribusi pada tugas sama, beri label perannya dan jelaskan detail yang harus dibandingkan. Permintaan berguna dapat memasangkan foto produk dengan spesifikasi yang disediakan dan meminta daftar kecocokan terlihat, perbedaan dan hal yang tidak dapat ditetapkan gambar. Untuk materi berbasis waktu, identifikasi peristiwa atau perubahan yang ingin dipahami dan minta urutan pengamatan yang terikat pada bingkai atau segmen yang disediakan. Artefak akhir harus memudahkan pemeriksaan bukti di balik perubahan yang diklaim.
Respons berpikir dan langsung. Baidu menjelaskan mode berpikir dan tidak berpikir untuk model visi-bahasanya. Berpikir melayani tugas yang memerlukan analisis lintas informasi visual dan tekstual; respons langsung dapat melayani deskripsi sederhana atau pertanyaan visual mudah. Nyatakan hasil yang dibutuhkan dengan jelas, seperti jawaban ringkas, tabel perbandingan atau penjelasan dengan pengamatan pendukung. Pemilihan mode merupakan bagian pengaturan pembuatan, bukan kata-kata biasa dalam permintaan gambar.
Siapkan materi berdasarkan pertanyaan. Gunakan halaman yang terbaca dan tampilan relevan, jaga label gambar konsisten dan sisakan ruang untuk jawaban teks yang diminta dalam konteks. Minta model menandai teks tidak terbaca dan memisahkan sifat yang disimpulkan dari detail yang terlihat. Gambar mungkin memperlihatkan label, bentuk atau susunan, sementara jawaban juga membutuhkan aturan atau spesifikasi yang disediakan. Konfirmasikan nilai hasil ekstraksi penting terhadap sumber asli dan gunakan tampilan tambahan ketika bukti menyisakan detail penting yang belum terselesaikan.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan baidu/ernie-4.5-vl-424b-a47b | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.000858 / 1K token Keluaran · Token keluaran $0.00258 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-424b-a47b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-424b-a47b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Gunakan jalur metode yang ditampilkan di atas.
baidu/ernie-4.5-vl-424b-a47bERNIE 4.5 VL 424B-A47B adalah model mixture-of-experts visi-bahasa Baidu untuk pemahaman gambar dan penalaran multimodal. Konfigurasi yang dipublikasikan memiliki 424 miliar parameter total, 47 miliar aktif per token dan konteks 131.072 token; jawaban dihasilkan sebagai teks.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
ERNIE 4.5 VL 424B-A47B adalah model percakapan visi-bahasa Baidu, dikembangkan dari model ERNIE 4.5 VL Base yang bersesuaian. Model menggabungkan instruksi tekstual dengan materi visual dan menghasilkan jawaban teks. Jaringan mixture-of-experts-nya memiliki total 424 miliar parameter, dengan 47 miliar diaktifkan untuk setiap token, dan pembuatnya memublikasikan panjang konteks 131.072 token.
Sorotan ERNIE 4.5. Keluarga ini menggunakan desain mixture-of-experts heterogen yang berbagi sebagian pengetahuan antara bahasa dan visi sambil mempertahankan pemrosesan khusus modalitas. Baidu menjelaskan prapelatihan multimodal gabungan, infrastruktur pelatihan dan inferensi efisien, serta pascapelatihan yang disesuaikan dengan modalitas yang dituju. Untuk model VL, penekanannya adalah pemahaman gambar, instruksi visual khusus tugas dan penalaran yang menghubungkan bukti visual dengan bahasa. Pelatihannya mencakup fine-tuning terawasi dan pembelajaran penguatan dengan imbalan yang dapat diverifikasi.
Gambaran model. Konfigurasi mencantumkan 54 lapisan, 64 kepala perhatian query dan 8 kepala key/value, dengan kelompok pakar teks dan visi terpisah. Setiap kelompok mencantumkan 64 pakar dan 8 pakar aktif. Tabel model pembuatnya mengidentifikasi teks, gambar dan video sebagai modalitas masukan untuk edisi ini dan teks sebagai keluaran. Anggap keluaran sebagai interpretasi konten yang disediakan: deskripsi, jawaban pertanyaan visual atau penjelasan beralasan tentang apa yang didukung materi.
Pemahaman gambar. Berikan gambar asli dan pertanyaan eksplisit. Untuk halaman dokumen, pertahankan label, judul kolom dan teks sekitar nilai yang dipersoalkan, lalu minta bidang pilihan beserta lokasi halaman yang mendukungnya. Untuk diagram, nyatakan apakah tujuannya menjelaskan komponen, mengikuti proses atau membandingkannya dengan spesifikasi tertulis. Minta model melaporkan label terlihat sebelum menarik kesimpulan agar pengamatan dapat ditinjau terpisah dari interpretasi.
Penalaran multimodal. Ketika beberapa gambar berkontribusi pada tugas sama, beri label perannya dan jelaskan detail yang harus dibandingkan. Permintaan berguna dapat memasangkan foto produk dengan spesifikasi yang disediakan dan meminta daftar kecocokan terlihat, perbedaan dan hal yang tidak dapat ditetapkan gambar. Untuk materi berbasis waktu, identifikasi peristiwa atau perubahan yang ingin dipahami dan minta urutan pengamatan yang terikat pada bingkai atau segmen yang disediakan. Artefak akhir harus memudahkan pemeriksaan bukti di balik perubahan yang diklaim.
Respons berpikir dan langsung. Baidu menjelaskan mode berpikir dan tidak berpikir untuk model visi-bahasanya. Berpikir melayani tugas yang memerlukan analisis lintas informasi visual dan tekstual; respons langsung dapat melayani deskripsi sederhana atau pertanyaan visual mudah. Nyatakan hasil yang dibutuhkan dengan jelas, seperti jawaban ringkas, tabel perbandingan atau penjelasan dengan pengamatan pendukung. Pemilihan mode merupakan bagian pengaturan pembuatan, bukan kata-kata biasa dalam permintaan gambar.
Siapkan materi berdasarkan pertanyaan. Gunakan halaman yang terbaca dan tampilan relevan, jaga label gambar konsisten dan sisakan ruang untuk jawaban teks yang diminta dalam konteks. Minta model menandai teks tidak terbaca dan memisahkan sifat yang disimpulkan dari detail yang terlihat. Gambar mungkin memperlihatkan label, bentuk atau susunan, sementara jawaban juga membutuhkan aturan atau spesifikasi yang disediakan. Konfirmasikan nilai hasil ekstraksi penting terhadap sumber asli dan gunakan tampilan tambahan ketika bukti menyisakan detail penting yang belum terselesaikan.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan baidu/ernie-4.5-vl-424b-a47b | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.000858 / 1K token Keluaran · Token keluaran $0.00258 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "baidu/ernie-4.5-vl-424b-a47b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-424b-a47b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra baidu/ernie-4.5-vl-424b-a47b
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Check a transcribed approval flow\n\nReview this transcribed process: Draft -> Manager approval -> Publish. A second branch says Draft -> Publish for urgent items. Written rule: every publication needs manager approval, including urgent work. Identify the conflict, cite the relevant labels and propose a revised text sequence that follows the rule.The conflicting branch, a rule-linked explanation and a revised sequence expressed in text.Check that the revision includes manager approval on the urgent path and uses only the supplied transcription.