ERNIE-4.5-VL-28B-A3B to poddany dalszemu treningowi wizualno-językowy członek rodziny ERNIE 4.5 firmy Baidu. Jego fundamenty łączą wstępny trening tekstowy i wizualny z heterogeniczną architekturą mixture-of-experts. Routing izolujący modalności i zrównoważone cele treningowe wspierają współdziałanie języka i obrazu przy zachowaniu odrębności ich reprezentacji. Wynikowy model przyjmuje tekst i obrazy oraz tworzy odpowiedź tekstową opartą na dostarczonym materiale wizualnym. Oficjalna tabela modeli Baidu wymienia również wideo obok tekstu i obrazów jako wejście tej edycji VL; wyjściem pozostaje tekst.
Dalszy trening kładzie nacisk na rozumienie obrazów, dostosowanie do konkretnego zadania i rozumowanie multimodalne. Rodzina wykorzystuje nadzorowane dostrajanie i optymalizację opartą na preferencjach, a ta edycja VL obejmuje także uczenie ze wzmocnieniem z weryfikowalnymi nagrodami. Tryby z rozumowaniem i bez niego zapewniają różne sposoby przetwarzania zadania wizualnego. Tryb należy do wydania wizualno-językowego i nie zastępuje osobno nazwanego tekstowego modelu Thinking.
Konfiguracja ma 28 miliardów parametrów ogółem i 3 miliardy aktywowane dla każdego tokena. Obejmuje 28 warstw, 20 głowic zapytań i cztery głowice kluczy/wartości. Konfiguracje ekspertów tekstowych i wizualnych podają po 64 ekspertów z sześcioma wybieranymi oraz dwóch ekspertów współdzielonych. Opublikowana konfiguracja modelu określa okno kontekstu na 131 072 tokeny. Osobno skonfigurowana pozycja hostowana Baidu opisuje kontekst 32K dla tej samej nazwanej linii VL, dlatego konfiguracja modelu i limity usługi hostowanej pozostają odrębnymi specyfikacjami liczbowymi.
Przy obrazie dokumentu określ informacje do odnalezienia: odpowiedni nagłówek, pozycję tabeli, wyjaśnienie diagramu lub porównanie widocznych sekcji. Przy zrzucie interfejsu określ cel użytkownika i poproś o wyjaśnienie widocznych elementów lub ich związku z wymaganiem. Przy zdjęciu produktu poproś o opis faktycznie pokazanych obiektów i cech. Jeśli kilka obrazów tworzy jedno zadanie, oznacz ich kolejność i stosuj te same kryteria, aby odpowiedź mogła je spójnie porównać.
W zadaniu wizualno-językowym połącz materiał wizualny z konkretnym celem pisemnym. Wybierz materiał tekstowy przed analizą: wyjaśnienie, tabelę cech, opis lub listę obserwacji. Poproś o widoczne szczegóły wspierające każdy wniosek i odróżnienie ich od interpretacji. Jeśli ważna jest mała etykieta lub obszar, dostarcz czytelny obraz źródłowy i wskaż interesujący region. Wiąże to odpowiedź z materiałem możliwym do sprawdzenia.
Przykład użycia Baidu łączy tekst z obrazem i wybiera w procesorze tryb bez rozumowania. Producent rozpowszechnia odrębne formaty wag dla platform wykonawczych i wydaje kolekcję ERNIE 4.5 na licencji Apache 2.0. Tożsamość VL-28B-A3B zachowuje wizualno-językowe przeznaczenie, tryby i konfigurację oddzielnie od tekstowych wydań ERNIE. Zweryfikowana karta modelu nie określa osobnego maksymalnego limitu tokenów wyjścia ani natywnego limitu czasu wideo.
", "aboutText": "ERNIE-4.5-VL-28B-A3B to poddany dalszemu treningowi wizualno-językowy członek rodziny ERNIE 4.5 firmy Baidu. Jego fundamenty łączą wstępny trening tekstowy i wizualny z heterogeniczną architekturą mixture-of-experts. Routing izolujący modalności i zrównoważone cele treningowe wspierają współdziałanie języka i obrazu przy zachowaniu odrębności ich reprezentacji. Wynikowy model przyjmuje tekst i obrazy oraz tworzy odpowiedź tekstową opartą na dostarczonym materiale wizualnym. Oficjalna tabela modeli Baidu wymienia również wideo obok tekstu i obrazów jako wejście tej edycji VL; wyjściem pozostaje tekst.\n\nDalszy trening kładzie nacisk na rozumienie obrazów, dostosowanie do konkretnego zadania i rozumowanie multimodalne. Rodzina wykorzystuje nadzorowane dostrajanie i optymalizację opartą na preferencjach, a ta edycja VL obejmuje także uczenie ze wzmocnieniem z weryfikowalnymi nagrodami. Tryby z rozumowaniem i bez niego zapewniają różne sposoby przetwarzania zadania wizualnego. Tryb należy do wydania wizualno-językowego i nie zastępuje osobno nazwanego tekstowego modelu Thinking.\n\nKonfiguracja ma 28 miliardów parametrów ogółem i 3 miliardy aktywowane dla każdego tokena. Obejmuje 28 warstw, 20 głowic zapytań i cztery głowice kluczy/wartości. Konfiguracje ekspertów tekstowych i wizualnych podają po 64 ekspertów z sześcioma wybieranymi oraz dwóch ekspertów współdzielonych. Opublikowana konfiguracja modelu określa okno kontekstu na 131 072 tokeny. Osobno skonfigurowana pozycja hostowana Baidu opisuje kontekst 32K dla tej samej nazwanej linii VL, dlatego konfiguracja modelu i limity usługi hostowanej pozostają odrębnymi specyfikacjami liczbowymi.\n\nPrzy obrazie dokumentu określ informacje do odnalezienia: odpowiedni nagłówek, pozycję tabeli, wyjaśnienie diagramu lub porównanie widocznych sekcji. Przy zrzucie interfejsu określ cel użytkownika i poproś o wyjaśnienie widocznych elementów lub ich związku z wymaganiem. Przy zdjęciu produktu poproś o opis faktycznie pokazanych obiektów i cech. Jeśli kilka obrazów tworzy jedno zadanie, oznacz ich kolejność i stosuj te same kryteria, aby odpowiedź mogła je spójnie porównać.\n\nW zadaniu wizualno-językowym połącz materiał wizualny z konkretnym celem pisemnym. Wybierz materiał tekstowy przed analizą: wyjaśnienie, tabelę cech, opis lub listę obserwacji. Poproś o widoczne szczegóły wspierające każdy wniosek i odróżnienie ich od interpretacji. Jeśli ważna jest mała etykieta lub obszar, dostarcz czytelny obraz źródłowy i wskaż interesujący region. Wiąże to odpowiedź z materiałem możliwym do sprawdzenia.\n\nPrzykład użycia Baidu łączy tekst z obrazem i wybiera w procesorze tryb bez rozumowania. Producent rozpowszechnia odrębne formaty wag dla platform wykonawczych i wydaje kolekcję ERNIE 4.5 na licencji Apache 2.0. Tożsamość VL-28B-A3B zachowuje wizualno-językowe przeznaczenie, tryby i konfigurację oddzielnie od tekstowych wydań ERNIE. Zweryfikowana karta modelu nie określa osobnego maksymalnego limitu tokenów wyjścia ani natywnego limitu czasu wideo.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.baidu/ernie-4.5-vl-28b-a3bModel wizualno-językowy ERNIE 4.5 firmy Baidu łączy pytania tekstowe z zawartością obrazów i zwraca tekst. Wykorzystuje mixture-of-experts 28B/3B i obsługuje tryby z rozumowaniem i bez niego, z limitami kontekstu modelu oraz usługi hostowanej właściwymi danej edycji.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
ERNIE-4.5-VL-28B-A3B to poddany dalszemu treningowi wizualno-językowy członek rodziny ERNIE 4.5 firmy Baidu. Jego fundamenty łączą wstępny trening tekstowy i wizualny z heterogeniczną architekturą mixture-of-experts. Routing izolujący modalności i zrównoważone cele treningowe wspierają współdziałanie języka i obrazu przy zachowaniu odrębności ich reprezentacji. Wynikowy model przyjmuje tekst i obrazy oraz tworzy odpowiedź tekstową opartą na dostarczonym materiale wizualnym. Oficjalna tabela modeli Baidu wymienia również wideo obok tekstu i obrazów jako wejście tej edycji VL; wyjściem pozostaje tekst.
Dalszy trening kładzie nacisk na rozumienie obrazów, dostosowanie do konkretnego zadania i rozumowanie multimodalne. Rodzina wykorzystuje nadzorowane dostrajanie i optymalizację opartą na preferencjach, a ta edycja VL obejmuje także uczenie ze wzmocnieniem z weryfikowalnymi nagrodami. Tryby z rozumowaniem i bez niego zapewniają różne sposoby przetwarzania zadania wizualnego. Tryb należy do wydania wizualno-językowego i nie zastępuje osobno nazwanego tekstowego modelu Thinking.
Konfiguracja ma 28 miliardów parametrów ogółem i 3 miliardy aktywowane dla każdego tokena. Obejmuje 28 warstw, 20 głowic zapytań i cztery głowice kluczy/wartości. Konfiguracje ekspertów tekstowych i wizualnych podają po 64 ekspertów z sześcioma wybieranymi oraz dwóch ekspertów współdzielonych. Opublikowana konfiguracja modelu określa okno kontekstu na 131 072 tokeny. Osobno skonfigurowana pozycja hostowana Baidu opisuje kontekst 32K dla tej samej nazwanej linii VL, dlatego konfiguracja modelu i limity usługi hostowanej pozostają odrębnymi specyfikacjami liczbowymi.
Przy obrazie dokumentu określ informacje do odnalezienia: odpowiedni nagłówek, pozycję tabeli, wyjaśnienie diagramu lub porównanie widocznych sekcji. Przy zrzucie interfejsu określ cel użytkownika i poproś o wyjaśnienie widocznych elementów lub ich związku z wymaganiem. Przy zdjęciu produktu poproś o opis faktycznie pokazanych obiektów i cech. Jeśli kilka obrazów tworzy jedno zadanie, oznacz ich kolejność i stosuj te same kryteria, aby odpowiedź mogła je spójnie porównać.
W zadaniu wizualno-językowym połącz materiał wizualny z konkretnym celem pisemnym. Wybierz materiał tekstowy przed analizą: wyjaśnienie, tabelę cech, opis lub listę obserwacji. Poproś o widoczne szczegóły wspierające każdy wniosek i odróżnienie ich od interpretacji. Jeśli ważna jest mała etykieta lub obszar, dostarcz czytelny obraz źródłowy i wskaż interesujący region. Wiąże to odpowiedź z materiałem możliwym do sprawdzenia.
Przykład użycia Baidu łączy tekst z obrazem i wybiera w procesorze tryb bez rozumowania. Producent rozpowszechnia odrębne formaty wag dla platform wykonawczych i wydaje kolekcję ERNIE 4.5 na licencji Apache 2.0. Tożsamość VL-28B-A3B zachowuje wizualno-językowe przeznaczenie, tryby i konfigurację oddzielnie od tekstowych wydań ERNIE. Zweryfikowana karta modelu nie określa osobnego maksymalnego limitu tokenów wyjścia ani natywnego limitu czasu wideo.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity baidu/ernie-4.5-vl-28b-a3b | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.000286 / 1K tokenów Wyjście · Tokeny wyjściowe $0.001144 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "baidu/ernie-4.5-vl-28b-a3b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='baidu/ernie-4.5-vl-28b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Użyj ścieżek metod podanych powyżej.
baidu/ernie-4.5-vl-28b-a3bModel wizualno-językowy ERNIE 4.5 firmy Baidu łączy pytania tekstowe z zawartością obrazów i zwraca tekst. Wykorzystuje mixture-of-experts 28B/3B i obsługuje tryby z rozumowaniem i bez niego, z limitami kontekstu modelu oraz usługi hostowanej właściwymi danej edycji.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
ERNIE-4.5-VL-28B-A3B to poddany dalszemu treningowi wizualno-językowy członek rodziny ERNIE 4.5 firmy Baidu. Jego fundamenty łączą wstępny trening tekstowy i wizualny z heterogeniczną architekturą mixture-of-experts. Routing izolujący modalności i zrównoważone cele treningowe wspierają współdziałanie języka i obrazu przy zachowaniu odrębności ich reprezentacji. Wynikowy model przyjmuje tekst i obrazy oraz tworzy odpowiedź tekstową opartą na dostarczonym materiale wizualnym. Oficjalna tabela modeli Baidu wymienia również wideo obok tekstu i obrazów jako wejście tej edycji VL; wyjściem pozostaje tekst.
Dalszy trening kładzie nacisk na rozumienie obrazów, dostosowanie do konkretnego zadania i rozumowanie multimodalne. Rodzina wykorzystuje nadzorowane dostrajanie i optymalizację opartą na preferencjach, a ta edycja VL obejmuje także uczenie ze wzmocnieniem z weryfikowalnymi nagrodami. Tryby z rozumowaniem i bez niego zapewniają różne sposoby przetwarzania zadania wizualnego. Tryb należy do wydania wizualno-językowego i nie zastępuje osobno nazwanego tekstowego modelu Thinking.
Konfiguracja ma 28 miliardów parametrów ogółem i 3 miliardy aktywowane dla każdego tokena. Obejmuje 28 warstw, 20 głowic zapytań i cztery głowice kluczy/wartości. Konfiguracje ekspertów tekstowych i wizualnych podają po 64 ekspertów z sześcioma wybieranymi oraz dwóch ekspertów współdzielonych. Opublikowana konfiguracja modelu określa okno kontekstu na 131 072 tokeny. Osobno skonfigurowana pozycja hostowana Baidu opisuje kontekst 32K dla tej samej nazwanej linii VL, dlatego konfiguracja modelu i limity usługi hostowanej pozostają odrębnymi specyfikacjami liczbowymi.
Przy obrazie dokumentu określ informacje do odnalezienia: odpowiedni nagłówek, pozycję tabeli, wyjaśnienie diagramu lub porównanie widocznych sekcji. Przy zrzucie interfejsu określ cel użytkownika i poproś o wyjaśnienie widocznych elementów lub ich związku z wymaganiem. Przy zdjęciu produktu poproś o opis faktycznie pokazanych obiektów i cech. Jeśli kilka obrazów tworzy jedno zadanie, oznacz ich kolejność i stosuj te same kryteria, aby odpowiedź mogła je spójnie porównać.
W zadaniu wizualno-językowym połącz materiał wizualny z konkretnym celem pisemnym. Wybierz materiał tekstowy przed analizą: wyjaśnienie, tabelę cech, opis lub listę obserwacji. Poproś o widoczne szczegóły wspierające każdy wniosek i odróżnienie ich od interpretacji. Jeśli ważna jest mała etykieta lub obszar, dostarcz czytelny obraz źródłowy i wskaż interesujący region. Wiąże to odpowiedź z materiałem możliwym do sprawdzenia.
Przykład użycia Baidu łączy tekst z obrazem i wybiera w procesorze tryb bez rozumowania. Producent rozpowszechnia odrębne formaty wag dla platform wykonawczych i wydaje kolekcję ERNIE 4.5 na licencji Apache 2.0. Tożsamość VL-28B-A3B zachowuje wizualno-językowe przeznaczenie, tryby i konfigurację oddzielnie od tekstowych wydań ERNIE. Zweryfikowana karta modelu nie określa osobnego maksymalnego limitu tokenów wyjścia ani natywnego limitu czasu wideo.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity baidu/ernie-4.5-vl-28b-a3b | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.000286 / 1K tokenów Wyjście · Tokeny wyjściowe $0.001144 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "baidu/ernie-4.5-vl-28b-a3b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'baidu/ernie-4.5-vl-28b-a3b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra baidu/ernie-4.5-vl-28b-a3b
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Explain a transcribed inspection table\n\nAnalyze this text transcription of an inspection table: batch A, sealed 48, leaking 2; batch B, sealed 35, leaking 5. Calculate the leakage rate for each batch and write a short comparison for the warehouse manager. Treat the transcription as the complete input and identify which batch needs inspection first using only leakage rate.A two-row table with totals and leakage percentages, followed by a short prioritization explanation.Each percentage uses leaking divided by sealed plus leaking, and the priority follows that comparison.