Doubao 1.5 Vision Pro – tai ByteDance regos ir kalbos modelis, atsakantis į klausimus, kuriuose vaizdas derinamas su tekstine instrukcija. Atnaujintos jo galimybės orientuotos į vaizdinį samprotavimą, dokumentų teksto atpažinimą, smulkią informaciją ir sudėtingų instrukcijų vykdymą. Rezultatas yra tekstinis atsakymas: scenos paaiškinimas, ištraukta informacija ar analizė, susieta su pateikta vaizdine medžiaga.
Vaizdo detalės ir išdėstymas. Modelis naudoja savąją dinaminės raiškos architektūrą, kad apdorotų skirtingos raiškos ir formų vaizdus. Gamintojas atskirai aprašo didelės raiškos vaizdus, mažus mažos raiškos paveikslėlius ir kraštutinius kraštinių santykius. Tai naudinga, kai šaltinis yra aukštas dokumento puslapis, plati ekrano kopija ar nuotrauka su smulkiomis detalėmis. Pateikite aiškiausią turimą originalą, išsaugokite klausimui svarbią sritį ir nurodykite, kurį puslapį ar sritį modelis turi nagrinėti. Padidintas neryškus vaizdas vis tiek neturi tos pačios trūkstamos informacijos; paprašykite aiškiai pažymėti neapibrėžtumą, kai užrašo ar skaičiaus neįmanoma perskaityti.
Vaizdinės instrukcijos. Leidimo apraše nurodoma, kad instrukcijos vykdomos geriau dėl įvairesnių vaizdinių užduočių papildomo mokymo metu. Užklausoje galima nurodyti nagrinėjamą objektą, pateiktinas detales ir atsakymo tvarką. Lygindami pakuotes, pažymėkite vaizdus A ir B ir paprašykite lentelės su matomais teksto, išdėstymo ir komponentų skirtumais. Peržiūrėdami ekrano kopiją, nurodykite numatomą veiksmą ir paprašykite aprašyti matomus valdiklius bei informaciją, reikalingą jam atlikti. Naudingas rezultatas yra palyginimas ar paaiškinimas, pagrįstas tuo, ką vaizdas iš tiesų rodo.
Dokumentų atpažinimas. Prie įskaitomo puslapio pateikite jūsų darbo procesui reikalingų laukų pavadinimus: dokumento pavadinimą, datą, šalis, prekių pavadinimus ar sumas. Paprašykite atskirti ištrauktą tekstą nuo interpretacijos ir išlaikyti pirminę svarbių identifikatorių rašybą. Jei įrašas apima kelis puslapius, pažymėkite puslapius ir paprašykite prie kiekvienos ištrauktos reikšmės pateikti puslapio nuorodą. Tuomet galėsite patikrinti tekstą pagal šaltinį, išsiaiškinti neaiškius simbolius ir parengti pasirinktus laukus tolesnei programai.
Šios versijos techninis atnaujinimas apima daugiarūšių duomenų sintezę, dinaminę raišką, vaizdinės ir tekstinės informacijos suderinimą bei mišrų mokymą. Šie pakeitimai skirti vaizdų supratimui ir samprotavimui; gamintojas taip pat aprašo glaustesnį ir lengviau suprantamą atsakymų stilių. Norėdami iš to gauti naudingą rezultatą, įvardykite auditoriją ir pageidaujamą formą, pavyzdžiui, patikros pastabą, vaizdo aprašą ar klausimų dokumento savininkui sąrašą.
Užduotį grįskite matomais duomenimis. Produkto nuotrauka gali pagrįsti formos, spalvos, užrašų ir matomų komponentų aprašymą; atskirai pateikite specifikaciją, jei atsakymui taip pat reikia matmenų ar medžiagų. Dokumento vaizdas gali būti naudojamas informacijai ištraukti ir paaiškinti; pridėkite atitinkamą aplinkinę puslapio dalį, kai apkirptas sakinys priklauso nuo ankstesnių apibrėžimų. Paprašykite modelio atskirti stebėjimą nuo išvados ir prieš naudodami rezultatą patikrinkite smulkų tekstą bei lemiamas reikšmes.
", "aboutText": "Doubao 1.5 Vision Pro – tai ByteDance regos ir kalbos modelis, atsakantis į klausimus, kuriuose vaizdas derinamas su tekstine instrukcija. Atnaujintos jo galimybės orientuotos į vaizdinį samprotavimą, dokumentų teksto atpažinimą, smulkią informaciją ir sudėtingų instrukcijų vykdymą. Rezultatas yra tekstinis atsakymas: scenos paaiškinimas, ištraukta informacija ar analizė, susieta su pateikta vaizdine medžiaga.\n\nVaizdo detalės ir išdėstymas. Modelis naudoja savąją dinaminės raiškos architektūrą, kad apdorotų skirtingos raiškos ir formų vaizdus. Gamintojas atskirai aprašo didelės raiškos vaizdus, mažus mažos raiškos paveikslėlius ir kraštutinius kraštinių santykius. Tai naudinga, kai šaltinis yra aukštas dokumento puslapis, plati ekrano kopija ar nuotrauka su smulkiomis detalėmis. Pateikite aiškiausią turimą originalą, išsaugokite klausimui svarbią sritį ir nurodykite, kurį puslapį ar sritį modelis turi nagrinėti. Padidintas neryškus vaizdas vis tiek neturi tos pačios trūkstamos informacijos; paprašykite aiškiai pažymėti neapibrėžtumą, kai užrašo ar skaičiaus neįmanoma perskaityti.\n\nVaizdinės instrukcijos. Leidimo apraše nurodoma, kad instrukcijos vykdomos geriau dėl įvairesnių vaizdinių užduočių papildomo mokymo metu. Užklausoje galima nurodyti nagrinėjamą objektą, pateiktinas detales ir atsakymo tvarką. Lygindami pakuotes, pažymėkite vaizdus A ir B ir paprašykite lentelės su matomais teksto, išdėstymo ir komponentų skirtumais. Peržiūrėdami ekrano kopiją, nurodykite numatomą veiksmą ir paprašykite aprašyti matomus valdiklius bei informaciją, reikalingą jam atlikti. Naudingas rezultatas yra palyginimas ar paaiškinimas, pagrįstas tuo, ką vaizdas iš tiesų rodo.\n\nDokumentų atpažinimas. Prie įskaitomo puslapio pateikite jūsų darbo procesui reikalingų laukų pavadinimus: dokumento pavadinimą, datą, šalis, prekių pavadinimus ar sumas. Paprašykite atskirti ištrauktą tekstą nuo interpretacijos ir išlaikyti pirminę svarbių identifikatorių rašybą. Jei įrašas apima kelis puslapius, pažymėkite puslapius ir paprašykite prie kiekvienos ištrauktos reikšmės pateikti puslapio nuorodą. Tuomet galėsite patikrinti tekstą pagal šaltinį, išsiaiškinti neaiškius simbolius ir parengti pasirinktus laukus tolesnei programai.\n\nŠios versijos techninis atnaujinimas apima daugiarūšių duomenų sintezę, dinaminę raišką, vaizdinės ir tekstinės informacijos suderinimą bei mišrų mokymą. Šie pakeitimai skirti vaizdų supratimui ir samprotavimui; gamintojas taip pat aprašo glaustesnį ir lengviau suprantamą atsakymų stilių. Norėdami iš to gauti naudingą rezultatą, įvardykite auditoriją ir pageidaujamą formą, pavyzdžiui, patikros pastabą, vaizdo aprašą ar klausimų dokumento savininkui sąrašą.\n\nUžduotį grįskite matomais duomenimis. Produkto nuotrauka gali pagrįsti formos, spalvos, užrašų ir matomų komponentų aprašymą; atskirai pateikite specifikaciją, jei atsakymui taip pat reikia matmenų ar medžiagų. Dokumento vaizdas gali būti naudojamas informacijai ištraukti ir paaiškinti; pridėkite atitinkamą aplinkinę puslapio dalį, kai apkirptas sakinys priklauso nuo ankstesnių apibrėžimų. Paprašykite modelio atskirti stebėjimą nuo išvados ir prieš naudodami rezultatą patikrinkite smulkų tekstą bei lemiamas reikšmes.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Extract fields from a page transcription\n\nExtract fields from this document transcription, keeping literal values separate from interpretation: Page 1, Delivery note DN-82. Recipient: Lumen Studio. Items: Desk lamp, quantity 4. Delivery date: unclear. Return document_id, recipient, item, quantity and delivery_date, with the page label beside each value. Use unknown for the unclear date.A field table with value and source-page columns, retaining unknown for the delivery date.Compare every populated value to the supplied transcription and confirm that no date is invented.Doubao-1.5-vision-pro-32kDoubao 1.5 Vision Pro 32K – tai ByteDance regos ir kalbos modelis, skirtas vaizdams suprasti, dokumentų puslapiams skaityti ir smulkioms vaizdo detalėms analizuoti. Pateikite vaizdą su tiksliomis instrukcijomis, kad gautumėte tekstinį paaiškinimą ar struktūruotai ištrauktą informaciją.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Doubao 1.5 Vision Pro – tai ByteDance regos ir kalbos modelis, atsakantis į klausimus, kuriuose vaizdas derinamas su tekstine instrukcija. Atnaujintos jo galimybės orientuotos į vaizdinį samprotavimą, dokumentų teksto atpažinimą, smulkią informaciją ir sudėtingų instrukcijų vykdymą. Rezultatas yra tekstinis atsakymas: scenos paaiškinimas, ištraukta informacija ar analizė, susieta su pateikta vaizdine medžiaga.
Vaizdo detalės ir išdėstymas. Modelis naudoja savąją dinaminės raiškos architektūrą, kad apdorotų skirtingos raiškos ir formų vaizdus. Gamintojas atskirai aprašo didelės raiškos vaizdus, mažus mažos raiškos paveikslėlius ir kraštutinius kraštinių santykius. Tai naudinga, kai šaltinis yra aukštas dokumento puslapis, plati ekrano kopija ar nuotrauka su smulkiomis detalėmis. Pateikite aiškiausią turimą originalą, išsaugokite klausimui svarbią sritį ir nurodykite, kurį puslapį ar sritį modelis turi nagrinėti. Padidintas neryškus vaizdas vis tiek neturi tos pačios trūkstamos informacijos; paprašykite aiškiai pažymėti neapibrėžtumą, kai užrašo ar skaičiaus neįmanoma perskaityti.
Vaizdinės instrukcijos. Leidimo apraše nurodoma, kad instrukcijos vykdomos geriau dėl įvairesnių vaizdinių užduočių papildomo mokymo metu. Užklausoje galima nurodyti nagrinėjamą objektą, pateiktinas detales ir atsakymo tvarką. Lygindami pakuotes, pažymėkite vaizdus A ir B ir paprašykite lentelės su matomais teksto, išdėstymo ir komponentų skirtumais. Peržiūrėdami ekrano kopiją, nurodykite numatomą veiksmą ir paprašykite aprašyti matomus valdiklius bei informaciją, reikalingą jam atlikti. Naudingas rezultatas yra palyginimas ar paaiškinimas, pagrįstas tuo, ką vaizdas iš tiesų rodo.
Dokumentų atpažinimas. Prie įskaitomo puslapio pateikite jūsų darbo procesui reikalingų laukų pavadinimus: dokumento pavadinimą, datą, šalis, prekių pavadinimus ar sumas. Paprašykite atskirti ištrauktą tekstą nuo interpretacijos ir išlaikyti pirminę svarbių identifikatorių rašybą. Jei įrašas apima kelis puslapius, pažymėkite puslapius ir paprašykite prie kiekvienos ištrauktos reikšmės pateikti puslapio nuorodą. Tuomet galėsite patikrinti tekstą pagal šaltinį, išsiaiškinti neaiškius simbolius ir parengti pasirinktus laukus tolesnei programai.
Šios versijos techninis atnaujinimas apima daugiarūšių duomenų sintezę, dinaminę raišką, vaizdinės ir tekstinės informacijos suderinimą bei mišrų mokymą. Šie pakeitimai skirti vaizdų supratimui ir samprotavimui; gamintojas taip pat aprašo glaustesnį ir lengviau suprantamą atsakymų stilių. Norėdami iš to gauti naudingą rezultatą, įvardykite auditoriją ir pageidaujamą formą, pavyzdžiui, patikros pastabą, vaizdo aprašą ar klausimų dokumento savininkui sąrašą.
Užduotį grįskite matomais duomenimis. Produkto nuotrauka gali pagrįsti formos, spalvos, užrašų ir matomų komponentų aprašymą; atskirai pateikite specifikaciją, jei atsakymui taip pat reikia matmenų ar medžiagų. Dokumento vaizdas gali būti naudojamas informacijai ištraukti ir paaiškinti; pridėkite atitinkamą aplinkinę puslapio dalį, kai apkirptas sakinys priklauso nuo ankstesnių apibrėžimų. Paprašykite modelio atskirti stebėjimą nuo išvados ir prieš naudodami rezultatą patikrinkite smulkų tekstą bei lemiamas reikšmes.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Doubao-1.5-vision-pro-32k | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00086 / 1K tokenų Išvestis · Išvesties tokenai $0.0026 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "Doubao-1.5-vision-pro-32k", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='Doubao-1.5-vision-pro-32k',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='Doubao-1.5-vision-pro-32k',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra Doubao-1.5-vision-pro-32k
Naudokite aukščiau nurodytus metodų kelius.
Doubao-1.5-vision-pro-32kDoubao 1.5 Vision Pro 32K – tai ByteDance regos ir kalbos modelis, skirtas vaizdams suprasti, dokumentų puslapiams skaityti ir smulkioms vaizdo detalėms analizuoti. Pateikite vaizdą su tiksliomis instrukcijomis, kad gautumėte tekstinį paaiškinimą ar struktūruotai ištrauktą informaciją.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Doubao 1.5 Vision Pro – tai ByteDance regos ir kalbos modelis, atsakantis į klausimus, kuriuose vaizdas derinamas su tekstine instrukcija. Atnaujintos jo galimybės orientuotos į vaizdinį samprotavimą, dokumentų teksto atpažinimą, smulkią informaciją ir sudėtingų instrukcijų vykdymą. Rezultatas yra tekstinis atsakymas: scenos paaiškinimas, ištraukta informacija ar analizė, susieta su pateikta vaizdine medžiaga.
Vaizdo detalės ir išdėstymas. Modelis naudoja savąją dinaminės raiškos architektūrą, kad apdorotų skirtingos raiškos ir formų vaizdus. Gamintojas atskirai aprašo didelės raiškos vaizdus, mažus mažos raiškos paveikslėlius ir kraštutinius kraštinių santykius. Tai naudinga, kai šaltinis yra aukštas dokumento puslapis, plati ekrano kopija ar nuotrauka su smulkiomis detalėmis. Pateikite aiškiausią turimą originalą, išsaugokite klausimui svarbią sritį ir nurodykite, kurį puslapį ar sritį modelis turi nagrinėti. Padidintas neryškus vaizdas vis tiek neturi tos pačios trūkstamos informacijos; paprašykite aiškiai pažymėti neapibrėžtumą, kai užrašo ar skaičiaus neįmanoma perskaityti.
Vaizdinės instrukcijos. Leidimo apraše nurodoma, kad instrukcijos vykdomos geriau dėl įvairesnių vaizdinių užduočių papildomo mokymo metu. Užklausoje galima nurodyti nagrinėjamą objektą, pateiktinas detales ir atsakymo tvarką. Lygindami pakuotes, pažymėkite vaizdus A ir B ir paprašykite lentelės su matomais teksto, išdėstymo ir komponentų skirtumais. Peržiūrėdami ekrano kopiją, nurodykite numatomą veiksmą ir paprašykite aprašyti matomus valdiklius bei informaciją, reikalingą jam atlikti. Naudingas rezultatas yra palyginimas ar paaiškinimas, pagrįstas tuo, ką vaizdas iš tiesų rodo.
Dokumentų atpažinimas. Prie įskaitomo puslapio pateikite jūsų darbo procesui reikalingų laukų pavadinimus: dokumento pavadinimą, datą, šalis, prekių pavadinimus ar sumas. Paprašykite atskirti ištrauktą tekstą nuo interpretacijos ir išlaikyti pirminę svarbių identifikatorių rašybą. Jei įrašas apima kelis puslapius, pažymėkite puslapius ir paprašykite prie kiekvienos ištrauktos reikšmės pateikti puslapio nuorodą. Tuomet galėsite patikrinti tekstą pagal šaltinį, išsiaiškinti neaiškius simbolius ir parengti pasirinktus laukus tolesnei programai.
Šios versijos techninis atnaujinimas apima daugiarūšių duomenų sintezę, dinaminę raišką, vaizdinės ir tekstinės informacijos suderinimą bei mišrų mokymą. Šie pakeitimai skirti vaizdų supratimui ir samprotavimui; gamintojas taip pat aprašo glaustesnį ir lengviau suprantamą atsakymų stilių. Norėdami iš to gauti naudingą rezultatą, įvardykite auditoriją ir pageidaujamą formą, pavyzdžiui, patikros pastabą, vaizdo aprašą ar klausimų dokumento savininkui sąrašą.
Užduotį grįskite matomais duomenimis. Produkto nuotrauka gali pagrįsti formos, spalvos, užrašų ir matomų komponentų aprašymą; atskirai pateikite specifikaciją, jei atsakymui taip pat reikia matmenų ar medžiagų. Dokumento vaizdas gali būti naudojamas informacijai ištraukti ir paaiškinti; pridėkite atitinkamą aplinkinę puslapio dalį, kai apkirptas sakinys priklauso nuo ankstesnių apibrėžimų. Paprašykite modelio atskirti stebėjimą nuo išvados ir prieš naudodami rezultatą patikrinkite smulkų tekstą bei lemiamas reikšmes.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Doubao-1.5-vision-pro-32k | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00086 / 1K tokenų Išvestis · Išvesties tokenai $0.0026 / 1K tokenų Įvestis · Talpyklos skaitymas $0 / 1K tokenų Įvestis · Rašymas į talpyklą $0 / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "Doubao-1.5-vision-pro-32k",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Doubao-1.5-vision-pro-32k', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Doubao-1.5-vision-pro-32k', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra Doubao-1.5-vision-pro-32k
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Extract fields from a page transcription\n\nExtract fields from this document transcription, keeping literal values separate from interpretation: Page 1, Delivery note DN-82. Recipient: Lumen Studio. Items: Desk lamp, quantity 4. Delivery date: unclear. Return document_id, recipient, item, quantity and delivery_date, with the page label beside each value. Use unknown for the unclear date.A field table with value and source-page columns, retaining unknown for the delivery date.Compare every populated value to the supplied transcription and confirm that no date is invented.