Perceptron Mk1.5 er Perceptrons multimodale model til visuel forståelse, tidslig forankring og opgaver med kropsligt forankrede agenter. Den modtager tekst, billeder, video og lyd og returnerer tekst, rumlige eller tidslige annotationer, strukturerede svar og indhold til funktionskald. Producentens aktuelle specifikation angiver en kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens; disse præcise grænser er mere specifikke end lanceringsartiklens afrundede beskrivelse på 32K.
En væsentlig tilføjelse er sporing af objekter gennem video som tidsstemplet geometri. Giv målet en tydelig beskrivelse, og angiv, hvad resultatet skal fastslå, for eksempel hvornår en genstand kommer ind i en scene, hvor den bevæger sig hen, eller hvilket interval der indeholder en bestemt handling. For førstepersonsoptagelser fremhæver producenten håndsporing og opdeling i delopgaver, som er nyttige til at analysere, hvad en operatør gør over tid.
De dokumenterede output omfatter punkter, bokse og polygoner til rumlig forankring, klip til tidsintervaller og track-containere til objektbevægelse. Track er en container i den genererede annotationsmarkup og ikke en særskilt værdi for annotationsformat. Et tracks kontrolpunkter kan være spredte: Et returneret track garanterer ikke en boks for hvert kildebillede eller uafbrudt synlighed af objektet. Bevar originalmediet og tilknytningen til koordinater eller tidsstempler, så resultaterne kan kontrolleres mod den faktiske scene.
Mk1.5 tilføjer indbygget lydforståelse, herunder transskription, registrering af lydhændelser, opsummeringer og spørgsmål om en optagelse. Producenten accepterer WAV, MP3 og FLAC. Lydgrænsen pr. element er 16.384 lydtokens, cirka 21,8 minutter ved den dokumenterede hastighed på omtrent 750 tokens pr. minut. Lyd deler kontekst med andre input og outputbudgettet, så en anmodning kan fylde konteksten, før grænsen pr. element nås.
For en video, hvor lydsporet er relevant, aktiverer producentens arbejdsgang udtrykkeligt lyd i video. Angiv, om opgaven vedrører tale, en lydhændelse, den synlige scene eller forholdet mellem dem. Outputtet er tekst og struktureret indhold; Mk1.5 genererer ikke talelyd. Ved transskription skal du bevare det ønskede sprog og tilknytningen til tidspunkter i stedet for at behandle en visuel billedtekst som en transskription.
Producenten understøtter sammenligninger på tværs af medieinput. Mærk elementerne, og bevar medietilknytningerne. Det valgfrie asset_idx identificerer en medieforekomst, der er tilgængelig på det tidspunkt i samtalen, og ikke en vedvarende filidentifikator. Hvis der ikke findes en udtrykkelig eller nedarvet vælger, henviser en annotation til det senest tilgængelige medieelement på genereringstidspunktet. Disse konventioner er relevante, når en opgave sammenligner to kameraer, sider eller optagelser. Producentens grænse pr. anmodning er 256 medieenheder. Hvert billede i en video_frames-gruppe tæller med i grænsen, selv om gruppen optager ét medieindeks; aktivering af en videos lydspor tilføjer ikke et ekstra medieelement.
Producenten understøtter endelige svar, der begrænses af JSON Schema eller et regex. Definér felterne eller mønsteret, og gennemgå de returnerede værdier mod kilden. Den dokumenterer også Multilook til uafhængige prompter over delt kontekst, en særskilt producentarbejdsgang adskilt fra almindelig chat med ét genereret svar.
Mk1.5 kan vælge mellem angivne funktioner beskrevet med navne, formål og JSON Schemas. Applikationen udfører de foreslåede kald og returnerer observationer. Definér tilladte handlinger og et afslutningskriterium for en opgave i et fysisk miljø eller en brugergrænseflade, og brug derefter den nye visuelle tilstand eller værktøjsresultatet som grundlag for næste trin. Ræsonnementsindsatsen kan indstilles i producentens modelvariant.
Funktionsværktøjer kan ikke erklæres i samme anmodning som output begrænset af JSON Schema eller regex; producenten instruerer i at anmode om et formatbegrænset endeligt svar efter værktøjsløkken. Undersøg afslutningsårsagen, før resultatet bruges, da afslutning på grund af længde kan betyde ufuldstændigt output.
En nyttig leverance er en kildeforankret sceneforklaring, en tidsangivet transskription, en objektannotation eller et kildeunderbygget handlingsforslag. Kontrollér geometrien mod mediet, hold observerede detaljer adskilt fra fortolkning, og bevar Mk1.5’s præcise lyd-, sporings- og værktøjsfunktioner særskilt fra den tidligere Mk1-udgave.
", "aboutText": "Perceptron Mk1.5 er Perceptrons multimodale model til visuel forståelse, tidslig forankring og opgaver med kropsligt forankrede agenter. Den modtager tekst, billeder, video og lyd og returnerer tekst, rumlige eller tidslige annotationer, strukturerede svar og indhold til funktionskald. Producentens aktuelle specifikation angiver en kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens; disse præcise grænser er mere specifikke end lanceringsartiklens afrundede beskrivelse på 32K.\n\n### Video og objektsporing\n\nEn væsentlig tilføjelse er sporing af objekter gennem video som tidsstemplet geometri. Giv målet en tydelig beskrivelse, og angiv, hvad resultatet skal fastslå, for eksempel hvornår en genstand kommer ind i en scene, hvor den bevæger sig hen, eller hvilket interval der indeholder en bestemt handling. For førstepersonsoptagelser fremhæver producenten håndsporing og opdeling i delopgaver, som er nyttige til at analysere, hvad en operatør gør over tid.\n\nDe dokumenterede output omfatter punkter, bokse og polygoner til rumlig forankring, klip til tidsintervaller og track-containere til objektbevægelse. Track er en container i den genererede annotationsmarkup og ikke en særskilt værdi for annotationsformat. Et tracks kontrolpunkter kan være spredte: Et returneret track garanterer ikke en boks for hvert kildebillede eller uafbrudt synlighed af objektet. Bevar originalmediet og tilknytningen til koordinater eller tidsstempler, så resultaterne kan kontrolleres mod den faktiske scene.\n\n### Lyd og kombineret kildemateriale\n\nMk1.5 tilføjer indbygget lydforståelse, herunder transskription, registrering af lydhændelser, opsummeringer og spørgsmål om en optagelse. Producenten accepterer WAV, MP3 og FLAC. Lydgrænsen pr. element er 16.384 lydtokens, cirka 21,8 minutter ved den dokumenterede hastighed på omtrent 750 tokens pr. minut. Lyd deler kontekst med andre input og outputbudgettet, så en anmodning kan fylde konteksten, før grænsen pr. element nås.\n\nFor en video, hvor lydsporet er relevant, aktiverer producentens arbejdsgang udtrykkeligt lyd i video. Angiv, om opgaven vedrører tale, en lydhændelse, den synlige scene eller forholdet mellem dem. Outputtet er tekst og struktureret indhold; Mk1.5 genererer ikke talelyd. Ved transskription skal du bevare det ønskede sprog og tilknytningen til tidspunkter i stedet for at behandle en visuel billedtekst som en transskription.\n\n### Flere medieelementer og strukturerede svar\n\nProducenten understøtter sammenligninger på tværs af medieinput. Mærk elementerne, og bevar medietilknytningerne. Det valgfrie asset_idx identificerer en medieforekomst, der er tilgængelig på det tidspunkt i samtalen, og ikke en vedvarende filidentifikator. Hvis der ikke findes en udtrykkelig eller nedarvet vælger, henviser en annotation til det senest tilgængelige medieelement på genereringstidspunktet. Disse konventioner er relevante, når en opgave sammenligner to kameraer, sider eller optagelser. Producentens grænse pr. anmodning er 256 medieenheder. Hvert billede i en video_frames-gruppe tæller med i grænsen, selv om gruppen optager ét medieindeks; aktivering af en videos lydspor tilføjer ikke et ekstra medieelement.\n\nProducenten understøtter endelige svar, der begrænses af JSON Schema eller et regex. Definér felterne eller mønsteret, og gennemgå de returnerede værdier mod kilden. Den dokumenterer også Multilook til uafhængige prompter over delt kontekst, en særskilt producentarbejdsgang adskilt fra almindelig chat med ét genereret svar.\n\n### Funktioner og ræsonnement\n\nMk1.5 kan vælge mellem angivne funktioner beskrevet med navne, formål og JSON Schemas. Applikationen udfører de foreslåede kald og returnerer observationer. Definér tilladte handlinger og et afslutningskriterium for en opgave i et fysisk miljø eller en brugergrænseflade, og brug derefter den nye visuelle tilstand eller værktøjsresultatet som grundlag for næste trin. Ræsonnementsindsatsen kan indstilles i producentens modelvariant.\n\nFunktionsværktøjer kan ikke erklæres i samme anmodning som output begrænset af JSON Schema eller regex; producenten instruerer i at anmode om et formatbegrænset endeligt svar efter værktøjsløkken. Undersøg afslutningsårsagen, før resultatet bruges, da afslutning på grund af længde kan betyde ufuldstændigt output.\n\nEn nyttig leverance er en kildeforankret sceneforklaring, en tidsangivet transskription, en objektannotation eller et kildeunderbygget handlingsforslag. Kontrollér geometrien mod mediet, hold observerede detaljer adskilt fra fortolkning, og bevar Mk1.5’s præcise lyd-, sporings- og værktøjsfunktioner særskilt fra den tidligere Mk1-udgave.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.perceptron/perceptron-mk1.5Perceptron Mk1.5 forstår tekst, billeder, video og lyd til visuelle opgaver og opgaver med kropsligt forankrede agenter. Den returnerer tekst, rumlige eller tidslige annotationer, objektspor og foreslåede funktionskald med en producentangivet kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Perceptron Mk1.5 er Perceptrons multimodale model til visuel forståelse, tidslig forankring og opgaver med kropsligt forankrede agenter. Den modtager tekst, billeder, video og lyd og returnerer tekst, rumlige eller tidslige annotationer, strukturerede svar og indhold til funktionskald. Producentens aktuelle specifikation angiver en kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens; disse præcise grænser er mere specifikke end lanceringsartiklens afrundede beskrivelse på 32K.
En væsentlig tilføjelse er sporing af objekter gennem video som tidsstemplet geometri. Giv målet en tydelig beskrivelse, og angiv, hvad resultatet skal fastslå, for eksempel hvornår en genstand kommer ind i en scene, hvor den bevæger sig hen, eller hvilket interval der indeholder en bestemt handling. For førstepersonsoptagelser fremhæver producenten håndsporing og opdeling i delopgaver, som er nyttige til at analysere, hvad en operatør gør over tid.
De dokumenterede output omfatter punkter, bokse og polygoner til rumlig forankring, klip til tidsintervaller og track-containere til objektbevægelse. Track er en container i den genererede annotationsmarkup og ikke en særskilt værdi for annotationsformat. Et tracks kontrolpunkter kan være spredte: Et returneret track garanterer ikke en boks for hvert kildebillede eller uafbrudt synlighed af objektet. Bevar originalmediet og tilknytningen til koordinater eller tidsstempler, så resultaterne kan kontrolleres mod den faktiske scene.
Mk1.5 tilføjer indbygget lydforståelse, herunder transskription, registrering af lydhændelser, opsummeringer og spørgsmål om en optagelse. Producenten accepterer WAV, MP3 og FLAC. Lydgrænsen pr. element er 16.384 lydtokens, cirka 21,8 minutter ved den dokumenterede hastighed på omtrent 750 tokens pr. minut. Lyd deler kontekst med andre input og outputbudgettet, så en anmodning kan fylde konteksten, før grænsen pr. element nås.
For en video, hvor lydsporet er relevant, aktiverer producentens arbejdsgang udtrykkeligt lyd i video. Angiv, om opgaven vedrører tale, en lydhændelse, den synlige scene eller forholdet mellem dem. Outputtet er tekst og struktureret indhold; Mk1.5 genererer ikke talelyd. Ved transskription skal du bevare det ønskede sprog og tilknytningen til tidspunkter i stedet for at behandle en visuel billedtekst som en transskription.
Producenten understøtter sammenligninger på tværs af medieinput. Mærk elementerne, og bevar medietilknytningerne. Det valgfrie asset_idx identificerer en medieforekomst, der er tilgængelig på det tidspunkt i samtalen, og ikke en vedvarende filidentifikator. Hvis der ikke findes en udtrykkelig eller nedarvet vælger, henviser en annotation til det senest tilgængelige medieelement på genereringstidspunktet. Disse konventioner er relevante, når en opgave sammenligner to kameraer, sider eller optagelser. Producentens grænse pr. anmodning er 256 medieenheder. Hvert billede i en video_frames-gruppe tæller med i grænsen, selv om gruppen optager ét medieindeks; aktivering af en videos lydspor tilføjer ikke et ekstra medieelement.
Producenten understøtter endelige svar, der begrænses af JSON Schema eller et regex. Definér felterne eller mønsteret, og gennemgå de returnerede værdier mod kilden. Den dokumenterer også Multilook til uafhængige prompter over delt kontekst, en særskilt producentarbejdsgang adskilt fra almindelig chat med ét genereret svar.
Mk1.5 kan vælge mellem angivne funktioner beskrevet med navne, formål og JSON Schemas. Applikationen udfører de foreslåede kald og returnerer observationer. Definér tilladte handlinger og et afslutningskriterium for en opgave i et fysisk miljø eller en brugergrænseflade, og brug derefter den nye visuelle tilstand eller værktøjsresultatet som grundlag for næste trin. Ræsonnementsindsatsen kan indstilles i producentens modelvariant.
Funktionsværktøjer kan ikke erklæres i samme anmodning som output begrænset af JSON Schema eller regex; producenten instruerer i at anmode om et formatbegrænset endeligt svar efter værktøjsløkken. Undersøg afslutningsårsagen, før resultatet bruges, da afslutning på grund af længde kan betyde ufuldstændigt output.
En nyttig leverance er en kildeforankret sceneforklaring, en tidsangivet transskription, en objektannotation eller et kildeunderbygget handlingsforslag. Kontrollér geometrien mod mediet, hold observerede detaljer adskilt fra fortolkning, og bevar Mk1.5’s præcise lyd-, sporings- og værktøjsfunktioner særskilt fra den tidligere Mk1-udgave.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser perceptron/perceptron-mk1.5 | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.0003 / 1K tokens Output · Outputtokens $0.003 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.0003 / 1K tokens Output · Outputtokens $0.003 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1.5", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra perceptron/perceptron-mk1.5
Brug metodestierne vist ovenfor.
perceptron/perceptron-mk1.5Perceptron Mk1.5 forstår tekst, billeder, video og lyd til visuelle opgaver og opgaver med kropsligt forankrede agenter. Den returnerer tekst, rumlige eller tidslige annotationer, objektspor og foreslåede funktionskald med en producentangivet kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Perceptron Mk1.5 er Perceptrons multimodale model til visuel forståelse, tidslig forankring og opgaver med kropsligt forankrede agenter. Den modtager tekst, billeder, video og lyd og returnerer tekst, rumlige eller tidslige annotationer, strukturerede svar og indhold til funktionskald. Producentens aktuelle specifikation angiver en kontekst på 36.864 tokens og et maksimalt output på 8.192 tokens; disse præcise grænser er mere specifikke end lanceringsartiklens afrundede beskrivelse på 32K.
En væsentlig tilføjelse er sporing af objekter gennem video som tidsstemplet geometri. Giv målet en tydelig beskrivelse, og angiv, hvad resultatet skal fastslå, for eksempel hvornår en genstand kommer ind i en scene, hvor den bevæger sig hen, eller hvilket interval der indeholder en bestemt handling. For førstepersonsoptagelser fremhæver producenten håndsporing og opdeling i delopgaver, som er nyttige til at analysere, hvad en operatør gør over tid.
De dokumenterede output omfatter punkter, bokse og polygoner til rumlig forankring, klip til tidsintervaller og track-containere til objektbevægelse. Track er en container i den genererede annotationsmarkup og ikke en særskilt værdi for annotationsformat. Et tracks kontrolpunkter kan være spredte: Et returneret track garanterer ikke en boks for hvert kildebillede eller uafbrudt synlighed af objektet. Bevar originalmediet og tilknytningen til koordinater eller tidsstempler, så resultaterne kan kontrolleres mod den faktiske scene.
Mk1.5 tilføjer indbygget lydforståelse, herunder transskription, registrering af lydhændelser, opsummeringer og spørgsmål om en optagelse. Producenten accepterer WAV, MP3 og FLAC. Lydgrænsen pr. element er 16.384 lydtokens, cirka 21,8 minutter ved den dokumenterede hastighed på omtrent 750 tokens pr. minut. Lyd deler kontekst med andre input og outputbudgettet, så en anmodning kan fylde konteksten, før grænsen pr. element nås.
For en video, hvor lydsporet er relevant, aktiverer producentens arbejdsgang udtrykkeligt lyd i video. Angiv, om opgaven vedrører tale, en lydhændelse, den synlige scene eller forholdet mellem dem. Outputtet er tekst og struktureret indhold; Mk1.5 genererer ikke talelyd. Ved transskription skal du bevare det ønskede sprog og tilknytningen til tidspunkter i stedet for at behandle en visuel billedtekst som en transskription.
Producenten understøtter sammenligninger på tværs af medieinput. Mærk elementerne, og bevar medietilknytningerne. Det valgfrie asset_idx identificerer en medieforekomst, der er tilgængelig på det tidspunkt i samtalen, og ikke en vedvarende filidentifikator. Hvis der ikke findes en udtrykkelig eller nedarvet vælger, henviser en annotation til det senest tilgængelige medieelement på genereringstidspunktet. Disse konventioner er relevante, når en opgave sammenligner to kameraer, sider eller optagelser. Producentens grænse pr. anmodning er 256 medieenheder. Hvert billede i en video_frames-gruppe tæller med i grænsen, selv om gruppen optager ét medieindeks; aktivering af en videos lydspor tilføjer ikke et ekstra medieelement.
Producenten understøtter endelige svar, der begrænses af JSON Schema eller et regex. Definér felterne eller mønsteret, og gennemgå de returnerede værdier mod kilden. Den dokumenterer også Multilook til uafhængige prompter over delt kontekst, en særskilt producentarbejdsgang adskilt fra almindelig chat med ét genereret svar.
Mk1.5 kan vælge mellem angivne funktioner beskrevet med navne, formål og JSON Schemas. Applikationen udfører de foreslåede kald og returnerer observationer. Definér tilladte handlinger og et afslutningskriterium for en opgave i et fysisk miljø eller en brugergrænseflade, og brug derefter den nye visuelle tilstand eller værktøjsresultatet som grundlag for næste trin. Ræsonnementsindsatsen kan indstilles i producentens modelvariant.
Funktionsværktøjer kan ikke erklæres i samme anmodning som output begrænset af JSON Schema eller regex; producenten instruerer i at anmode om et formatbegrænset endeligt svar efter værktøjsløkken. Undersøg afslutningsårsagen, før resultatet bruges, da afslutning på grund af længde kan betyde ufuldstændigt output.
En nyttig leverance er en kildeforankret sceneforklaring, en tidsangivet transskription, en objektannotation eller et kildeunderbygget handlingsforslag. Kontrollér geometrien mod mediet, hold observerede detaljer adskilt fra fortolkning, og bevar Mk1.5’s præcise lyd-, sporings- og værktøjsfunktioner særskilt fra den tidligere Mk1-udgave.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser perceptron/perceptron-mk1.5 | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.0003 / 1K tokens Output · Outputtokens $0.003 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.0003 / 1K tokens Output · Outputtokens $0.003 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "perceptron/perceptron-mk1.5",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra perceptron/perceptron-mk1.5
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.