Perceptron Mk1.5 è il modello multimodale di Perceptron per la comprensione visiva, l'ancoraggio temporale e le attività di agenti incarnati. Accetta testo, immagini, video e audio e restituisce testo, annotazioni spaziali o temporali, risposte strutturate e contenuti di chiamate a funzioni. La specifica attuale del produttore indica un contesto di 36.864 token e un output massimo di 8.192 token; questi limiti esatti sono più precisi della descrizione arrotondata a 32K dell'articolo di lancio.
Un'aggiunta distintiva è il tracciamento degli oggetti nei video sotto forma di geometria con marcatori temporali. Fornisci una descrizione chiara dell'obiettivo e indica cosa deve stabilire il risultato, ad esempio quando un oggetto entra in scena, dove si sposta o quale intervallo contiene una determinata azione. Per le riprese in prima persona, il produttore pone l'accento sul tracciamento delle mani e sulla suddivisione in sottoattività, utili per analizzare cosa faccia un operatore nel tempo.
Gli output documentati includono punti, riquadri e poligoni per l'ancoraggio spaziale, clip per gli intervalli temporali e contenitori di tracciamento per il movimento degli oggetti. Track è un contenitore nel markup delle annotazioni generate, non un valore separato del formato di annotazione. I punti di un tracciamento possono essere radi: un tracciamento restituito non garantisce un riquadro per ogni fotogramma originale né la visibilità continua dell'oggetto. Conserva i media originali e l'associazione alle coordinate o ai marcatori temporali, così da poter verificare i risultati sulla scena effettiva.
Mk1.5 aggiunge la comprensione audio nativa, inclusi trascrizione, rilevamento di eventi sonori, riepiloghi e domande su una registrazione. Il produttore accetta WAV, MP3 e FLAC. Il limite audio per elemento è di 16.384 token audio, circa 21,8 minuti al ritmo documentato di circa 750 token al minuto. L'audio condivide il contesto con gli altri input e con il budget di output, quindi una richiesta può esaurire il contesto prima di raggiungere quel limite per elemento.
Per un video la cui colonna sonora sia rilevante, il flusso del produttore abilita esplicitamente l'audio nel video. Indica se l'attività riguarda il parlato, un evento sonoro, la scena visibile o la loro relazione. L'output è testo e contenuto strutturato; Mk1.5 non genera audio parlato. Per la trascrizione, conserva la lingua richiesta e l'associazione temporale invece di trattare una didascalia visiva come una trascrizione.
Il produttore supporta confronti tra input multimediali. Etichetta gli elementi e conserva le associazioni alle risorse. L'asset_idx facoltativo identifica un'occorrenza multimediale disponibile in quel punto della conversazione, non un identificativo persistente di file. Se non è presente alcun selettore esplicito o ereditato, un'annotazione si riferisce all'ultima risorsa disponibile al momento della generazione. Queste convenzioni sono importanti quando un'attività confronta due videocamere, pagine o registrazioni. Il limite per richiesta del produttore è di 256 unità multimediali. Ogni fotogramma in un gruppo video_frames conta ai fini del limite, anche se il gruppo occupa un solo indice di risorsa; l'abilitazione della colonna sonora di un video non aggiunge un'altra risorsa.
Il produttore supporta risposte finali vincolate da JSON Schema o da un'espressione regolare. Definisci i campi o il pattern e verifica i valori restituiti rispetto alla fonte. Documenta inoltre Multilook per prompt indipendenti su un contesto condiviso, un flusso del produttore distinto dalla normale chat con un singolo completamento.
Mk1.5 può scegliere le funzioni fornite, descritte con nomi, scopi e schemi JSON. L'applicazione esegue le chiamate proposte e restituisce le osservazioni. Definisci le azioni consentite e un criterio di completamento per un'attività incarnata o di interfaccia, poi usa il nuovo stato visivo o il risultato dello strumento come prova per il passaggio successivo. L'impegno di ragionamento è configurabile nella variante del produttore.
Gli strumenti funzione non possono essere dichiarati nella stessa richiesta di un output vincolato da JSON Schema o da un'espressione regolare; il produttore indica di richiedere una risposta finale vincolata dopo il ciclo degli strumenti. Esamina il motivo di terminazione prima di usare il risultato, perché la terminazione per lunghezza può indicare un output incompleto.
Un risultato utile è una spiegazione della scena ancorata alle prove, una trascrizione temporizzata, un'annotazione di oggetti o una proposta d'azione sostenuta da prove. Verifica la geometria sui media, distingui i dettagli osservati dall'interpretazione e conserva separatamente le capacità esatte di Mk1.5 relative ad audio, tracciamento e strumenti rispetto alla precedente edizione Mk1.
", "aboutText": "Perceptron Mk1.5 è il modello multimodale di Perceptron per la comprensione visiva, l'ancoraggio temporale e le attività di agenti incarnati. Accetta testo, immagini, video e audio e restituisce testo, annotazioni spaziali o temporali, risposte strutturate e contenuti di chiamate a funzioni. La specifica attuale del produttore indica un contesto di 36.864 token e un output massimo di 8.192 token; questi limiti esatti sono più precisi della descrizione arrotondata a 32K dell'articolo di lancio.\n\n### Video e tracciamento degli oggetti\n\nUn'aggiunta distintiva è il tracciamento degli oggetti nei video sotto forma di geometria con marcatori temporali. Fornisci una descrizione chiara dell'obiettivo e indica cosa deve stabilire il risultato, ad esempio quando un oggetto entra in scena, dove si sposta o quale intervallo contiene una determinata azione. Per le riprese in prima persona, il produttore pone l'accento sul tracciamento delle mani e sulla suddivisione in sottoattività, utili per analizzare cosa faccia un operatore nel tempo.\n\nGli output documentati includono punti, riquadri e poligoni per l'ancoraggio spaziale, clip per gli intervalli temporali e contenitori di tracciamento per il movimento degli oggetti. Track è un contenitore nel markup delle annotazioni generate, non un valore separato del formato di annotazione. I punti di un tracciamento possono essere radi: un tracciamento restituito non garantisce un riquadro per ogni fotogramma originale né la visibilità continua dell'oggetto. Conserva i media originali e l'associazione alle coordinate o ai marcatori temporali, così da poter verificare i risultati sulla scena effettiva.\n\n### Audio e prove combinate\n\nMk1.5 aggiunge la comprensione audio nativa, inclusi trascrizione, rilevamento di eventi sonori, riepiloghi e domande su una registrazione. Il produttore accetta WAV, MP3 e FLAC. Il limite audio per elemento è di 16.384 token audio, circa 21,8 minuti al ritmo documentato di circa 750 token al minuto. L'audio condivide il contesto con gli altri input e con il budget di output, quindi una richiesta può esaurire il contesto prima di raggiungere quel limite per elemento.\n\nPer un video la cui colonna sonora sia rilevante, il flusso del produttore abilita esplicitamente l'audio nel video. Indica se l'attività riguarda il parlato, un evento sonoro, la scena visibile o la loro relazione. L'output è testo e contenuto strutturato; Mk1.5 non genera audio parlato. Per la trascrizione, conserva la lingua richiesta e l'associazione temporale invece di trattare una didascalia visiva come una trascrizione.\n\n### Più risorse e risposte strutturate\n\nIl produttore supporta confronti tra input multimediali. Etichetta gli elementi e conserva le associazioni alle risorse. L'asset_idx facoltativo identifica un'occorrenza multimediale disponibile in quel punto della conversazione, non un identificativo persistente di file. Se non è presente alcun selettore esplicito o ereditato, un'annotazione si riferisce all'ultima risorsa disponibile al momento della generazione. Queste convenzioni sono importanti quando un'attività confronta due videocamere, pagine o registrazioni. Il limite per richiesta del produttore è di 256 unità multimediali. Ogni fotogramma in un gruppo video_frames conta ai fini del limite, anche se il gruppo occupa un solo indice di risorsa; l'abilitazione della colonna sonora di un video non aggiunge un'altra risorsa.\n\nIl produttore supporta risposte finali vincolate da JSON Schema o da un'espressione regolare. Definisci i campi o il pattern e verifica i valori restituiti rispetto alla fonte. Documenta inoltre Multilook per prompt indipendenti su un contesto condiviso, un flusso del produttore distinto dalla normale chat con un singolo completamento.\n\n### Funzioni e ragionamento\n\nMk1.5 può scegliere le funzioni fornite, descritte con nomi, scopi e schemi JSON. L'applicazione esegue le chiamate proposte e restituisce le osservazioni. Definisci le azioni consentite e un criterio di completamento per un'attività incarnata o di interfaccia, poi usa il nuovo stato visivo o il risultato dello strumento come prova per il passaggio successivo. L'impegno di ragionamento è configurabile nella variante del produttore.\n\nGli strumenti funzione non possono essere dichiarati nella stessa richiesta di un output vincolato da JSON Schema o da un'espressione regolare; il produttore indica di richiedere una risposta finale vincolata dopo il ciclo degli strumenti. Esamina il motivo di terminazione prima di usare il risultato, perché la terminazione per lunghezza può indicare un output incompleto.\n\nUn risultato utile è una spiegazione della scena ancorata alle prove, una trascrizione temporizzata, un'annotazione di oggetti o una proposta d'azione sostenuta da prove. Verifica la geometria sui media, distingui i dettagli osservati dall'interpretazione e conserva separatamente le capacità esatte di Mk1.5 relative ad audio, tracciamento e strumenti rispetto alla precedente edizione Mk1.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.perceptron/perceptron-mk1.5Perceptron Mk1.5 comprende testo, immagini, video e audio per attività visive e di agenti incarnati. Restituisce testo, annotazioni spaziali o temporali, tracciamenti di oggetti e chiamate a funzioni proposte, con un contesto dichiarato dal produttore di 36.864 token e un output massimo di 8.192 token.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Perceptron Mk1.5 è il modello multimodale di Perceptron per la comprensione visiva, l'ancoraggio temporale e le attività di agenti incarnati. Accetta testo, immagini, video e audio e restituisce testo, annotazioni spaziali o temporali, risposte strutturate e contenuti di chiamate a funzioni. La specifica attuale del produttore indica un contesto di 36.864 token e un output massimo di 8.192 token; questi limiti esatti sono più precisi della descrizione arrotondata a 32K dell'articolo di lancio.
Un'aggiunta distintiva è il tracciamento degli oggetti nei video sotto forma di geometria con marcatori temporali. Fornisci una descrizione chiara dell'obiettivo e indica cosa deve stabilire il risultato, ad esempio quando un oggetto entra in scena, dove si sposta o quale intervallo contiene una determinata azione. Per le riprese in prima persona, il produttore pone l'accento sul tracciamento delle mani e sulla suddivisione in sottoattività, utili per analizzare cosa faccia un operatore nel tempo.
Gli output documentati includono punti, riquadri e poligoni per l'ancoraggio spaziale, clip per gli intervalli temporali e contenitori di tracciamento per il movimento degli oggetti. Track è un contenitore nel markup delle annotazioni generate, non un valore separato del formato di annotazione. I punti di un tracciamento possono essere radi: un tracciamento restituito non garantisce un riquadro per ogni fotogramma originale né la visibilità continua dell'oggetto. Conserva i media originali e l'associazione alle coordinate o ai marcatori temporali, così da poter verificare i risultati sulla scena effettiva.
Mk1.5 aggiunge la comprensione audio nativa, inclusi trascrizione, rilevamento di eventi sonori, riepiloghi e domande su una registrazione. Il produttore accetta WAV, MP3 e FLAC. Il limite audio per elemento è di 16.384 token audio, circa 21,8 minuti al ritmo documentato di circa 750 token al minuto. L'audio condivide il contesto con gli altri input e con il budget di output, quindi una richiesta può esaurire il contesto prima di raggiungere quel limite per elemento.
Per un video la cui colonna sonora sia rilevante, il flusso del produttore abilita esplicitamente l'audio nel video. Indica se l'attività riguarda il parlato, un evento sonoro, la scena visibile o la loro relazione. L'output è testo e contenuto strutturato; Mk1.5 non genera audio parlato. Per la trascrizione, conserva la lingua richiesta e l'associazione temporale invece di trattare una didascalia visiva come una trascrizione.
Il produttore supporta confronti tra input multimediali. Etichetta gli elementi e conserva le associazioni alle risorse. L'asset_idx facoltativo identifica un'occorrenza multimediale disponibile in quel punto della conversazione, non un identificativo persistente di file. Se non è presente alcun selettore esplicito o ereditato, un'annotazione si riferisce all'ultima risorsa disponibile al momento della generazione. Queste convenzioni sono importanti quando un'attività confronta due videocamere, pagine o registrazioni. Il limite per richiesta del produttore è di 256 unità multimediali. Ogni fotogramma in un gruppo video_frames conta ai fini del limite, anche se il gruppo occupa un solo indice di risorsa; l'abilitazione della colonna sonora di un video non aggiunge un'altra risorsa.
Il produttore supporta risposte finali vincolate da JSON Schema o da un'espressione regolare. Definisci i campi o il pattern e verifica i valori restituiti rispetto alla fonte. Documenta inoltre Multilook per prompt indipendenti su un contesto condiviso, un flusso del produttore distinto dalla normale chat con un singolo completamento.
Mk1.5 può scegliere le funzioni fornite, descritte con nomi, scopi e schemi JSON. L'applicazione esegue le chiamate proposte e restituisce le osservazioni. Definisci le azioni consentite e un criterio di completamento per un'attività incarnata o di interfaccia, poi usa il nuovo stato visivo o il risultato dello strumento come prova per il passaggio successivo. L'impegno di ragionamento è configurabile nella variante del produttore.
Gli strumenti funzione non possono essere dichiarati nella stessa richiesta di un output vincolato da JSON Schema o da un'espressione regolare; il produttore indica di richiedere una risposta finale vincolata dopo il ciclo degli strumenti. Esamina il motivo di terminazione prima di usare il risultato, perché la terminazione per lunghezza può indicare un output incompleto.
Un risultato utile è una spiegazione della scena ancorata alle prove, una trascrizione temporizzata, un'annotazione di oggetti o una proposta d'azione sostenuta da prove. Verifica la geometria sui media, distingui i dettagli osservati dall'interpretazione e conserva separatamente le capacità esatte di Mk1.5 relative ad audio, tracciamento e strumenti rispetto alla precedente edizione Mk1.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti perceptron/perceptron-mk1.5 | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.0003 / 1K token Output · Token in output $0.003 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.0003 / 1K token Output · Token in output $0.003 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1.5", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra perceptron/perceptron-mk1.5
Usa i percorsi dei metodi indicati sopra.
perceptron/perceptron-mk1.5Perceptron Mk1.5 comprende testo, immagini, video e audio per attività visive e di agenti incarnati. Restituisce testo, annotazioni spaziali o temporali, tracciamenti di oggetti e chiamate a funzioni proposte, con un contesto dichiarato dal produttore di 36.864 token e un output massimo di 8.192 token.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Perceptron Mk1.5 è il modello multimodale di Perceptron per la comprensione visiva, l'ancoraggio temporale e le attività di agenti incarnati. Accetta testo, immagini, video e audio e restituisce testo, annotazioni spaziali o temporali, risposte strutturate e contenuti di chiamate a funzioni. La specifica attuale del produttore indica un contesto di 36.864 token e un output massimo di 8.192 token; questi limiti esatti sono più precisi della descrizione arrotondata a 32K dell'articolo di lancio.
Un'aggiunta distintiva è il tracciamento degli oggetti nei video sotto forma di geometria con marcatori temporali. Fornisci una descrizione chiara dell'obiettivo e indica cosa deve stabilire il risultato, ad esempio quando un oggetto entra in scena, dove si sposta o quale intervallo contiene una determinata azione. Per le riprese in prima persona, il produttore pone l'accento sul tracciamento delle mani e sulla suddivisione in sottoattività, utili per analizzare cosa faccia un operatore nel tempo.
Gli output documentati includono punti, riquadri e poligoni per l'ancoraggio spaziale, clip per gli intervalli temporali e contenitori di tracciamento per il movimento degli oggetti. Track è un contenitore nel markup delle annotazioni generate, non un valore separato del formato di annotazione. I punti di un tracciamento possono essere radi: un tracciamento restituito non garantisce un riquadro per ogni fotogramma originale né la visibilità continua dell'oggetto. Conserva i media originali e l'associazione alle coordinate o ai marcatori temporali, così da poter verificare i risultati sulla scena effettiva.
Mk1.5 aggiunge la comprensione audio nativa, inclusi trascrizione, rilevamento di eventi sonori, riepiloghi e domande su una registrazione. Il produttore accetta WAV, MP3 e FLAC. Il limite audio per elemento è di 16.384 token audio, circa 21,8 minuti al ritmo documentato di circa 750 token al minuto. L'audio condivide il contesto con gli altri input e con il budget di output, quindi una richiesta può esaurire il contesto prima di raggiungere quel limite per elemento.
Per un video la cui colonna sonora sia rilevante, il flusso del produttore abilita esplicitamente l'audio nel video. Indica se l'attività riguarda il parlato, un evento sonoro, la scena visibile o la loro relazione. L'output è testo e contenuto strutturato; Mk1.5 non genera audio parlato. Per la trascrizione, conserva la lingua richiesta e l'associazione temporale invece di trattare una didascalia visiva come una trascrizione.
Il produttore supporta confronti tra input multimediali. Etichetta gli elementi e conserva le associazioni alle risorse. L'asset_idx facoltativo identifica un'occorrenza multimediale disponibile in quel punto della conversazione, non un identificativo persistente di file. Se non è presente alcun selettore esplicito o ereditato, un'annotazione si riferisce all'ultima risorsa disponibile al momento della generazione. Queste convenzioni sono importanti quando un'attività confronta due videocamere, pagine o registrazioni. Il limite per richiesta del produttore è di 256 unità multimediali. Ogni fotogramma in un gruppo video_frames conta ai fini del limite, anche se il gruppo occupa un solo indice di risorsa; l'abilitazione della colonna sonora di un video non aggiunge un'altra risorsa.
Il produttore supporta risposte finali vincolate da JSON Schema o da un'espressione regolare. Definisci i campi o il pattern e verifica i valori restituiti rispetto alla fonte. Documenta inoltre Multilook per prompt indipendenti su un contesto condiviso, un flusso del produttore distinto dalla normale chat con un singolo completamento.
Mk1.5 può scegliere le funzioni fornite, descritte con nomi, scopi e schemi JSON. L'applicazione esegue le chiamate proposte e restituisce le osservazioni. Definisci le azioni consentite e un criterio di completamento per un'attività incarnata o di interfaccia, poi usa il nuovo stato visivo o il risultato dello strumento come prova per il passaggio successivo. L'impegno di ragionamento è configurabile nella variante del produttore.
Gli strumenti funzione non possono essere dichiarati nella stessa richiesta di un output vincolato da JSON Schema o da un'espressione regolare; il produttore indica di richiedere una risposta finale vincolata dopo il ciclo degli strumenti. Esamina il motivo di terminazione prima di usare il risultato, perché la terminazione per lunghezza può indicare un output incompleto.
Un risultato utile è una spiegazione della scena ancorata alle prove, una trascrizione temporizzata, un'annotazione di oggetti o una proposta d'azione sostenuta da prove. Verifica la geometria sui media, distingui i dettagli osservati dall'interpretazione e conserva separatamente le capacità esatte di Mk1.5 relative ad audio, tracciamento e strumenti rispetto alla precedente edizione Mk1.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti perceptron/perceptron-mk1.5 | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.0003 / 1K token Output · Token in output $0.003 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.0003 / 1K token Output · Token in output $0.003 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "perceptron/perceptron-mk1.5",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra perceptron/perceptron-mk1.5
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.