Perceptron Mk1.5 est le modèle multimodal de Perceptron pour la compréhension visuelle, l’ancrage temporel et les tâches d’agents incarnés. Il accepte du texte, des images, de la vidéo et de l’audio, et renvoie du texte, des annotations spatiales ou temporelles, des réponses structurées et du contenu d’appels de fonctions. La spécification actuelle du concepteur indique un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens ; ces limites exactes sont plus précises que la description arrondie à 32K dans l’article de lancement.
Un ajout caractéristique est le suivi d’objets dans une vidéo sous forme de géométrie horodatée. Décrivez clairement la cible et précisez ce que le résultat doit établir, par exemple quand un objet entre dans une scène, où il se déplace ou quel intervalle contient une action particulière. Pour les séquences à la première personne, le producteur met l’accent sur le suivi des mains et la segmentation en sous-tâches, utiles pour analyser ce qu’un opérateur fait au fil du temps.
Les sorties documentées comprennent des points, des boîtes et des polygones pour l’ancrage spatial, des clips pour les intervalles temporels et des conteneurs track pour le déplacement d’objets. Track est un conteneur dans le balisage d’annotation généré, et non une valeur distincte de format d’annotation. Les points de passage d’une trajectoire peuvent être espacés : une trajectoire renvoyée ne garantit ni une boîte pour chaque image source ni une visibilité continue de l’objet. Conservez le média original et l’association aux coordonnées ou aux horodatages afin de pouvoir vérifier ces résultats dans la scène réelle.
Mk1.5 ajoute une compréhension native de l’audio, notamment la transcription, la détection d’événements sonores, les résumés et les questions sur un enregistrement. Le producteur accepte WAV, MP3 et FLAC. Sa limite audio par élément est de 16 384 tokens audio, soit environ 21,8 minutes au rythme documenté d’environ 750 tokens par minute. L’audio partage le contexte avec les autres entrées et le budget de sortie ; une requête peut donc remplir le contexte avant d’atteindre cette limite par élément.
Pour une vidéo dont la bande-son compte, le processus du concepteur active explicitement l’audio dans la vidéo. Précisez si la tâche porte sur la parole, un événement sonore, la scène visible ou leur relation. La sortie est constituée de texte et de contenu structuré ; Mk1.5 ne génère pas de parole audio. Pour la transcription, préservez la langue demandée et l’association temporelle au lieu de considérer une légende visuelle comme une transcription.
Le producteur prend en charge les comparaisons entre entrées multimédias. Identifiez les éléments et conservez leurs associations aux médias. Le paramètre facultatif asset_idx identifie une occurrence de média disponible à ce stade de la conversation, et non un identifiant de fichier persistant. En l’absence de sélecteur explicite ou hérité, une annotation se rapporte au dernier média disponible au moment de la génération. Ces conventions comptent lorsqu’une tâche compare deux caméras, pages ou enregistrements. Le producteur fixe une limite de 256 unités multimédias par requête. Chaque image d’un groupe video_frames compte dans cette limite, même si le groupe occupe un seul indice de média ; l’activation de la bande-son d’une vidéo n’ajoute pas de média supplémentaire.
Le concepteur prend en charge des réponses finales contraintes par JSON Schema ou par une expression régulière. Définissez les champs ou le motif et vérifiez les valeurs renvoyées par rapport à la source. Il documente aussi Multilook pour des prompts indépendants sur un contexte partagé, un processus distinct de la conversation ordinaire à réponse unique.
Mk1.5 peut choisir parmi les fonctions fournies, décrites par des noms, des objectifs et des schémas JSON. L’application exécute les appels proposés et renvoie des observations. Définissez les actions autorisées et un critère d’achèvement pour une tâche incarnée ou d’interface, puis utilisez le nouvel état visuel ou le résultat d’outil comme élément probant pour l’étape suivante. L’effort de raisonnement est configurable dans la variante du producteur.
Les outils de fonction ne peuvent pas être déclarés dans la même requête qu’une sortie contrainte par JSON Schema ou par une expression régulière ; le concepteur demande de solliciter une réponse finale contrainte après la boucle d’outils. Examinez la raison de fin avant d’utiliser le résultat, car un arrêt dû à la longueur peut signifier que la sortie est incomplète.
Un livrable utile est une explication de scène ancrée dans les observations, une transcription horodatée, une annotation d’objet ou une proposition d’action étayée par des éléments probants. Vérifiez la géométrie dans le média, distinguez les détails observés de leur interprétation et gardez les capacités exactes de Mk1.5 pour l’audio, le suivi et les outils séparées de celles de l’édition Mk1 précédente.
", "aboutText": "Perceptron Mk1.5 est le modèle multimodal de Perceptron pour la compréhension visuelle, l’ancrage temporel et les tâches d’agents incarnés. Il accepte du texte, des images, de la vidéo et de l’audio, et renvoie du texte, des annotations spatiales ou temporelles, des réponses structurées et du contenu d’appels de fonctions. La spécification actuelle du concepteur indique un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens ; ces limites exactes sont plus précises que la description arrondie à 32K dans l’article de lancement.\n\n### Vidéo et suivi d’objets\n\nUn ajout caractéristique est le suivi d’objets dans une vidéo sous forme de géométrie horodatée. Décrivez clairement la cible et précisez ce que le résultat doit établir, par exemple quand un objet entre dans une scène, où il se déplace ou quel intervalle contient une action particulière. Pour les séquences à la première personne, le producteur met l’accent sur le suivi des mains et la segmentation en sous-tâches, utiles pour analyser ce qu’un opérateur fait au fil du temps.\n\nLes sorties documentées comprennent des points, des boîtes et des polygones pour l’ancrage spatial, des clips pour les intervalles temporels et des conteneurs track pour le déplacement d’objets. Track est un conteneur dans le balisage d’annotation généré, et non une valeur distincte de format d’annotation. Les points de passage d’une trajectoire peuvent être espacés : une trajectoire renvoyée ne garantit ni une boîte pour chaque image source ni une visibilité continue de l’objet. Conservez le média original et l’association aux coordonnées ou aux horodatages afin de pouvoir vérifier ces résultats dans la scène réelle.\n\n### Audio et éléments combinés\n\nMk1.5 ajoute une compréhension native de l’audio, notamment la transcription, la détection d’événements sonores, les résumés et les questions sur un enregistrement. Le producteur accepte WAV, MP3 et FLAC. Sa limite audio par élément est de 16 384 tokens audio, soit environ 21,8 minutes au rythme documenté d’environ 750 tokens par minute. L’audio partage le contexte avec les autres entrées et le budget de sortie ; une requête peut donc remplir le contexte avant d’atteindre cette limite par élément.\n\nPour une vidéo dont la bande-son compte, le processus du concepteur active explicitement l’audio dans la vidéo. Précisez si la tâche porte sur la parole, un événement sonore, la scène visible ou leur relation. La sortie est constituée de texte et de contenu structuré ; Mk1.5 ne génère pas de parole audio. Pour la transcription, préservez la langue demandée et l’association temporelle au lieu de considérer une légende visuelle comme une transcription.\n\n### Plusieurs médias et réponses structurées\n\nLe producteur prend en charge les comparaisons entre entrées multimédias. Identifiez les éléments et conservez leurs associations aux médias. Le paramètre facultatif asset_idx identifie une occurrence de média disponible à ce stade de la conversation, et non un identifiant de fichier persistant. En l’absence de sélecteur explicite ou hérité, une annotation se rapporte au dernier média disponible au moment de la génération. Ces conventions comptent lorsqu’une tâche compare deux caméras, pages ou enregistrements. Le producteur fixe une limite de 256 unités multimédias par requête. Chaque image d’un groupe video_frames compte dans cette limite, même si le groupe occupe un seul indice de média ; l’activation de la bande-son d’une vidéo n’ajoute pas de média supplémentaire.\n\nLe concepteur prend en charge des réponses finales contraintes par JSON Schema ou par une expression régulière. Définissez les champs ou le motif et vérifiez les valeurs renvoyées par rapport à la source. Il documente aussi Multilook pour des prompts indépendants sur un contexte partagé, un processus distinct de la conversation ordinaire à réponse unique.\n\n### Fonctions et raisonnement\n\nMk1.5 peut choisir parmi les fonctions fournies, décrites par des noms, des objectifs et des schémas JSON. L’application exécute les appels proposés et renvoie des observations. Définissez les actions autorisées et un critère d’achèvement pour une tâche incarnée ou d’interface, puis utilisez le nouvel état visuel ou le résultat d’outil comme élément probant pour l’étape suivante. L’effort de raisonnement est configurable dans la variante du producteur.\n\nLes outils de fonction ne peuvent pas être déclarés dans la même requête qu’une sortie contrainte par JSON Schema ou par une expression régulière ; le concepteur demande de solliciter une réponse finale contrainte après la boucle d’outils. Examinez la raison de fin avant d’utiliser le résultat, car un arrêt dû à la longueur peut signifier que la sortie est incomplète.\n\nUn livrable utile est une explication de scène ancrée dans les observations, une transcription horodatée, une annotation d’objet ou une proposition d’action étayée par des éléments probants. Vérifiez la géométrie dans le média, distinguez les détails observés de leur interprétation et gardez les capacités exactes de Mk1.5 pour l’audio, le suivi et les outils séparées de celles de l’édition Mk1 précédente.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.perceptron/perceptron-mk1.5Perceptron Mk1.5 comprend le texte, les images, la vidéo et l’audio pour les tâches visuelles et incarnées. Il renvoie du texte, des annotations spatiales ou temporelles, des trajectoires d’objets et des propositions d’appels de fonctions, avec un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens indiqués par le producteur.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1.5 est le modèle multimodal de Perceptron pour la compréhension visuelle, l’ancrage temporel et les tâches d’agents incarnés. Il accepte du texte, des images, de la vidéo et de l’audio, et renvoie du texte, des annotations spatiales ou temporelles, des réponses structurées et du contenu d’appels de fonctions. La spécification actuelle du concepteur indique un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens ; ces limites exactes sont plus précises que la description arrondie à 32K dans l’article de lancement.
Un ajout caractéristique est le suivi d’objets dans une vidéo sous forme de géométrie horodatée. Décrivez clairement la cible et précisez ce que le résultat doit établir, par exemple quand un objet entre dans une scène, où il se déplace ou quel intervalle contient une action particulière. Pour les séquences à la première personne, le producteur met l’accent sur le suivi des mains et la segmentation en sous-tâches, utiles pour analyser ce qu’un opérateur fait au fil du temps.
Les sorties documentées comprennent des points, des boîtes et des polygones pour l’ancrage spatial, des clips pour les intervalles temporels et des conteneurs track pour le déplacement d’objets. Track est un conteneur dans le balisage d’annotation généré, et non une valeur distincte de format d’annotation. Les points de passage d’une trajectoire peuvent être espacés : une trajectoire renvoyée ne garantit ni une boîte pour chaque image source ni une visibilité continue de l’objet. Conservez le média original et l’association aux coordonnées ou aux horodatages afin de pouvoir vérifier ces résultats dans la scène réelle.
Mk1.5 ajoute une compréhension native de l’audio, notamment la transcription, la détection d’événements sonores, les résumés et les questions sur un enregistrement. Le producteur accepte WAV, MP3 et FLAC. Sa limite audio par élément est de 16 384 tokens audio, soit environ 21,8 minutes au rythme documenté d’environ 750 tokens par minute. L’audio partage le contexte avec les autres entrées et le budget de sortie ; une requête peut donc remplir le contexte avant d’atteindre cette limite par élément.
Pour une vidéo dont la bande-son compte, le processus du concepteur active explicitement l’audio dans la vidéo. Précisez si la tâche porte sur la parole, un événement sonore, la scène visible ou leur relation. La sortie est constituée de texte et de contenu structuré ; Mk1.5 ne génère pas de parole audio. Pour la transcription, préservez la langue demandée et l’association temporelle au lieu de considérer une légende visuelle comme une transcription.
Le producteur prend en charge les comparaisons entre entrées multimédias. Identifiez les éléments et conservez leurs associations aux médias. Le paramètre facultatif asset_idx identifie une occurrence de média disponible à ce stade de la conversation, et non un identifiant de fichier persistant. En l’absence de sélecteur explicite ou hérité, une annotation se rapporte au dernier média disponible au moment de la génération. Ces conventions comptent lorsqu’une tâche compare deux caméras, pages ou enregistrements. Le producteur fixe une limite de 256 unités multimédias par requête. Chaque image d’un groupe video_frames compte dans cette limite, même si le groupe occupe un seul indice de média ; l’activation de la bande-son d’une vidéo n’ajoute pas de média supplémentaire.
Le concepteur prend en charge des réponses finales contraintes par JSON Schema ou par une expression régulière. Définissez les champs ou le motif et vérifiez les valeurs renvoyées par rapport à la source. Il documente aussi Multilook pour des prompts indépendants sur un contexte partagé, un processus distinct de la conversation ordinaire à réponse unique.
Mk1.5 peut choisir parmi les fonctions fournies, décrites par des noms, des objectifs et des schémas JSON. L’application exécute les appels proposés et renvoie des observations. Définissez les actions autorisées et un critère d’achèvement pour une tâche incarnée ou d’interface, puis utilisez le nouvel état visuel ou le résultat d’outil comme élément probant pour l’étape suivante. L’effort de raisonnement est configurable dans la variante du producteur.
Les outils de fonction ne peuvent pas être déclarés dans la même requête qu’une sortie contrainte par JSON Schema ou par une expression régulière ; le concepteur demande de solliciter une réponse finale contrainte après la boucle d’outils. Examinez la raison de fin avant d’utiliser le résultat, car un arrêt dû à la longueur peut signifier que la sortie est incomplète.
Un livrable utile est une explication de scène ancrée dans les observations, une transcription horodatée, une annotation d’objet ou une proposition d’action étayée par des éléments probants. Vérifiez la géométrie dans le média, distinguez les détails observés de leur interprétation et gardez les capacités exactes de Mk1.5 pour l’audio, le suivi et les outils séparées de celles de l’édition Mk1 précédente.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1.5 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1.5", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1.5
Utilisez les chemins de méthode indiqués ci-dessus.
perceptron/perceptron-mk1.5Perceptron Mk1.5 comprend le texte, les images, la vidéo et l’audio pour les tâches visuelles et incarnées. Il renvoie du texte, des annotations spatiales ou temporelles, des trajectoires d’objets et des propositions d’appels de fonctions, avec un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens indiqués par le producteur.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1.5 est le modèle multimodal de Perceptron pour la compréhension visuelle, l’ancrage temporel et les tâches d’agents incarnés. Il accepte du texte, des images, de la vidéo et de l’audio, et renvoie du texte, des annotations spatiales ou temporelles, des réponses structurées et du contenu d’appels de fonctions. La spécification actuelle du concepteur indique un contexte de 36 864 tokens et une sortie maximale de 8 192 tokens ; ces limites exactes sont plus précises que la description arrondie à 32K dans l’article de lancement.
Un ajout caractéristique est le suivi d’objets dans une vidéo sous forme de géométrie horodatée. Décrivez clairement la cible et précisez ce que le résultat doit établir, par exemple quand un objet entre dans une scène, où il se déplace ou quel intervalle contient une action particulière. Pour les séquences à la première personne, le producteur met l’accent sur le suivi des mains et la segmentation en sous-tâches, utiles pour analyser ce qu’un opérateur fait au fil du temps.
Les sorties documentées comprennent des points, des boîtes et des polygones pour l’ancrage spatial, des clips pour les intervalles temporels et des conteneurs track pour le déplacement d’objets. Track est un conteneur dans le balisage d’annotation généré, et non une valeur distincte de format d’annotation. Les points de passage d’une trajectoire peuvent être espacés : une trajectoire renvoyée ne garantit ni une boîte pour chaque image source ni une visibilité continue de l’objet. Conservez le média original et l’association aux coordonnées ou aux horodatages afin de pouvoir vérifier ces résultats dans la scène réelle.
Mk1.5 ajoute une compréhension native de l’audio, notamment la transcription, la détection d’événements sonores, les résumés et les questions sur un enregistrement. Le producteur accepte WAV, MP3 et FLAC. Sa limite audio par élément est de 16 384 tokens audio, soit environ 21,8 minutes au rythme documenté d’environ 750 tokens par minute. L’audio partage le contexte avec les autres entrées et le budget de sortie ; une requête peut donc remplir le contexte avant d’atteindre cette limite par élément.
Pour une vidéo dont la bande-son compte, le processus du concepteur active explicitement l’audio dans la vidéo. Précisez si la tâche porte sur la parole, un événement sonore, la scène visible ou leur relation. La sortie est constituée de texte et de contenu structuré ; Mk1.5 ne génère pas de parole audio. Pour la transcription, préservez la langue demandée et l’association temporelle au lieu de considérer une légende visuelle comme une transcription.
Le producteur prend en charge les comparaisons entre entrées multimédias. Identifiez les éléments et conservez leurs associations aux médias. Le paramètre facultatif asset_idx identifie une occurrence de média disponible à ce stade de la conversation, et non un identifiant de fichier persistant. En l’absence de sélecteur explicite ou hérité, une annotation se rapporte au dernier média disponible au moment de la génération. Ces conventions comptent lorsqu’une tâche compare deux caméras, pages ou enregistrements. Le producteur fixe une limite de 256 unités multimédias par requête. Chaque image d’un groupe video_frames compte dans cette limite, même si le groupe occupe un seul indice de média ; l’activation de la bande-son d’une vidéo n’ajoute pas de média supplémentaire.
Le concepteur prend en charge des réponses finales contraintes par JSON Schema ou par une expression régulière. Définissez les champs ou le motif et vérifiez les valeurs renvoyées par rapport à la source. Il documente aussi Multilook pour des prompts indépendants sur un contexte partagé, un processus distinct de la conversation ordinaire à réponse unique.
Mk1.5 peut choisir parmi les fonctions fournies, décrites par des noms, des objectifs et des schémas JSON. L’application exécute les appels proposés et renvoie des observations. Définissez les actions autorisées et un critère d’achèvement pour une tâche incarnée ou d’interface, puis utilisez le nouvel état visuel ou le résultat d’outil comme élément probant pour l’étape suivante. L’effort de raisonnement est configurable dans la variante du producteur.
Les outils de fonction ne peuvent pas être déclarés dans la même requête qu’une sortie contrainte par JSON Schema ou par une expression régulière ; le concepteur demande de solliciter une réponse finale contrainte après la boucle d’outils. Examinez la raison de fin avant d’utiliser le résultat, car un arrêt dû à la longueur peut signifier que la sortie est incomplète.
Un livrable utile est une explication de scène ancrée dans les observations, une transcription horodatée, une annotation d’objet ou une proposition d’action étayée par des éléments probants. Vérifiez la géométrie dans le média, distinguez les détails observés de leur interprétation et gardez les capacités exactes de Mk1.5 pour l’audio, le suivi et les outils séparées de celles de l’édition Mk1 précédente.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1.5 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "perceptron/perceptron-mk1.5",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1.5
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.