Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et de la vidéo et le raisonnement incarné. Il analyse les sources visuelles en relation avec une question écrite et renvoie du texte et des annotations spatiales ou temporelles structurées. La variante du concepteur possède un contexte multimodal de 32K et un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer des événements au fil du temps, au lieu de seulement étiqueter une image. Une séquence sportive, une démonstration culinaire ou une tâche d’opérateur peut produire un compte rendu structuré de ce qui s’est passé et à quel moment. Le producteur documente une analyse vidéo dynamique allant jusqu’à deux images par seconde. Ce mode d’échantillonnage se distingue de la cadence d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle dont vous avez besoin. Voici un exemple d’instruction : « Identifie les moments où l’objet est posé sur l’étagère, renvoie les intervalles temporels et explique les éléments visibles pour chacun. » Gardez la vidéo source et les références temporelles ensemble afin de pouvoir vérifier une annotation de clip ou un intervalle d’événement avant qu’une autre application ne l’utilise.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, suivi de la localisation d’instances correspondantes dans un nouveau contenu. Définissez ce qui rend une instance pertinente et préservez le libellé de référence. Pour une comparaison, fournissez les deux médias et énoncez les critères : l’objet, l’action, la condition ou le détail documentaire à comparer.
Il s’agit de préparer la tâche à l’aide d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez à la sortie d’identifier l’entrée qui étaye chaque constat. Une similarité visible doit rester distincte d’une conclusion déduite à propos d’un événement.
Les capacités d’image du producteur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait aussi des documents complexes en HTML, JSON ou Markdown tout en préservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et précisez les champs ou la question. Un résultat utile conserve le lien avec la source et distingue le texte extrait de son interprétation. Les petits caractères, les occultations et les éléments de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne les points, les boîtes, les polygones, les trajectoires et les clips comme des sorties structurées à part entière aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations de réussite ou d’échec observées à un processus robotique ou analytique environnant. Une tâche multicaméra doit identifier les vues et préserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide de son utilisation et effectue toute action physique ou dans l’interface. Une cible proposée ou un intervalle annoté se distingue d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, le prompt, l’historique et la sortie générée dans le contexte de 32K. Demandez le livrable final et les éléments qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans lien qu’il définisse lui-même son objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans le média original.
Mk1 conserve son édition désignée et ses caractéristiques visuelles propres. Il ne faut pas attribuer à cette version antérieure l’entrée audio native, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un relevé documentaire ou une annotation spatiale ou temporelle vérifiable, reliés aux éléments visuels fournis.
", "aboutText": "Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et de la vidéo et le raisonnement incarné. Il analyse les sources visuelles en relation avec une question écrite et renvoie du texte et des annotations spatiales ou temporelles structurées. La variante du concepteur possède un contexte multimodal de 32K et un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.\n\n### Raisonnement et ancrage temporels\n\nLe fabricant développe Mk1 pour expliquer des événements au fil du temps, au lieu de seulement étiqueter une image. Une séquence sportive, une démonstration culinaire ou une tâche d’opérateur peut produire un compte rendu structuré de ce qui s’est passé et à quel moment. Le producteur documente une analyse vidéo dynamique allant jusqu’à deux images par seconde. Ce mode d’échantillonnage se distingue de la cadence d’origine de la vidéo source.\n\nPour localiser un événement, décrivez l’action et l’intervalle dont vous avez besoin. Voici un exemple d’instruction : « Identifie les moments où l’objet est posé sur l’étagère, renvoie les intervalles temporels et explique les éléments visibles pour chacun. » Gardez la vidéo source et les références temporelles ensemble afin de pouvoir vérifier une annotation de clip ou un intervalle d’événement avant qu’une autre application ne l’utilise.\n\n### Exemples de référence et comparaison\n\nMk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, suivi de la localisation d’instances correspondantes dans un nouveau contenu. Définissez ce qui rend une instance pertinente et préservez le libellé de référence. Pour une comparaison, fournissez les deux médias et énoncez les critères : l’objet, l’action, la condition ou le détail documentaire à comparer.\n\nIl s’agit de préparer la tâche à l’aide d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez à la sortie d’identifier l’entrée qui étaye chaque constat. Une similarité visible doit rester distincte d’une conclusion déduite à propos d’un événement.\n\n### Tâches sur les images et les documents\n\nLes capacités d’image du producteur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait aussi des documents complexes en HTML, JSON ou Markdown tout en préservant les relations de mise en page, les tableaux et la hiérarchie.\n\nFournissez une image de page lisible et précisez les champs ou la question. Un résultat utile conserve le lien avec la source et distingue le texte extrait de son interprétation. Les petits caractères, les occultations et les éléments de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.\n\n### Primitives spatiales et travail incarné\n\nLe concepteur entraîne les points, les boîtes, les polygones, les trajectoires et les clips comme des sorties structurées à part entière aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations de réussite ou d’échec observées à un processus robotique ou analytique environnant. Une tâche multicaméra doit identifier les vues et préserver l’association entre chaque annotation et sa source.\n\nLe modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide de son utilisation et effectue toute action physique ou dans l’interface. Une cible proposée ou un intervalle annoté se distingue d’une opération exécutée ou d’un fichier multimédia exporté.\n\n### Limites et périmètre de l’édition\n\nRépartissez la représentation vidéo, le contenu des images, le prompt, l’historique et la sortie générée dans le contexte de 32K. Demandez le livrable final et les éléments qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans lien qu’il définisse lui-même son objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans le média original.\n\nMk1 conserve son édition désignée et ses caractéristiques visuelles propres. Il ne faut pas attribuer à cette version antérieure l’entrée audio native, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un relevé documentaire ou une annotation spatiale ou temporelle vérifiable, reliés aux éléments visuels fournis.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Annotate a transcribed event sequence\n\nUse these written observations from clip C: [00:02] hand grips a cup; [00:05] cup rests on shelf; [00:08] hand releases cup; [00:11] hand leaves frame. Return the interval from shelf contact to release and cite the two observations that bound it. State that you are using notes rather than inspecting video.A textual interval annotation with source timestamps, bounding evidence and the stated notes-only basis.Check the interval uses contact and release timestamps rather than grip or departure.perceptron/perceptron-mk1Perceptron Mk1 est le modèle d’images et de vidéo de Perceptron pour la compréhension temporelle, l’ancrage spatial et le raisonnement incarné. Il produit du texte et des annotations structurées pour les scènes, les documents et les actions visibles, avec un contexte multimodal de 32K et un raisonnement facultatif.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et de la vidéo et le raisonnement incarné. Il analyse les sources visuelles en relation avec une question écrite et renvoie du texte et des annotations spatiales ou temporelles structurées. La variante du concepteur possède un contexte multimodal de 32K et un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer des événements au fil du temps, au lieu de seulement étiqueter une image. Une séquence sportive, une démonstration culinaire ou une tâche d’opérateur peut produire un compte rendu structuré de ce qui s’est passé et à quel moment. Le producteur documente une analyse vidéo dynamique allant jusqu’à deux images par seconde. Ce mode d’échantillonnage se distingue de la cadence d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle dont vous avez besoin. Voici un exemple d’instruction : « Identifie les moments où l’objet est posé sur l’étagère, renvoie les intervalles temporels et explique les éléments visibles pour chacun. » Gardez la vidéo source et les références temporelles ensemble afin de pouvoir vérifier une annotation de clip ou un intervalle d’événement avant qu’une autre application ne l’utilise.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, suivi de la localisation d’instances correspondantes dans un nouveau contenu. Définissez ce qui rend une instance pertinente et préservez le libellé de référence. Pour une comparaison, fournissez les deux médias et énoncez les critères : l’objet, l’action, la condition ou le détail documentaire à comparer.
Il s’agit de préparer la tâche à l’aide d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez à la sortie d’identifier l’entrée qui étaye chaque constat. Une similarité visible doit rester distincte d’une conclusion déduite à propos d’un événement.
Les capacités d’image du producteur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait aussi des documents complexes en HTML, JSON ou Markdown tout en préservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et précisez les champs ou la question. Un résultat utile conserve le lien avec la source et distingue le texte extrait de son interprétation. Les petits caractères, les occultations et les éléments de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne les points, les boîtes, les polygones, les trajectoires et les clips comme des sorties structurées à part entière aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations de réussite ou d’échec observées à un processus robotique ou analytique environnant. Une tâche multicaméra doit identifier les vues et préserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide de son utilisation et effectue toute action physique ou dans l’interface. Une cible proposée ou un intervalle annoté se distingue d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, le prompt, l’historique et la sortie générée dans le contexte de 32K. Demandez le livrable final et les éléments qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans lien qu’il définisse lui-même son objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans le média original.
Mk1 conserve son édition désignée et ses caractéristiques visuelles propres. Il ne faut pas attribuer à cette version antérieure l’entrée audio native, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un relevé documentaire ou une annotation spatiale ou temporelle vérifiable, reliés aux éléments visuels fournis.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1
Utilisez les chemins de méthode indiqués ci-dessus.
perceptron/perceptron-mk1Perceptron Mk1 est le modèle d’images et de vidéo de Perceptron pour la compréhension temporelle, l’ancrage spatial et le raisonnement incarné. Il produit du texte et des annotations structurées pour les scènes, les documents et les actions visibles, avec un contexte multimodal de 32K et un raisonnement facultatif.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et de la vidéo et le raisonnement incarné. Il analyse les sources visuelles en relation avec une question écrite et renvoie du texte et des annotations spatiales ou temporelles structurées. La variante du concepteur possède un contexte multimodal de 32K et un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer des événements au fil du temps, au lieu de seulement étiqueter une image. Une séquence sportive, une démonstration culinaire ou une tâche d’opérateur peut produire un compte rendu structuré de ce qui s’est passé et à quel moment. Le producteur documente une analyse vidéo dynamique allant jusqu’à deux images par seconde. Ce mode d’échantillonnage se distingue de la cadence d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle dont vous avez besoin. Voici un exemple d’instruction : « Identifie les moments où l’objet est posé sur l’étagère, renvoie les intervalles temporels et explique les éléments visibles pour chacun. » Gardez la vidéo source et les références temporelles ensemble afin de pouvoir vérifier une annotation de clip ou un intervalle d’événement avant qu’une autre application ne l’utilise.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, suivi de la localisation d’instances correspondantes dans un nouveau contenu. Définissez ce qui rend une instance pertinente et préservez le libellé de référence. Pour une comparaison, fournissez les deux médias et énoncez les critères : l’objet, l’action, la condition ou le détail documentaire à comparer.
Il s’agit de préparer la tâche à l’aide d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez à la sortie d’identifier l’entrée qui étaye chaque constat. Une similarité visible doit rester distincte d’une conclusion déduite à propos d’un événement.
Les capacités d’image du producteur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait aussi des documents complexes en HTML, JSON ou Markdown tout en préservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et précisez les champs ou la question. Un résultat utile conserve le lien avec la source et distingue le texte extrait de son interprétation. Les petits caractères, les occultations et les éléments de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne les points, les boîtes, les polygones, les trajectoires et les clips comme des sorties structurées à part entière aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations de réussite ou d’échec observées à un processus robotique ou analytique environnant. Une tâche multicaméra doit identifier les vues et préserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide de son utilisation et effectue toute action physique ou dans l’interface. Une cible proposée ou un intervalle annoté se distingue d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, le prompt, l’historique et la sortie générée dans le contexte de 32K. Demandez le livrable final et les éléments qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans lien qu’il définisse lui-même son objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans le média original.
Mk1 conserve son édition désignée et ses caractéristiques visuelles propres. Il ne faut pas attribuer à cette version antérieure l’entrée audio native, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un relevé documentaire ou une annotation spatiale ou temporelle vérifiable, reliés aux éléments visuels fournis.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "perceptron/perceptron-mk1",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Annotate a transcribed event sequence\n\nUse these written observations from clip C: [00:02] hand grips a cup; [00:05] cup rests on shelf; [00:08] hand releases cup; [00:11] hand leaves frame. Return the interval from shelf contact to release and cite the two observations that bound it. State that you are using notes rather than inspecting video.A textual interval annotation with source timestamps, bounding evidence and the stated notes-only basis.Check the interval uses contact and release timestamps rather than grip or departure.