Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et des vidéos et le raisonnement incarné. Il analyse les éléments visuels sources en lien avec une question écrite et renvoie du texte ainsi que des annotations spatiales ou temporelles structurées. La variante de son concepteur dispose d’un contexte multimodal de 32 K et d’un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer les événements dans le temps, plutôt que pour simplement étiqueter une image. Une séquence sportive, une démonstration culinaire ou la tâche d’un opérateur peut donner lieu à un compte rendu structuré de ce qui s’est passé et à quel moment. Le fournisseur documente une analyse vidéo dynamique jusqu’à deux images par seconde. Ce profil d’échantillonnage est distinct de la fréquence d’images d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle souhaité. Exemple d’instruction : « Identifiez les moments où l’objet est posé sur l’étagère, renvoyez les intervalles temporels et expliquez les preuves visibles pour chacun. » Conservez ensemble la vidéo source et les références temporelles afin de vérifier une annotation de découpage ou un intervalle d’événement avant son utilisation par une autre application.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, puis la localisation d’occurrences correspondantes dans de nouveaux éléments. Définissez ce qui rend une occurrence pertinente et conservez l’étiquette de référence. Pour une comparaison, fournissez les deux médias et indiquez les critères : objet, action, condition ou détail du document à comparer.
Cela permet de préparer la tâche au moyen d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez au résultat d’identifier l’entrée qui étaye chaque constatation. Une ressemblance visible doit rester distincte d’une conclusion déduite sur un événement.
Les capacités d’image du fournisseur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait également des documents complexes en HTML, JSON ou Markdown en conservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et indiquez les champs ou la question. Un résultat utile conserve l’association à la source et distingue la formulation extraite de l’interprétation. Les petits caractères, les occultations et les indices de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne le modèle à produire des points, des cadres, des polygones, des trajectoires et des clips comme sorties structurées de premier plan, aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations observées de réussite ou d’échec à un processus environnant de robotique ou d’analyse. Une tâche utilisant plusieurs caméras doit étiqueter les vues et conserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide comment l’utiliser et effectue toute action physique ou d’interface. Une cible proposée ou un intervalle annoté est distinct d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, l’instruction, l’historique et la sortie générée dans le contexte de 32 K. Demandez le livrable final et les preuves qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans rapport qu’il définisse son propre objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans les médias d’origine.
Mk1 conserve son édition nommée et son profil visuel propres. Il ne faut pas déduire pour cette version antérieure la prise en charge native de l’audio en entrée, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un enregistrement documentaire ou une annotation spatiale ou temporelle vérifiable, reliée aux preuves visuelles fournies.
", "aboutText": "Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et des vidéos et le raisonnement incarné. Il analyse les éléments visuels sources en lien avec une question écrite et renvoie du texte ainsi que des annotations spatiales ou temporelles structurées. La variante de son concepteur dispose d’un contexte multimodal de 32 K et d’un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.\n\n### Raisonnement et ancrage temporels\n\nLe fabricant développe Mk1 pour expliquer les événements dans le temps, plutôt que pour simplement étiqueter une image. Une séquence sportive, une démonstration culinaire ou la tâche d’un opérateur peut donner lieu à un compte rendu structuré de ce qui s’est passé et à quel moment. Le fournisseur documente une analyse vidéo dynamique jusqu’à deux images par seconde. Ce profil d’échantillonnage est distinct de la fréquence d’images d’origine de la vidéo source.\n\nPour localiser un événement, décrivez l’action et l’intervalle souhaité. Exemple d’instruction : « Identifiez les moments où l’objet est posé sur l’étagère, renvoyez les intervalles temporels et expliquez les preuves visibles pour chacun. » Conservez ensemble la vidéo source et les références temporelles afin de vérifier une annotation de découpage ou un intervalle d’événement avant son utilisation par une autre application.\n\n### Exemples de référence et comparaison\n\nMk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, puis la localisation d’occurrences correspondantes dans de nouveaux éléments. Définissez ce qui rend une occurrence pertinente et conservez l’étiquette de référence. Pour une comparaison, fournissez les deux médias et indiquez les critères : objet, action, condition ou détail du document à comparer.\n\nCela permet de préparer la tâche au moyen d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez au résultat d’identifier l’entrée qui étaye chaque constatation. Une ressemblance visible doit rester distincte d’une conclusion déduite sur un événement.\n\n### Tâches d’image et de document\n\nLes capacités d’image du fournisseur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait également des documents complexes en HTML, JSON ou Markdown en conservant les relations de mise en page, les tableaux et la hiérarchie.\n\nFournissez une image de page lisible et indiquez les champs ou la question. Un résultat utile conserve l’association à la source et distingue la formulation extraite de l’interprétation. Les petits caractères, les occultations et les indices de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.\n\n### Primitives spatiales et travail incarné\n\nLe concepteur entraîne le modèle à produire des points, des cadres, des polygones, des trajectoires et des clips comme sorties structurées de premier plan, aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations observées de réussite ou d’échec à un processus environnant de robotique ou d’analyse. Une tâche utilisant plusieurs caméras doit étiqueter les vues et conserver l’association entre chaque annotation et sa source.\n\nLe modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide comment l’utiliser et effectue toute action physique ou d’interface. Une cible proposée ou un intervalle annoté est distinct d’une opération exécutée ou d’un fichier multimédia exporté.\n\n### Limites et périmètre de l’édition\n\nRépartissez la représentation vidéo, le contenu des images, l’instruction, l’historique et la sortie générée dans le contexte de 32 K. Demandez le livrable final et les preuves qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans rapport qu’il définisse son propre objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans les médias d’origine.\n\nMk1 conserve son édition nommée et son profil visuel propres. Il ne faut pas déduire pour cette version antérieure la prise en charge native de l’audio en entrée, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un enregistrement documentaire ou une annotation spatiale ou temporelle vérifiable, reliée aux preuves visuelles fournies.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Annotate a transcribed event sequence\n\nUse these written observations from clip C: [00:02] hand grips a cup; [00:05] cup rests on shelf; [00:08] hand releases cup; [00:11] hand leaves frame. Return the interval from shelf contact to release and cite the two observations that bound it. State that you are using notes rather than inspecting video.A textual interval annotation with source timestamps, bounding evidence and the stated notes-only basis.Check the interval uses contact and release timestamps rather than grip or departure.perceptron/perceptron-mk1Perceptron Mk1 est le modèle d’image et de vidéo de Perceptron pour la compréhension temporelle, l’ancrage spatial et le raisonnement incarné. Il produit du texte et des annotations structurées pour les scènes, les documents et les actions visibles, avec un contexte multimodal de 32 K et un raisonnement facultatif.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et des vidéos et le raisonnement incarné. Il analyse les éléments visuels sources en lien avec une question écrite et renvoie du texte ainsi que des annotations spatiales ou temporelles structurées. La variante de son concepteur dispose d’un contexte multimodal de 32 K et d’un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer les événements dans le temps, plutôt que pour simplement étiqueter une image. Une séquence sportive, une démonstration culinaire ou la tâche d’un opérateur peut donner lieu à un compte rendu structuré de ce qui s’est passé et à quel moment. Le fournisseur documente une analyse vidéo dynamique jusqu’à deux images par seconde. Ce profil d’échantillonnage est distinct de la fréquence d’images d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle souhaité. Exemple d’instruction : « Identifiez les moments où l’objet est posé sur l’étagère, renvoyez les intervalles temporels et expliquez les preuves visibles pour chacun. » Conservez ensemble la vidéo source et les références temporelles afin de vérifier une annotation de découpage ou un intervalle d’événement avant son utilisation par une autre application.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, puis la localisation d’occurrences correspondantes dans de nouveaux éléments. Définissez ce qui rend une occurrence pertinente et conservez l’étiquette de référence. Pour une comparaison, fournissez les deux médias et indiquez les critères : objet, action, condition ou détail du document à comparer.
Cela permet de préparer la tâche au moyen d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez au résultat d’identifier l’entrée qui étaye chaque constatation. Une ressemblance visible doit rester distincte d’une conclusion déduite sur un événement.
Les capacités d’image du fournisseur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait également des documents complexes en HTML, JSON ou Markdown en conservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et indiquez les champs ou la question. Un résultat utile conserve l’association à la source et distingue la formulation extraite de l’interprétation. Les petits caractères, les occultations et les indices de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne le modèle à produire des points, des cadres, des polygones, des trajectoires et des clips comme sorties structurées de premier plan, aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations observées de réussite ou d’échec à un processus environnant de robotique ou d’analyse. Une tâche utilisant plusieurs caméras doit étiqueter les vues et conserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide comment l’utiliser et effectue toute action physique ou d’interface. Une cible proposée ou un intervalle annoté est distinct d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, l’instruction, l’historique et la sortie générée dans le contexte de 32 K. Demandez le livrable final et les preuves qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans rapport qu’il définisse son propre objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans les médias d’origine.
Mk1 conserve son édition nommée et son profil visuel propres. Il ne faut pas déduire pour cette version antérieure la prise en charge native de l’audio en entrée, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un enregistrement documentaire ou une annotation spatiale ou temporelle vérifiable, reliée aux preuves visuelles fournies.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1
Utilisez les chemins de méthode indiqués ci-dessus.
perceptron/perceptron-mk1Perceptron Mk1 est le modèle d’image et de vidéo de Perceptron pour la compréhension temporelle, l’ancrage spatial et le raisonnement incarné. Il produit du texte et des annotations structurées pour les scènes, les documents et les actions visibles, avec un contexte multimodal de 32 K et un raisonnement facultatif.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Perceptron Mk1 est le modèle de Perceptron pour la compréhension des images et des vidéos et le raisonnement incarné. Il analyse les éléments visuels sources en lien avec une question écrite et renvoie du texte ainsi que des annotations spatiales ou temporelles structurées. La variante de son concepteur dispose d’un contexte multimodal de 32 K et d’un mode de raisonnement hybride qui peut être désactivé pour les tâches ne nécessitant pas de trace de réflexion.
Le fabricant développe Mk1 pour expliquer les événements dans le temps, plutôt que pour simplement étiqueter une image. Une séquence sportive, une démonstration culinaire ou la tâche d’un opérateur peut donner lieu à un compte rendu structuré de ce qui s’est passé et à quel moment. Le fournisseur documente une analyse vidéo dynamique jusqu’à deux images par seconde. Ce profil d’échantillonnage est distinct de la fréquence d’images d’origine de la vidéo source.
Pour localiser un événement, décrivez l’action et l’intervalle souhaité. Exemple d’instruction : « Identifiez les moments où l’objet est posé sur l’étagère, renvoyez les intervalles temporels et expliquez les preuves visibles pour chacun. » Conservez ensemble la vidéo source et les références temporelles afin de vérifier une annotation de découpage ou un intervalle d’événement avant son utilisation par une autre application.
Mk1 prend en charge l’apprentissage visuel en contexte à partir d’une image ou d’une vidéo de référence, puis la localisation d’occurrences correspondantes dans de nouveaux éléments. Définissez ce qui rend une occurrence pertinente et conservez l’étiquette de référence. Pour une comparaison, fournissez les deux médias et indiquez les critères : objet, action, condition ou détail du document à comparer.
Cela permet de préparer la tâche au moyen d’exemples fournis, sans supposer qu’un processus distinct d’ajustement fin a été exécuté. Si les scènes diffèrent, demandez au résultat d’identifier l’entrée qui étaye chaque constatation. Une ressemblance visible doit rester distincte d’une conclusion déduite sur un événement.
Les capacités d’image du fournisseur comprennent le pointage, le comptage, la reconnaissance de texte et la lecture d’instruments analogiques ou numériques. Pour un instrument, préservez son échelle, ses unités et ses graduations lisibles ; pour un comptage, définissez la zone et la catégorie. Mk1 extrait également des documents complexes en HTML, JSON ou Markdown en conservant les relations de mise en page, les tableaux et la hiérarchie.
Fournissez une image de page lisible et indiquez les champs ou la question. Un résultat utile conserve l’association à la source et distingue la formulation extraite de l’interprétation. Les petits caractères, les occultations et les indices de scène ambigus doivent être pris en compte dans la préparation de la source et la vérification de la réponse.
Le concepteur entraîne le modèle à produire des points, des cadres, des polygones, des trajectoires et des clips comme sorties structurées de premier plan, aux côtés du texte. Ces annotations peuvent fournir des cibles, des contraintes, des limites de tâche ou des informations observées de réussite ou d’échec à un processus environnant de robotique ou d’analyse. Une tâche utilisant plusieurs caméras doit étiqueter les vues et conserver l’association entre chaque annotation et sa source.
Le modèle interprète les observations et produit le résultat ancré dans les données ; l’application ou le système de commande décide comment l’utiliser et effectue toute action physique ou d’interface. Une cible proposée ou un intervalle annoté est distinct d’une opération exécutée ou d’un fichier multimédia exporté.
Répartissez la représentation vidéo, le contenu des images, l’instruction, l’historique et la sortie générée dans le contexte de 32 K. Demandez le livrable final et les preuves qui établissent chaque résultat, plutôt que d’attendre d’un ensemble de sources sans rapport qu’il définisse son propre objectif. Vérifiez les coordonnées, les intervalles temporels et les valeurs extraites dans les médias d’origine.
Mk1 conserve son édition nommée et son profil visuel propres. Il ne faut pas déduire pour cette version antérieure la prise en charge native de l’audio en entrée, les contraintes de requête actuelles de Mk1.5 ni les détails de ses nouveaux processus d’outils et de suivi. Le livrable utile est une description de scène, un enregistrement documentaire ou une annotation spatiale ou temporelle vérifiable, reliée aux preuves visuelles fournies.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites perceptron/perceptron-mk1 | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Tokens de contexte, plus de | Tokens de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Tokens de contexte, plus de— | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Tokens de contexte, plus de0 | Tokens de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Tokens en entrée $0.0003 / 1K tokens Sortie · Tokens en sortie $0.003 / 1K tokens Entrée · Lecture du cache — / 1K tokens Entrée · Écriture dans le cache — / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "perceptron/perceptron-mk1",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra perceptron/perceptron-mk1
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Annotate a transcribed event sequence\n\nUse these written observations from clip C: [00:02] hand grips a cup; [00:05] cup rests on shelf; [00:08] hand releases cup; [00:11] hand leaves frame. Return the interval from shelf contact to release and cite the two observations that bound it. State that you are using notes rather than inspecting video.A textual interval annotation with source timestamps, bounding evidence and the stated notes-only basis.Check the interval uses contact and release timestamps rather than grip or departure.