Perceptron Mk1.5 é o modelo multimodal da Perceptron para compreensão visual, ancoragem temporal e tarefas de agentes que interagem com o meio físico. Aceita texto, imagens, vídeo e áudio e devolve texto, anotações espaciais ou temporais, respostas estruturadas e conteúdo de chamadas de funções. A especificação atual do fabricante indica um contexto de 36 864 tokens e um máximo de saída de 8 192 tokens; estes limites exatos são mais específicos do que a descrição arredondada de 32K do artigo de lançamento.
Uma adição distintiva é o seguimento de objetos ao longo de um vídeo sob a forma de geometria com marcas temporais. Descreva claramente o alvo e indique o que o resultado deve estabelecer, como o momento em que um objeto entra numa cena, para onde se desloca ou que intervalo contém uma determinada ação. Para filmagens na primeira pessoa, o produtor destaca o seguimento das mãos e a segmentação em subtarefas, úteis para analisar o que um operador faz ao longo do tempo.
As saídas documentadas incluem pontos, caixas e polígonos para ancoragem espacial, clips para intervalos temporais e contentores de trajetórias para o movimento dos objetos. Track é um contentor na linguagem de marcação das anotações geradas, não um valor separado do formato de anotação. Os pontos de passagem de uma trajetória podem ser esparsos: uma trajetória devolvida não garante uma caixa para cada fotograma da fonte nem visibilidade contínua do objeto. Conserve o material multimédia original e a associação às coordenadas ou marcas temporais, para que esses resultados possam ser verificados face à cena real.
Mk1.5 acrescenta compreensão nativa de áudio, incluindo transcrição, deteção de eventos sonoros, resumos e perguntas sobre uma gravação. O produtor aceita WAV, MP3 e FLAC. O limite de áudio por elemento é de 16 384 tokens de áudio, aproximadamente 21,8 minutos à taxa documentada de cerca de 750 tokens por minuto. O áudio partilha o contexto com as outras entradas e com o orçamento de saída, pelo que um pedido pode preencher o contexto antes de atingir esse limite por elemento.
Para um vídeo em que a banda sonora é relevante, o fluxo de trabalho do fabricante ativa explicitamente o áudio no vídeo. Indique se a tarefa diz respeito à fala, a um evento sonoro, à cena visível ou à relação entre estes elementos. A saída é texto e conteúdo estruturado; Mk1.5 não gera áudio de fala. Para transcrição, preserve a língua pedida e a associação temporal, em vez de tratar uma legenda visual como uma transcrição.
O produtor suporta comparações entre entradas multimédia. Identifique os elementos e conserve as associações aos recursos. O campo opcional asset_idx identifica uma ocorrência multimédia disponível naquele ponto da conversa, não um identificador de ficheiro persistente. Se não houver um seletor explícito ou herdado, uma anotação refere-se ao último recurso disponível no momento da geração. Estas convenções são relevantes quando uma tarefa compara duas câmaras, páginas ou gravações. O limite de pedido do produtor é de 256 unidades multimédia. Cada fotograma de um grupo video_frames conta para esse limite, embora o grupo ocupe um único índice de recurso; ativar a banda sonora de um vídeo não acrescenta outro recurso.
O fabricante suporta respostas finais limitadas por JSON Schema ou por uma expressão regular. Defina os campos ou o padrão e confira os valores devolvidos com a fonte. Documenta também Multilook para prompts independentes sobre um contexto partilhado, um fluxo de trabalho próprio do produtor, separado da conversa normal com geração de uma única resposta.
Mk1.5 pode escolher funções fornecidas, descritas por nomes, propósitos e esquemas JSON. A aplicação executa as chamadas propostas e devolve observações. Defina as ações permitidas e um critério de conclusão para uma tarefa de interação física ou com uma interface e use depois o novo estado visual ou o resultado da ferramenta como elementos de prova para o passo seguinte. O esforço de raciocínio é configurável na variante do produtor.
Não é possível declarar ferramentas de funções no mesmo pedido que uma saída limitada por JSON Schema ou por expressão regular; o fabricante indica que se deve pedir uma resposta final limitada após o ciclo de ferramentas. Inspecione o motivo de conclusão antes de utilizar o resultado, pois uma terminação por comprimento pode significar uma saída incompleta.
Um artefacto útil é uma explicação da cena fundamentada no material, uma transcrição com marcas temporais, uma anotação de objeto ou uma proposta de ação sustentada em elementos de prova. Confira a geometria com o material multimédia, distinga os pormenores observados da interpretação e conserve as capacidades exatas de áudio, seguimento e ferramentas de Mk1.5 separadamente das da edição anterior Mk1.
", "aboutText": "Perceptron Mk1.5 é o modelo multimodal da Perceptron para compreensão visual, ancoragem temporal e tarefas de agentes que interagem com o meio físico. Aceita texto, imagens, vídeo e áudio e devolve texto, anotações espaciais ou temporais, respostas estruturadas e conteúdo de chamadas de funções. A especificação atual do fabricante indica um contexto de 36 864 tokens e um máximo de saída de 8 192 tokens; estes limites exatos são mais específicos do que a descrição arredondada de 32K do artigo de lançamento.\n\n### Vídeo e seguimento de objetos\n\nUma adição distintiva é o seguimento de objetos ao longo de um vídeo sob a forma de geometria com marcas temporais. Descreva claramente o alvo e indique o que o resultado deve estabelecer, como o momento em que um objeto entra numa cena, para onde se desloca ou que intervalo contém uma determinada ação. Para filmagens na primeira pessoa, o produtor destaca o seguimento das mãos e a segmentação em subtarefas, úteis para analisar o que um operador faz ao longo do tempo.\n\nAs saídas documentadas incluem pontos, caixas e polígonos para ancoragem espacial, clips para intervalos temporais e contentores de trajetórias para o movimento dos objetos. Track é um contentor na linguagem de marcação das anotações geradas, não um valor separado do formato de anotação. Os pontos de passagem de uma trajetória podem ser esparsos: uma trajetória devolvida não garante uma caixa para cada fotograma da fonte nem visibilidade contínua do objeto. Conserve o material multimédia original e a associação às coordenadas ou marcas temporais, para que esses resultados possam ser verificados face à cena real.\n\n### Áudio e elementos de prova combinados\n\nMk1.5 acrescenta compreensão nativa de áudio, incluindo transcrição, deteção de eventos sonoros, resumos e perguntas sobre uma gravação. O produtor aceita WAV, MP3 e FLAC. O limite de áudio por elemento é de 16 384 tokens de áudio, aproximadamente 21,8 minutos à taxa documentada de cerca de 750 tokens por minuto. O áudio partilha o contexto com as outras entradas e com o orçamento de saída, pelo que um pedido pode preencher o contexto antes de atingir esse limite por elemento.\n\nPara um vídeo em que a banda sonora é relevante, o fluxo de trabalho do fabricante ativa explicitamente o áudio no vídeo. Indique se a tarefa diz respeito à fala, a um evento sonoro, à cena visível ou à relação entre estes elementos. A saída é texto e conteúdo estruturado; Mk1.5 não gera áudio de fala. Para transcrição, preserve a língua pedida e a associação temporal, em vez de tratar uma legenda visual como uma transcrição.\n\n### Vários elementos multimédia e respostas estruturadas\n\nO produtor suporta comparações entre entradas multimédia. Identifique os elementos e conserve as associações aos recursos. O campo opcional asset_idx identifica uma ocorrência multimédia disponível naquele ponto da conversa, não um identificador de ficheiro persistente. Se não houver um seletor explícito ou herdado, uma anotação refere-se ao último recurso disponível no momento da geração. Estas convenções são relevantes quando uma tarefa compara duas câmaras, páginas ou gravações. O limite de pedido do produtor é de 256 unidades multimédia. Cada fotograma de um grupo video_frames conta para esse limite, embora o grupo ocupe um único índice de recurso; ativar a banda sonora de um vídeo não acrescenta outro recurso.\n\nO fabricante suporta respostas finais limitadas por JSON Schema ou por uma expressão regular. Defina os campos ou o padrão e confira os valores devolvidos com a fonte. Documenta também Multilook para prompts independentes sobre um contexto partilhado, um fluxo de trabalho próprio do produtor, separado da conversa normal com geração de uma única resposta.\n\n### Funções e raciocínio\n\nMk1.5 pode escolher funções fornecidas, descritas por nomes, propósitos e esquemas JSON. A aplicação executa as chamadas propostas e devolve observações. Defina as ações permitidas e um critério de conclusão para uma tarefa de interação física ou com uma interface e use depois o novo estado visual ou o resultado da ferramenta como elementos de prova para o passo seguinte. O esforço de raciocínio é configurável na variante do produtor.\n\nNão é possível declarar ferramentas de funções no mesmo pedido que uma saída limitada por JSON Schema ou por expressão regular; o fabricante indica que se deve pedir uma resposta final limitada após o ciclo de ferramentas. Inspecione o motivo de conclusão antes de utilizar o resultado, pois uma terminação por comprimento pode significar uma saída incompleta.\n\nUm artefacto útil é uma explicação da cena fundamentada no material, uma transcrição com marcas temporais, uma anotação de objeto ou uma proposta de ação sustentada em elementos de prova. Confira a geometria com o material multimédia, distinga os pormenores observados da interpretação e conserve as capacidades exatas de áudio, seguimento e ferramentas de Mk1.5 separadamente das da edição anterior Mk1.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.perceptron/perceptron-mk1.5Perceptron Mk1.5 compreende texto, imagens, vídeo e áudio para tarefas visuais e de interação com o meio físico. Devolve texto, anotações espaciais ou temporais, trajetórias de objetos e propostas de chamadas de funções, com um contexto de 36 864 tokens indicado pelo produtor e um máximo de saída de 8 192 tokens.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Perceptron Mk1.5 é o modelo multimodal da Perceptron para compreensão visual, ancoragem temporal e tarefas de agentes que interagem com o meio físico. Aceita texto, imagens, vídeo e áudio e devolve texto, anotações espaciais ou temporais, respostas estruturadas e conteúdo de chamadas de funções. A especificação atual do fabricante indica um contexto de 36 864 tokens e um máximo de saída de 8 192 tokens; estes limites exatos são mais específicos do que a descrição arredondada de 32K do artigo de lançamento.
Uma adição distintiva é o seguimento de objetos ao longo de um vídeo sob a forma de geometria com marcas temporais. Descreva claramente o alvo e indique o que o resultado deve estabelecer, como o momento em que um objeto entra numa cena, para onde se desloca ou que intervalo contém uma determinada ação. Para filmagens na primeira pessoa, o produtor destaca o seguimento das mãos e a segmentação em subtarefas, úteis para analisar o que um operador faz ao longo do tempo.
As saídas documentadas incluem pontos, caixas e polígonos para ancoragem espacial, clips para intervalos temporais e contentores de trajetórias para o movimento dos objetos. Track é um contentor na linguagem de marcação das anotações geradas, não um valor separado do formato de anotação. Os pontos de passagem de uma trajetória podem ser esparsos: uma trajetória devolvida não garante uma caixa para cada fotograma da fonte nem visibilidade contínua do objeto. Conserve o material multimédia original e a associação às coordenadas ou marcas temporais, para que esses resultados possam ser verificados face à cena real.
Mk1.5 acrescenta compreensão nativa de áudio, incluindo transcrição, deteção de eventos sonoros, resumos e perguntas sobre uma gravação. O produtor aceita WAV, MP3 e FLAC. O limite de áudio por elemento é de 16 384 tokens de áudio, aproximadamente 21,8 minutos à taxa documentada de cerca de 750 tokens por minuto. O áudio partilha o contexto com as outras entradas e com o orçamento de saída, pelo que um pedido pode preencher o contexto antes de atingir esse limite por elemento.
Para um vídeo em que a banda sonora é relevante, o fluxo de trabalho do fabricante ativa explicitamente o áudio no vídeo. Indique se a tarefa diz respeito à fala, a um evento sonoro, à cena visível ou à relação entre estes elementos. A saída é texto e conteúdo estruturado; Mk1.5 não gera áudio de fala. Para transcrição, preserve a língua pedida e a associação temporal, em vez de tratar uma legenda visual como uma transcrição.
O produtor suporta comparações entre entradas multimédia. Identifique os elementos e conserve as associações aos recursos. O campo opcional asset_idx identifica uma ocorrência multimédia disponível naquele ponto da conversa, não um identificador de ficheiro persistente. Se não houver um seletor explícito ou herdado, uma anotação refere-se ao último recurso disponível no momento da geração. Estas convenções são relevantes quando uma tarefa compara duas câmaras, páginas ou gravações. O limite de pedido do produtor é de 256 unidades multimédia. Cada fotograma de um grupo video_frames conta para esse limite, embora o grupo ocupe um único índice de recurso; ativar a banda sonora de um vídeo não acrescenta outro recurso.
O fabricante suporta respostas finais limitadas por JSON Schema ou por uma expressão regular. Defina os campos ou o padrão e confira os valores devolvidos com a fonte. Documenta também Multilook para prompts independentes sobre um contexto partilhado, um fluxo de trabalho próprio do produtor, separado da conversa normal com geração de uma única resposta.
Mk1.5 pode escolher funções fornecidas, descritas por nomes, propósitos e esquemas JSON. A aplicação executa as chamadas propostas e devolve observações. Defina as ações permitidas e um critério de conclusão para uma tarefa de interação física ou com uma interface e use depois o novo estado visual ou o resultado da ferramenta como elementos de prova para o passo seguinte. O esforço de raciocínio é configurável na variante do produtor.
Não é possível declarar ferramentas de funções no mesmo pedido que uma saída limitada por JSON Schema ou por expressão regular; o fabricante indica que se deve pedir uma resposta final limitada após o ciclo de ferramentas. Inspecione o motivo de conclusão antes de utilizar o resultado, pois uma terminação por comprimento pode significar uma saída incompleta.
Um artefacto útil é uma explicação da cena fundamentada no material, uma transcrição com marcas temporais, uma anotação de objeto ou uma proposta de ação sustentada em elementos de prova. Confira a geometria com o material multimédia, distinga os pormenores observados da interpretação e conserve as capacidades exatas de áudio, seguimento e ferramentas de Mk1.5 separadamente das da edição anterior Mk1.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites perceptron/perceptron-mk1.5 | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
Associe cada custo às condições apresentadas. Use uma única tarifa para cada conjunto de configurações alternativas.
| Configuração | Tabela de tarifas | Tokens de contexto, mais de | Tokens de contexto, até ao limite inclusive | Custo |
|---|---|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Tokens de contexto, mais de— | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.0003 / 1K tokens Saída · Tokens de saída $0.003 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
| ConfiguraçãoEscalão 1 por comprimento do pedido | Tabela de tarifas— | Tokens de contexto, mais de0 | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.0003 / 1K tokens Saída · Tokens de saída $0.003 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "perceptron/perceptron-mk1.5", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='perceptron/perceptron-mk1.5',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra perceptron/perceptron-mk1.5
Use os caminhos dos métodos indicados acima.
perceptron/perceptron-mk1.5Perceptron Mk1.5 compreende texto, imagens, vídeo e áudio para tarefas visuais e de interação com o meio físico. Devolve texto, anotações espaciais ou temporais, trajetórias de objetos e propostas de chamadas de funções, com um contexto de 36 864 tokens indicado pelo produtor e um máximo de saída de 8 192 tokens.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Perceptron Mk1.5 é o modelo multimodal da Perceptron para compreensão visual, ancoragem temporal e tarefas de agentes que interagem com o meio físico. Aceita texto, imagens, vídeo e áudio e devolve texto, anotações espaciais ou temporais, respostas estruturadas e conteúdo de chamadas de funções. A especificação atual do fabricante indica um contexto de 36 864 tokens e um máximo de saída de 8 192 tokens; estes limites exatos são mais específicos do que a descrição arredondada de 32K do artigo de lançamento.
Uma adição distintiva é o seguimento de objetos ao longo de um vídeo sob a forma de geometria com marcas temporais. Descreva claramente o alvo e indique o que o resultado deve estabelecer, como o momento em que um objeto entra numa cena, para onde se desloca ou que intervalo contém uma determinada ação. Para filmagens na primeira pessoa, o produtor destaca o seguimento das mãos e a segmentação em subtarefas, úteis para analisar o que um operador faz ao longo do tempo.
As saídas documentadas incluem pontos, caixas e polígonos para ancoragem espacial, clips para intervalos temporais e contentores de trajetórias para o movimento dos objetos. Track é um contentor na linguagem de marcação das anotações geradas, não um valor separado do formato de anotação. Os pontos de passagem de uma trajetória podem ser esparsos: uma trajetória devolvida não garante uma caixa para cada fotograma da fonte nem visibilidade contínua do objeto. Conserve o material multimédia original e a associação às coordenadas ou marcas temporais, para que esses resultados possam ser verificados face à cena real.
Mk1.5 acrescenta compreensão nativa de áudio, incluindo transcrição, deteção de eventos sonoros, resumos e perguntas sobre uma gravação. O produtor aceita WAV, MP3 e FLAC. O limite de áudio por elemento é de 16 384 tokens de áudio, aproximadamente 21,8 minutos à taxa documentada de cerca de 750 tokens por minuto. O áudio partilha o contexto com as outras entradas e com o orçamento de saída, pelo que um pedido pode preencher o contexto antes de atingir esse limite por elemento.
Para um vídeo em que a banda sonora é relevante, o fluxo de trabalho do fabricante ativa explicitamente o áudio no vídeo. Indique se a tarefa diz respeito à fala, a um evento sonoro, à cena visível ou à relação entre estes elementos. A saída é texto e conteúdo estruturado; Mk1.5 não gera áudio de fala. Para transcrição, preserve a língua pedida e a associação temporal, em vez de tratar uma legenda visual como uma transcrição.
O produtor suporta comparações entre entradas multimédia. Identifique os elementos e conserve as associações aos recursos. O campo opcional asset_idx identifica uma ocorrência multimédia disponível naquele ponto da conversa, não um identificador de ficheiro persistente. Se não houver um seletor explícito ou herdado, uma anotação refere-se ao último recurso disponível no momento da geração. Estas convenções são relevantes quando uma tarefa compara duas câmaras, páginas ou gravações. O limite de pedido do produtor é de 256 unidades multimédia. Cada fotograma de um grupo video_frames conta para esse limite, embora o grupo ocupe um único índice de recurso; ativar a banda sonora de um vídeo não acrescenta outro recurso.
O fabricante suporta respostas finais limitadas por JSON Schema ou por uma expressão regular. Defina os campos ou o padrão e confira os valores devolvidos com a fonte. Documenta também Multilook para prompts independentes sobre um contexto partilhado, um fluxo de trabalho próprio do produtor, separado da conversa normal com geração de uma única resposta.
Mk1.5 pode escolher funções fornecidas, descritas por nomes, propósitos e esquemas JSON. A aplicação executa as chamadas propostas e devolve observações. Defina as ações permitidas e um critério de conclusão para uma tarefa de interação física ou com uma interface e use depois o novo estado visual ou o resultado da ferramenta como elementos de prova para o passo seguinte. O esforço de raciocínio é configurável na variante do produtor.
Não é possível declarar ferramentas de funções no mesmo pedido que uma saída limitada por JSON Schema ou por expressão regular; o fabricante indica que se deve pedir uma resposta final limitada após o ciclo de ferramentas. Inspecione o motivo de conclusão antes de utilizar o resultado, pois uma terminação por comprimento pode significar uma saída incompleta.
Um artefacto útil é uma explicação da cena fundamentada no material, uma transcrição com marcas temporais, uma anotação de objeto ou uma proposta de ação sustentada em elementos de prova. Confira a geometria com o material multimédia, distinga os pormenores observados da interpretação e conserve as capacidades exatas de áudio, seguimento e ferramentas de Mk1.5 separadamente das da edição anterior Mk1.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites perceptron/perceptron-mk1.5 | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
Associe cada custo às condições apresentadas. Use uma única tarifa para cada conjunto de configurações alternativas.
| Configuração | Tabela de tarifas | Tokens de contexto, mais de | Tokens de contexto, até ao limite inclusive | Custo |
|---|---|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Tokens de contexto, mais de— | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.0003 / 1K tokens Saída · Tokens de saída $0.003 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
| ConfiguraçãoEscalão 1 por comprimento do pedido | Tabela de tarifas— | Tokens de contexto, mais de0 | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.0003 / 1K tokens Saída · Tokens de saída $0.003 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "perceptron/perceptron-mk1.5",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'perceptron/perceptron-mk1.5', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra perceptron/perceptron-mk1.5
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Summarize a timed handling sequence\n\nUse these written frame notes, not unseen footage: 00:02 operator picks up a red box; 00:05 places it on scale; 00:08 removes it; 00:11 places it on shelf. Return the ordered subtasks and the observed interval when the box is on the scale. State the sampling limitation instead of claiming exact continuous motion between notes.An ordered subtask list and a scale interval explicitly bounded by the supplied observations.Timestamps stay attached to their notes, and the answer does not invent intermediate geometry or continuous visibility.