Llama 3.1 8B Instruct é o modelo de texto da Meta com oito mil milhões de parâmetros para diálogo multilingue e assistentes baseados em instruções. Aceita conversa escrita e material de origem e produz texto ou código. É a edição Instruct do tamanho 8B, distinta da sua base pré-treinada e dos modelos 70B e 405B da família.
Arquitetura, contexto e línguas
O modelo usa uma arquitetura Transformer autorregressiva com atenção de consultas agrupadas. A família afinada para instruções usa afinação supervisionada e aprendizagem por reforço com retorno humano para alinhar as suas respostas de conversação. O fabricante documenta um contexto de 128k para esta versão textual; não é a especificação de visão ou contexto longo de um modelo Llama 4 posterior.
As oito línguas oficialmente suportadas são inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Os dados de pré-treino abrangem uma coleção mais ampla, diferente das línguas explicitamente suportadas pela ficha. Indique a língua final e quaisquer nomes, identificadores de variáveis ou termos que devem permanecer inalterados num resultado multilingue.
A família é pré-treinada com aproximadamente quinze biliões de tokens, com um limite de dados de dezembro de 2023. A afinação inclui material de instruções e mais de vinte e cinco milhões de exemplos sintéticos. Isto descreve o treino do modelo, não acesso a uma base de conhecimento privada ou a informação em tempo real quando chega uma nova pergunta.
Operações textuais definidas
Um pedido orientado para suporte pode fornecer a mensagem do utilizador e passagens de referência relevantes e pedir depois a resposta e a condição que a sustenta. Um registo compacto pode separar o problema, a informação já fornecida e o passo seguinte necessário. Defina os nomes dos campos e o tratamento de valores em falta quando uma aplicação precisar de processar esse resultado.
Para resumos, forneça a passagem ou troca de mensagens real e especifique o público, a extensão e os factos a conservar. Peça as decisões ou perguntas por resolver relevantes para um tema, em vez de um resumo sem orientação de material sem relação entre si. Um seguimento pode pedir uma resposta mais curta ou uma explicação mais clara de uma condição, preservando os mesmos factos de origem.
Para edição, especifique o leitor e o tom e identifique o significado que deve permanecer inalterado. Uma tarefa prática pode pedir uma mensagem mais clara seguida de uma lista curta de alterações, ou apenas a mensagem revista se for usada diretamente. Uma tarefa de classificação deve fornecer as etiquetas permitidas e a distinção entre elas, em vez de confiar no nome de uma etiqueta para definir a regra.
Geração de código e exemplos
A saída documentada também inclui código. Forneça a linguagem, as entradas necessárias e o resultado esperado antes de pedir uma função. Para uma explicação, dê a função existente e uma entrada concreta e pergunte que passos determinam o valor devolvido. Para uma correção, inclua a falha observada e o comportamento pretendido, conservando a interface que deve manter a compatibilidade.
Uma saída útil pode separar o código proposto, os seus pressupostos e exemplos de entrada. A aplicação ou o programador realiza a compilação, execução ou alteração do repositório efetiva. O código-fonte escrito é um artefacto a examinar, não uma operação externa concluída apenas porque o modelo o devolveu.
A família também suporta o uso de saídas geradas para exemplos sintéticos e destilação. Um pedido textual definido pode produzir variações segundo regras fornecidas e num formato especificado. Preserve as regras e as etiquetas para que cada exemplo possa ser examinado; os exemplos gerados não demonstram de forma independente a correção de um conjunto de dados de treino.
Papéis na conversa e utilização de ferramentas
A ficha do modelo demonstra um modelo de chat com mensagens de sistema e de utilizador separadas. Defina o papel do assistente e os requisitos de resposta no contexto de sistema e forneça depois a pergunta e o material de origem como tarefa. Mantenha mensagens anteriores relevantes ao fazer um pedido de seguimento ou fornecer novas evidências que alterem o resultado.
Llama 3.1 documenta vários formatos de utilização de ferramentas. A aplicação descreve uma função, o modelo gera a proposta de chamada e os argumentos, a aplicação executa-a e devolve o resultado com o papel de ferramenta. A resposta seguinte pode então usar a informação devolvida. Mantenha a operação de origem e o resultado ligados ao longo da conversa.
Por exemplo, uma consulta pode devolver o valor de referência atual em falta numa passagem, ou uma ferramenta de cálculo pode fornecer o resultado numérico necessário para a explicação. Um assistente com ferramentas precisa dessas operações fornecidas pelo ambiente. O comportamento textual do modelo não cria por si só uma ligação a uma fonte externa nem conclui um efeito externo.
Limites práticos
A indicação de contexto de 128k do fabricante deve ser mantida com a versão 8B Instruct exata e a configuração aplicável. O exemplo de geração de 256 tokens é apenas uma escolha de utilização; as fontes consultadas não indicam uma capacidade máxima rígida separada de resposta. O tamanho 8B não deve herdar a contagem de parâmetros de outro membro nem os controlos identificados de raciocínio de uma família separada.
Este é um modelo exclusivamente textual. A entrada visual, a compreensão de áudio e a geração de fala exigem componentes especificados separadamente. Defina o artefacto final antes de fornecer o material: uma resposta concisa, um registo extraído, uma passagem revista, uma explicação ou uma proposta de código. Conserve a informação de origem necessária para examinar o significado e o formato desse artefacto.
", "aboutText": "Llama 3.1 8B Instruct é o modelo de texto da Meta com oito mil milhões de parâmetros para diálogo multilingue e assistentes baseados em instruções. Aceita conversa escrita e material de origem e produz texto ou código. É a edição Instruct do tamanho 8B, distinta da sua base pré-treinada e dos modelos 70B e 405B da família.\n\nArquitetura, contexto e línguas\n\nO modelo usa uma arquitetura Transformer autorregressiva com atenção de consultas agrupadas. A família afinada para instruções usa afinação supervisionada e aprendizagem por reforço com retorno humano para alinhar as suas respostas de conversação. O fabricante documenta um contexto de 128k para esta versão textual; não é a especificação de visão ou contexto longo de um modelo Llama 4 posterior.\n\nAs oito línguas oficialmente suportadas são inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Os dados de pré-treino abrangem uma coleção mais ampla, diferente das línguas explicitamente suportadas pela ficha. Indique a língua final e quaisquer nomes, identificadores de variáveis ou termos que devem permanecer inalterados num resultado multilingue.\n\nA família é pré-treinada com aproximadamente quinze biliões de tokens, com um limite de dados de dezembro de 2023. A afinação inclui material de instruções e mais de vinte e cinco milhões de exemplos sintéticos. Isto descreve o treino do modelo, não acesso a uma base de conhecimento privada ou a informação em tempo real quando chega uma nova pergunta.\n\nOperações textuais definidas\n\nUm pedido orientado para suporte pode fornecer a mensagem do utilizador e passagens de referência relevantes e pedir depois a resposta e a condição que a sustenta. Um registo compacto pode separar o problema, a informação já fornecida e o passo seguinte necessário. Defina os nomes dos campos e o tratamento de valores em falta quando uma aplicação precisar de processar esse resultado.\n\nPara resumos, forneça a passagem ou troca de mensagens real e especifique o público, a extensão e os factos a conservar. Peça as decisões ou perguntas por resolver relevantes para um tema, em vez de um resumo sem orientação de material sem relação entre si. Um seguimento pode pedir uma resposta mais curta ou uma explicação mais clara de uma condição, preservando os mesmos factos de origem.\n\nPara edição, especifique o leitor e o tom e identifique o significado que deve permanecer inalterado. Uma tarefa prática pode pedir uma mensagem mais clara seguida de uma lista curta de alterações, ou apenas a mensagem revista se for usada diretamente. Uma tarefa de classificação deve fornecer as etiquetas permitidas e a distinção entre elas, em vez de confiar no nome de uma etiqueta para definir a regra.\n\nGeração de código e exemplos\n\nA saída documentada também inclui código. Forneça a linguagem, as entradas necessárias e o resultado esperado antes de pedir uma função. Para uma explicação, dê a função existente e uma entrada concreta e pergunte que passos determinam o valor devolvido. Para uma correção, inclua a falha observada e o comportamento pretendido, conservando a interface que deve manter a compatibilidade.\n\nUma saída útil pode separar o código proposto, os seus pressupostos e exemplos de entrada. A aplicação ou o programador realiza a compilação, execução ou alteração do repositório efetiva. O código-fonte escrito é um artefacto a examinar, não uma operação externa concluída apenas porque o modelo o devolveu.\n\nA família também suporta o uso de saídas geradas para exemplos sintéticos e destilação. Um pedido textual definido pode produzir variações segundo regras fornecidas e num formato especificado. Preserve as regras e as etiquetas para que cada exemplo possa ser examinado; os exemplos gerados não demonstram de forma independente a correção de um conjunto de dados de treino.\n\nPapéis na conversa e utilização de ferramentas\n\nA ficha do modelo demonstra um modelo de chat com mensagens de sistema e de utilizador separadas. Defina o papel do assistente e os requisitos de resposta no contexto de sistema e forneça depois a pergunta e o material de origem como tarefa. Mantenha mensagens anteriores relevantes ao fazer um pedido de seguimento ou fornecer novas evidências que alterem o resultado.\n\nLlama 3.1 documenta vários formatos de utilização de ferramentas. A aplicação descreve uma função, o modelo gera a proposta de chamada e os argumentos, a aplicação executa-a e devolve o resultado com o papel de ferramenta. A resposta seguinte pode então usar a informação devolvida. Mantenha a operação de origem e o resultado ligados ao longo da conversa.\n\nPor exemplo, uma consulta pode devolver o valor de referência atual em falta numa passagem, ou uma ferramenta de cálculo pode fornecer o resultado numérico necessário para a explicação. Um assistente com ferramentas precisa dessas operações fornecidas pelo ambiente. O comportamento textual do modelo não cria por si só uma ligação a uma fonte externa nem conclui um efeito externo.\n\nLimites práticos\n\nA indicação de contexto de 128k do fabricante deve ser mantida com a versão 8B Instruct exata e a configuração aplicável. O exemplo de geração de 256 tokens é apenas uma escolha de utilização; as fontes consultadas não indicam uma capacidade máxima rígida separada de resposta. O tamanho 8B não deve herdar a contagem de parâmetros de outro membro nem os controlos identificados de raciocínio de uma família separada.\n\nEste é um modelo exclusivamente textual. A entrada visual, a compreensão de áudio e a geração de fala exigem componentes especificados separadamente. Defina o artefacto final antes de fornecer o material: uma resposta concisa, um registo extraído, uma passagem revista, uma explicação ou uma proposta de código. Conserve a informação de origem necessária para examinar o significado e o formato desse artefacto.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemplo técnico em inglês
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct é o modelo de texto mais pequeno da Meta afinado para instruções, para diálogo multilingue, resumos e respostas condicionadas pelas fontes. Tem 8 mil milhões de parâmetros, um contexto de 128k indicado pelo fabricante, atenção de consultas agrupadas e formatos documentados de utilização de ferramentas, devolvendo texto ou código.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Llama 3.1 8B Instruct é o modelo de texto da Meta com oito mil milhões de parâmetros para diálogo multilingue e assistentes baseados em instruções. Aceita conversa escrita e material de origem e produz texto ou código. É a edição Instruct do tamanho 8B, distinta da sua base pré-treinada e dos modelos 70B e 405B da família.
Arquitetura, contexto e línguas
O modelo usa uma arquitetura Transformer autorregressiva com atenção de consultas agrupadas. A família afinada para instruções usa afinação supervisionada e aprendizagem por reforço com retorno humano para alinhar as suas respostas de conversação. O fabricante documenta um contexto de 128k para esta versão textual; não é a especificação de visão ou contexto longo de um modelo Llama 4 posterior.
As oito línguas oficialmente suportadas são inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Os dados de pré-treino abrangem uma coleção mais ampla, diferente das línguas explicitamente suportadas pela ficha. Indique a língua final e quaisquer nomes, identificadores de variáveis ou termos que devem permanecer inalterados num resultado multilingue.
A família é pré-treinada com aproximadamente quinze biliões de tokens, com um limite de dados de dezembro de 2023. A afinação inclui material de instruções e mais de vinte e cinco milhões de exemplos sintéticos. Isto descreve o treino do modelo, não acesso a uma base de conhecimento privada ou a informação em tempo real quando chega uma nova pergunta.
Operações textuais definidas
Um pedido orientado para suporte pode fornecer a mensagem do utilizador e passagens de referência relevantes e pedir depois a resposta e a condição que a sustenta. Um registo compacto pode separar o problema, a informação já fornecida e o passo seguinte necessário. Defina os nomes dos campos e o tratamento de valores em falta quando uma aplicação precisar de processar esse resultado.
Para resumos, forneça a passagem ou troca de mensagens real e especifique o público, a extensão e os factos a conservar. Peça as decisões ou perguntas por resolver relevantes para um tema, em vez de um resumo sem orientação de material sem relação entre si. Um seguimento pode pedir uma resposta mais curta ou uma explicação mais clara de uma condição, preservando os mesmos factos de origem.
Para edição, especifique o leitor e o tom e identifique o significado que deve permanecer inalterado. Uma tarefa prática pode pedir uma mensagem mais clara seguida de uma lista curta de alterações, ou apenas a mensagem revista se for usada diretamente. Uma tarefa de classificação deve fornecer as etiquetas permitidas e a distinção entre elas, em vez de confiar no nome de uma etiqueta para definir a regra.
Geração de código e exemplos
A saída documentada também inclui código. Forneça a linguagem, as entradas necessárias e o resultado esperado antes de pedir uma função. Para uma explicação, dê a função existente e uma entrada concreta e pergunte que passos determinam o valor devolvido. Para uma correção, inclua a falha observada e o comportamento pretendido, conservando a interface que deve manter a compatibilidade.
Uma saída útil pode separar o código proposto, os seus pressupostos e exemplos de entrada. A aplicação ou o programador realiza a compilação, execução ou alteração do repositório efetiva. O código-fonte escrito é um artefacto a examinar, não uma operação externa concluída apenas porque o modelo o devolveu.
A família também suporta o uso de saídas geradas para exemplos sintéticos e destilação. Um pedido textual definido pode produzir variações segundo regras fornecidas e num formato especificado. Preserve as regras e as etiquetas para que cada exemplo possa ser examinado; os exemplos gerados não demonstram de forma independente a correção de um conjunto de dados de treino.
Papéis na conversa e utilização de ferramentas
A ficha do modelo demonstra um modelo de chat com mensagens de sistema e de utilizador separadas. Defina o papel do assistente e os requisitos de resposta no contexto de sistema e forneça depois a pergunta e o material de origem como tarefa. Mantenha mensagens anteriores relevantes ao fazer um pedido de seguimento ou fornecer novas evidências que alterem o resultado.
Llama 3.1 documenta vários formatos de utilização de ferramentas. A aplicação descreve uma função, o modelo gera a proposta de chamada e os argumentos, a aplicação executa-a e devolve o resultado com o papel de ferramenta. A resposta seguinte pode então usar a informação devolvida. Mantenha a operação de origem e o resultado ligados ao longo da conversa.
Por exemplo, uma consulta pode devolver o valor de referência atual em falta numa passagem, ou uma ferramenta de cálculo pode fornecer o resultado numérico necessário para a explicação. Um assistente com ferramentas precisa dessas operações fornecidas pelo ambiente. O comportamento textual do modelo não cria por si só uma ligação a uma fonte externa nem conclui um efeito externo.
Limites práticos
A indicação de contexto de 128k do fabricante deve ser mantida com a versão 8B Instruct exata e a configuração aplicável. O exemplo de geração de 256 tokens é apenas uma escolha de utilização; as fontes consultadas não indicam uma capacidade máxima rígida separada de resposta. O tamanho 8B não deve herdar a contagem de parâmetros de outro membro nem os controlos identificados de raciocínio de uma família separada.
Este é um modelo exclusivamente textual. A entrada visual, a compreensão de áudio e a geração de fala exigem componentes especificados separadamente. Defina o artefacto final antes de fornecer o material: uma resposta concisa, um registo extraído, uma passagem revista, uma explicação ou uma proposta de código. Conserve a informação de origem necessária para examinar o significado e o formato desse artefacto.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites meta-llama/llama-3.1-8b-instruct | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites Exemplos: system, user, assistant, tool, function Condições: Estes papéis são representados explicitamente pelos tipos de compatibilidade do código-fonte; o conjunto exato de papéis continua específico do modelo. Depende do modelo | Predefinição— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: role=tool; use o ID realmente devolvido | Predefinição— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores e limites Aplica-se quando: Reintroduza o raciocínio realmente devolvido quando este modelo o utiliza | Predefinição— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores e limites Mínimo: 1 Depende do modelo | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores e limites function Depende do modelo | Predefinição— |
Campotools[].function.name | Tipostring | RequisitoObrigatório | Valores e limites Aplica-se quando: Função fornecida como ferramenta | Predefinição— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores e limites | Predefinição— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores e limites | Predefinição— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores e limites Campo de compatibilidade | Predefinição— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores e limites Depende do modelo | Predefinição— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores e limites text | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options é rejeitado nesta rota textual Ultra | Predefinição— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores e limites Condições: 1h é rejeitado nos locais efetivos da cache de prompts | Predefinição— |
Texto · Texto UTF8
messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages |
Parâmetromaterial_types | Contratotext |
Parâmetromessages | ContratoLista de mensagens com estrutura role/content |
Parâmetrofile_material | ContratoDocumento UTF-8 real inserido como texto literal; nenhum ID de ficheiro inferido |
Parâmetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parâmetrocontrol_scope | ContratoEspecífico do modelo; as ferramentas de funções do utilizador diferem das ferramentas alojadas |
Parâmetrooutput_modalities | Contratotext |
Parâmetrohosted_operations | Contratofalse |
Parâmetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envie o ID exato do modelo com messages.
O comprimento do contexto não é um limite de saída.
Um ficheiro de texto pode fornecer texto literal; as entradas de imagem/áudio/objeto de ficheiro exigem uma associação exata.
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
Associe cada custo às condições apresentadas. Use uma única tarifa para cada conjunto de configurações alternativas.
| Configuração | Tabela de tarifas | Tokens de contexto, mais de | Tokens de contexto, até ao limite inclusive | Custo |
|---|---|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Tokens de contexto, mais de— | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.00044 / 1K tokens Saída · Tokens de saída $0.00044 / 1K tokens Entrada · Leitura da cache $0.00044 / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
| ConfiguraçãoEscalão 1 por comprimento do pedido | Tabela de tarifas— | Tokens de contexto, mais de0 | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.00044 / 1K tokens Saída · Tokens de saída $0.00044 / 1K tokens Entrada · Leitura da cache $0.00044 / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve cada opção com o conteúdo, as chamadas de ferramentas e o raciocínio. Em SSE, junte os deltas por índice de opção e ferramenta e mantenha o motivo final de conclusão e os dados de utilização.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Use os caminhos dos métodos indicados acima.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct é o modelo de texto mais pequeno da Meta afinado para instruções, para diálogo multilingue, resumos e respostas condicionadas pelas fontes. Tem 8 mil milhões de parâmetros, um contexto de 128k indicado pelo fabricante, atenção de consultas agrupadas e formatos documentados de utilização de ferramentas, devolvendo texto ou código.
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
Llama 3.1 8B Instruct é o modelo de texto da Meta com oito mil milhões de parâmetros para diálogo multilingue e assistentes baseados em instruções. Aceita conversa escrita e material de origem e produz texto ou código. É a edição Instruct do tamanho 8B, distinta da sua base pré-treinada e dos modelos 70B e 405B da família.
Arquitetura, contexto e línguas
O modelo usa uma arquitetura Transformer autorregressiva com atenção de consultas agrupadas. A família afinada para instruções usa afinação supervisionada e aprendizagem por reforço com retorno humano para alinhar as suas respostas de conversação. O fabricante documenta um contexto de 128k para esta versão textual; não é a especificação de visão ou contexto longo de um modelo Llama 4 posterior.
As oito línguas oficialmente suportadas são inglês, alemão, francês, italiano, português, hindi, espanhol e tailandês. Os dados de pré-treino abrangem uma coleção mais ampla, diferente das línguas explicitamente suportadas pela ficha. Indique a língua final e quaisquer nomes, identificadores de variáveis ou termos que devem permanecer inalterados num resultado multilingue.
A família é pré-treinada com aproximadamente quinze biliões de tokens, com um limite de dados de dezembro de 2023. A afinação inclui material de instruções e mais de vinte e cinco milhões de exemplos sintéticos. Isto descreve o treino do modelo, não acesso a uma base de conhecimento privada ou a informação em tempo real quando chega uma nova pergunta.
Operações textuais definidas
Um pedido orientado para suporte pode fornecer a mensagem do utilizador e passagens de referência relevantes e pedir depois a resposta e a condição que a sustenta. Um registo compacto pode separar o problema, a informação já fornecida e o passo seguinte necessário. Defina os nomes dos campos e o tratamento de valores em falta quando uma aplicação precisar de processar esse resultado.
Para resumos, forneça a passagem ou troca de mensagens real e especifique o público, a extensão e os factos a conservar. Peça as decisões ou perguntas por resolver relevantes para um tema, em vez de um resumo sem orientação de material sem relação entre si. Um seguimento pode pedir uma resposta mais curta ou uma explicação mais clara de uma condição, preservando os mesmos factos de origem.
Para edição, especifique o leitor e o tom e identifique o significado que deve permanecer inalterado. Uma tarefa prática pode pedir uma mensagem mais clara seguida de uma lista curta de alterações, ou apenas a mensagem revista se for usada diretamente. Uma tarefa de classificação deve fornecer as etiquetas permitidas e a distinção entre elas, em vez de confiar no nome de uma etiqueta para definir a regra.
Geração de código e exemplos
A saída documentada também inclui código. Forneça a linguagem, as entradas necessárias e o resultado esperado antes de pedir uma função. Para uma explicação, dê a função existente e uma entrada concreta e pergunte que passos determinam o valor devolvido. Para uma correção, inclua a falha observada e o comportamento pretendido, conservando a interface que deve manter a compatibilidade.
Uma saída útil pode separar o código proposto, os seus pressupostos e exemplos de entrada. A aplicação ou o programador realiza a compilação, execução ou alteração do repositório efetiva. O código-fonte escrito é um artefacto a examinar, não uma operação externa concluída apenas porque o modelo o devolveu.
A família também suporta o uso de saídas geradas para exemplos sintéticos e destilação. Um pedido textual definido pode produzir variações segundo regras fornecidas e num formato especificado. Preserve as regras e as etiquetas para que cada exemplo possa ser examinado; os exemplos gerados não demonstram de forma independente a correção de um conjunto de dados de treino.
Papéis na conversa e utilização de ferramentas
A ficha do modelo demonstra um modelo de chat com mensagens de sistema e de utilizador separadas. Defina o papel do assistente e os requisitos de resposta no contexto de sistema e forneça depois a pergunta e o material de origem como tarefa. Mantenha mensagens anteriores relevantes ao fazer um pedido de seguimento ou fornecer novas evidências que alterem o resultado.
Llama 3.1 documenta vários formatos de utilização de ferramentas. A aplicação descreve uma função, o modelo gera a proposta de chamada e os argumentos, a aplicação executa-a e devolve o resultado com o papel de ferramenta. A resposta seguinte pode então usar a informação devolvida. Mantenha a operação de origem e o resultado ligados ao longo da conversa.
Por exemplo, uma consulta pode devolver o valor de referência atual em falta numa passagem, ou uma ferramenta de cálculo pode fornecer o resultado numérico necessário para a explicação. Um assistente com ferramentas precisa dessas operações fornecidas pelo ambiente. O comportamento textual do modelo não cria por si só uma ligação a uma fonte externa nem conclui um efeito externo.
Limites práticos
A indicação de contexto de 128k do fabricante deve ser mantida com a versão 8B Instruct exata e a configuração aplicável. O exemplo de geração de 256 tokens é apenas uma escolha de utilização; as fontes consultadas não indicam uma capacidade máxima rígida separada de resposta. O tamanho 8B não deve herdar a contagem de parâmetros de outro membro nem os controlos identificados de raciocínio de uma família separada.
Este é um modelo exclusivamente textual. A entrada visual, a compreensão de áudio e a geração de fala exigem componentes especificados separadamente. Defina o artefacto final antes de fornecer o material: uma resposta concisa, um registo extraído, uma passagem revista, uma explicação ou uma proposta de código. Conserve a informação de origem necessária para examinar o significado e o formato desse artefacto.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites meta-llama/llama-3.1-8b-instruct | Predefinição— |
Campomessages | Tipomessage[] | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomessages[].role | Tipostring | RequisitoObrigatório | Valores e limites user, assistant | Predefinição— |
Campomessages[].content | Tipostring | RequisitoObrigatório | Valores e limites | Predefinição— |
Campomax_tokens | Tipointeger | RequisitoObrigatório | Valores e limites | Predefinição— |
Campostream | Tipoboolean | RequisitoOpcional | Valores e limites | Predefiniçãofalse |
Texto · Texto UTF-8
Cadeia de caracteres messages[].content
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, messages, max_tokens |
Parâmetrooptional_controls | Contratostream |
Parâmetromaterial_types | Contratotext |
Parâmetrotext_file_material | ContratoLeia o documento UTF-8 real e coloque o texto na entrada indicada ou na cadeia de conteúdo da mensagem. |
Ciclo de vida: synchronous_or_streamed
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
Associe cada custo às condições apresentadas. Use uma única tarifa para cada conjunto de configurações alternativas.
| Configuração | Tabela de tarifas | Tokens de contexto, mais de | Tokens de contexto, até ao limite inclusive | Custo |
|---|---|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Tokens de contexto, mais de— | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.00044 / 1K tokens Saída · Tokens de saída $0.00044 / 1K tokens Entrada · Leitura da cache $0.00044 / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
| ConfiguraçãoEscalão 1 por comprimento do pedido | Tabela de tarifas— | Tokens de contexto, mais de0 | Tokens de contexto, até ao limite inclusiveSem limite superior | Custo Entrada · Tokens de entrada $0.00044 / 1K tokens Saída · Tokens de saída $0.00044 / 1K tokens Entrada · Leitura da cache $0.00044 / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Conserve todos os blocos de conteúdo, as assinaturas de raciocínio e os ID reais de utilização de ferramentas. Junte todos os deltas de blocos SSE; o primeiro bloco de texto não é a saída completa.
Conserve os ID e cabeçalhos de pedido/resposta. Não é fornecido um URL genérico para obter uma tarefa textual.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Use os caminhos dos métodos indicados acima.
Exemplo técnico em inglês
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.