Llama 3.1 70B Instruct es el modelo de texto de 70 mil millones de parámetros de Meta, optimizado para diálogo multilingüe y solicitudes propias de un asistente. Es un checkpoint ajustado por instrucciones dentro de una familia que también incluye tamaños 8B y 405B y modelos preentrenados separados. Acepta texto y devuelve texto multilingüe o código; la edición denominada 70B conserva su propio tamaño e identidad.
Información del modelo y entrenamiento
La versión usa una arquitectura Transformer autorregresiva con atención de consultas agrupadas. Los modelos ajustados se alinean mediante ajuste fino supervisado y aprendizaje por refuerzo con retroalimentación humana. Estas son etapas de entrenamiento para un comportamiento conversacional útil, no un interruptor con nombre en tiempo de ejecución entre modos separados con y sin razonamiento.
El fabricante documenta un contexto de 128k para los modelos de texto y admite oficialmente inglés, alemán, francés, italiano, portugués, hindi, español y tailandés. El entrenamiento incluye una colección de idiomas más amplia, lo que no hace que todos tengan el mismo nivel de compatibilidad. Especifica el idioma de salida, la terminología y el lector antes de pedir un producto multilingüe.
El corpus de preentrenamiento de la familia se describe como de aproximadamente quince billones de tokens, con una fecha de corte de diciembre de 2023. El ajuste fino incluye conjuntos de datos de instrucciones y más de veinticinco millones de ejemplos sintéticos. La fecha de corte es un límite de los datos de entrenamiento; una pregunta que dependa de información más nueva o privada necesita que esa información se proporcione en la tarea o la devuelva una fuente conectada.
Chat de asistente y análisis de fuentes
La edición Instruct está pensada para responder a una solicitud conversacional, mientras que la versión preentrenada es una base que puede adaptarse a otras tareas de generación. Para una respuesta basada en fuentes, proporciona la pregunta y los pasajes que determinan el resultado. Etiqueta las fuentes y pide la sección o afirmación de respaldo junto a cada hallazgo.
Una comparación práctica puede proporcionar dos procedimientos y pedir condiciones compartidas, diferencias y conflictos sin resolver. Una guía resultante puede conservar la secuencia original y las condiciones bajo las que se aplica cada acción. Una tarea de edición de documentos puede especificar el público, los hechos que deben conservarse y si el producto final debe ser solo un pasaje revisado o un pasaje con explicación.
Para una respuesta más larga, indica las secciones requeridas y el propósito de cada una. Un contexto amplio puede mantener unido el material relacionado mientras el resultado final sigue siendo una matriz o explicación concisa. Las identidades de las fuentes y una pregunta bien definida importan más que simplemente incluir todos los documentos disponibles.
Código y ejemplos generados
La salida documentada incluye código. Para una implementación propuesta, proporciona el lenguaje, los tipos de entrada, el resultado esperado y la interfaz que debe seguir siendo compatible. Incluye el fragmento existente y las declaraciones pertinentes cuando la tarea sea una corrección. Pide el código separado de sus supuestos y ejemplos para que el siguiente paso de desarrollo pueda inspeccionarlo.
Para una explicación de código, proporciona la entrada que se debe rastrear y pregunta cómo la función suministrada llega al valor devuelto. Para una explicación matemática, define los símbolos y supuestos e indica si el resultado debe ser exacto, aproximado o una demostración. La generación de código y el razonamiento escrito no compilan por sí solos un programa ni ejecutan un cálculo.
El fabricante también identifica la generación de datos sintéticos y la destilación como usos de la familia. Una tarea de texto puede solicitar ejemplos variados en un formato especificado, conservando las reglas proporcionadas. Determinar si esos ejemplos son adecuados para entrenamiento adicional es una decisión separada de la aplicación; la salida de texto por sí sola no es una verificación independiente de su corrección.
Formato de conversación y herramientas
La ficha muestra mensajes separados de sistema y usuario con la plantilla de chat correspondiente. Usa la instrucción de sistema para el papel, el tono y las reglas duraderas de respuesta, mientras que la solicitud del usuario contiene el problema y las fuentes reales. Conserva los mensajes anteriores pertinentes al pedir un seguimiento que se apoye en una respuesta previa.
Llama 3.1 admite múltiples formatos documentados de uso de herramientas. La aplicación proporciona las funciones y los parámetros, el modelo prepara una llamada propuesta, la aplicación la ejecuta y añade su resultado a la conversación. Una generación posterior puede usar ese resultado. El ejemplo breve de la ficha muestra explícitamente cómo añadir la llamada del asistente y después el resultado de la herramienta; seleccionar una función es distinto de completar su operación.
Para una consulta, indica qué información se requiere y define la función que la devuelve. Conserva el valor real devuelto junto con la llamada de origen antes de pedir la explicación final. Para un cálculo, distingue la operación propuesta por el modelo del resultado devuelto por la calculadora. El formato nativo de herramientas y la representación visible de una interfaz envolvente deben conservar sus propias convenciones documentadas.
Edición y límites prácticos
El ajuste de generación de 256 tokens de la ficha consultada es un ejemplo de uso, no una capacidad máxima de salida declarada de forma independiente. El contexto de 128k corresponde al material y a la conversación generada dentro de la versión configurada. No lo sustituyas por el contexto o las capacidades visuales de Llama 4 ni por el tamaño de otro checkpoint de Llama 3.1.
Este es un modelo Instruct exclusivamente de texto. Una imagen, grabación o video necesita que otro componente prepare su contenido pertinente. La recuperación externa, la ejecución de programas y los cambios en archivos también corresponden a la aplicación conectada al asistente. Conserva la edición exacta 70B Instruct y pide la explicación vinculada con fuentes, el documento revisado, el código o el texto estructurado que necesite la tarea.
", "aboutText": "Llama 3.1 70B Instruct es el modelo de texto de 70 mil millones de parámetros de Meta, optimizado para diálogo multilingüe y solicitudes propias de un asistente. Es un checkpoint ajustado por instrucciones dentro de una familia que también incluye tamaños 8B y 405B y modelos preentrenados separados. Acepta texto y devuelve texto multilingüe o código; la edición denominada 70B conserva su propio tamaño e identidad.\n\nInformación del modelo y entrenamiento\n\nLa versión usa una arquitectura Transformer autorregresiva con atención de consultas agrupadas. Los modelos ajustados se alinean mediante ajuste fino supervisado y aprendizaje por refuerzo con retroalimentación humana. Estas son etapas de entrenamiento para un comportamiento conversacional útil, no un interruptor con nombre en tiempo de ejecución entre modos separados con y sin razonamiento.\n\nEl fabricante documenta un contexto de 128k para los modelos de texto y admite oficialmente inglés, alemán, francés, italiano, portugués, hindi, español y tailandés. El entrenamiento incluye una colección de idiomas más amplia, lo que no hace que todos tengan el mismo nivel de compatibilidad. Especifica el idioma de salida, la terminología y el lector antes de pedir un producto multilingüe.\n\nEl corpus de preentrenamiento de la familia se describe como de aproximadamente quince billones de tokens, con una fecha de corte de diciembre de 2023. El ajuste fino incluye conjuntos de datos de instrucciones y más de veinticinco millones de ejemplos sintéticos. La fecha de corte es un límite de los datos de entrenamiento; una pregunta que dependa de información más nueva o privada necesita que esa información se proporcione en la tarea o la devuelva una fuente conectada.\n\nChat de asistente y análisis de fuentes\n\nLa edición Instruct está pensada para responder a una solicitud conversacional, mientras que la versión preentrenada es una base que puede adaptarse a otras tareas de generación. Para una respuesta basada en fuentes, proporciona la pregunta y los pasajes que determinan el resultado. Etiqueta las fuentes y pide la sección o afirmación de respaldo junto a cada hallazgo.\n\nUna comparación práctica puede proporcionar dos procedimientos y pedir condiciones compartidas, diferencias y conflictos sin resolver. Una guía resultante puede conservar la secuencia original y las condiciones bajo las que se aplica cada acción. Una tarea de edición de documentos puede especificar el público, los hechos que deben conservarse y si el producto final debe ser solo un pasaje revisado o un pasaje con explicación.\n\nPara una respuesta más larga, indica las secciones requeridas y el propósito de cada una. Un contexto amplio puede mantener unido el material relacionado mientras el resultado final sigue siendo una matriz o explicación concisa. Las identidades de las fuentes y una pregunta bien definida importan más que simplemente incluir todos los documentos disponibles.\n\nCódigo y ejemplos generados\n\nLa salida documentada incluye código. Para una implementación propuesta, proporciona el lenguaje, los tipos de entrada, el resultado esperado y la interfaz que debe seguir siendo compatible. Incluye el fragmento existente y las declaraciones pertinentes cuando la tarea sea una corrección. Pide el código separado de sus supuestos y ejemplos para que el siguiente paso de desarrollo pueda inspeccionarlo.\n\nPara una explicación de código, proporciona la entrada que se debe rastrear y pregunta cómo la función suministrada llega al valor devuelto. Para una explicación matemática, define los símbolos y supuestos e indica si el resultado debe ser exacto, aproximado o una demostración. La generación de código y el razonamiento escrito no compilan por sí solos un programa ni ejecutan un cálculo.\n\nEl fabricante también identifica la generación de datos sintéticos y la destilación como usos de la familia. Una tarea de texto puede solicitar ejemplos variados en un formato especificado, conservando las reglas proporcionadas. Determinar si esos ejemplos son adecuados para entrenamiento adicional es una decisión separada de la aplicación; la salida de texto por sí sola no es una verificación independiente de su corrección.\n\nFormato de conversación y herramientas\n\nLa ficha muestra mensajes separados de sistema y usuario con la plantilla de chat correspondiente. Usa la instrucción de sistema para el papel, el tono y las reglas duraderas de respuesta, mientras que la solicitud del usuario contiene el problema y las fuentes reales. Conserva los mensajes anteriores pertinentes al pedir un seguimiento que se apoye en una respuesta previa.\n\nLlama 3.1 admite múltiples formatos documentados de uso de herramientas. La aplicación proporciona las funciones y los parámetros, el modelo prepara una llamada propuesta, la aplicación la ejecuta y añade su resultado a la conversación. Una generación posterior puede usar ese resultado. El ejemplo breve de la ficha muestra explícitamente cómo añadir la llamada del asistente y después el resultado de la herramienta; seleccionar una función es distinto de completar su operación.\n\nPara una consulta, indica qué información se requiere y define la función que la devuelve. Conserva el valor real devuelto junto con la llamada de origen antes de pedir la explicación final. Para un cálculo, distingue la operación propuesta por el modelo del resultado devuelto por la calculadora. El formato nativo de herramientas y la representación visible de una interfaz envolvente deben conservar sus propias convenciones documentadas.\n\nEdición y límites prácticos\n\nEl ajuste de generación de 256 tokens de la ficha consultada es un ejemplo de uso, no una capacidad máxima de salida declarada de forma independiente. El contexto de 128k corresponde al material y a la conversación generada dentro de la versión configurada. No lo sustituyas por el contexto o las capacidades visuales de Llama 4 ni por el tamaño de otro checkpoint de Llama 3.1.\n\nEste es un modelo Instruct exclusivamente de texto. Una imagen, grabación o video necesita que otro componente prepare su contenido pertinente. La recuperación externa, la ejecución de programas y los cambios en archivos también corresponden a la aplicación conectada al asistente. Conserva la edición exacta 70B Instruct y pide la explicación vinculada con fuentes, el documento revisado, el código o el texto estructurado que necesite la tarea.", "editorialOverlay": { "copy_fields": { "practical_html": "Ejemplo técnico en inglés
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct es el modelo de texto de Meta para diálogo multilingüe, razonamiento sobre documentos y código. Su versión 70B ajustada por instrucciones usa atención de consultas agrupadas, un contexto de 128k del fabricante y formatos documentados de conversación con llamadas a herramientas, con salida de texto y código.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
Llama 3.1 70B Instruct es el modelo de texto de 70 mil millones de parámetros de Meta, optimizado para diálogo multilingüe y solicitudes propias de un asistente. Es un checkpoint ajustado por instrucciones dentro de una familia que también incluye tamaños 8B y 405B y modelos preentrenados separados. Acepta texto y devuelve texto multilingüe o código; la edición denominada 70B conserva su propio tamaño e identidad.
Información del modelo y entrenamiento
La versión usa una arquitectura Transformer autorregresiva con atención de consultas agrupadas. Los modelos ajustados se alinean mediante ajuste fino supervisado y aprendizaje por refuerzo con retroalimentación humana. Estas son etapas de entrenamiento para un comportamiento conversacional útil, no un interruptor con nombre en tiempo de ejecución entre modos separados con y sin razonamiento.
El fabricante documenta un contexto de 128k para los modelos de texto y admite oficialmente inglés, alemán, francés, italiano, portugués, hindi, español y tailandés. El entrenamiento incluye una colección de idiomas más amplia, lo que no hace que todos tengan el mismo nivel de compatibilidad. Especifica el idioma de salida, la terminología y el lector antes de pedir un producto multilingüe.
El corpus de preentrenamiento de la familia se describe como de aproximadamente quince billones de tokens, con una fecha de corte de diciembre de 2023. El ajuste fino incluye conjuntos de datos de instrucciones y más de veinticinco millones de ejemplos sintéticos. La fecha de corte es un límite de los datos de entrenamiento; una pregunta que dependa de información más nueva o privada necesita que esa información se proporcione en la tarea o la devuelva una fuente conectada.
Chat de asistente y análisis de fuentes
La edición Instruct está pensada para responder a una solicitud conversacional, mientras que la versión preentrenada es una base que puede adaptarse a otras tareas de generación. Para una respuesta basada en fuentes, proporciona la pregunta y los pasajes que determinan el resultado. Etiqueta las fuentes y pide la sección o afirmación de respaldo junto a cada hallazgo.
Una comparación práctica puede proporcionar dos procedimientos y pedir condiciones compartidas, diferencias y conflictos sin resolver. Una guía resultante puede conservar la secuencia original y las condiciones bajo las que se aplica cada acción. Una tarea de edición de documentos puede especificar el público, los hechos que deben conservarse y si el producto final debe ser solo un pasaje revisado o un pasaje con explicación.
Para una respuesta más larga, indica las secciones requeridas y el propósito de cada una. Un contexto amplio puede mantener unido el material relacionado mientras el resultado final sigue siendo una matriz o explicación concisa. Las identidades de las fuentes y una pregunta bien definida importan más que simplemente incluir todos los documentos disponibles.
Código y ejemplos generados
La salida documentada incluye código. Para una implementación propuesta, proporciona el lenguaje, los tipos de entrada, el resultado esperado y la interfaz que debe seguir siendo compatible. Incluye el fragmento existente y las declaraciones pertinentes cuando la tarea sea una corrección. Pide el código separado de sus supuestos y ejemplos para que el siguiente paso de desarrollo pueda inspeccionarlo.
Para una explicación de código, proporciona la entrada que se debe rastrear y pregunta cómo la función suministrada llega al valor devuelto. Para una explicación matemática, define los símbolos y supuestos e indica si el resultado debe ser exacto, aproximado o una demostración. La generación de código y el razonamiento escrito no compilan por sí solos un programa ni ejecutan un cálculo.
El fabricante también identifica la generación de datos sintéticos y la destilación como usos de la familia. Una tarea de texto puede solicitar ejemplos variados en un formato especificado, conservando las reglas proporcionadas. Determinar si esos ejemplos son adecuados para entrenamiento adicional es una decisión separada de la aplicación; la salida de texto por sí sola no es una verificación independiente de su corrección.
Formato de conversación y herramientas
La ficha muestra mensajes separados de sistema y usuario con la plantilla de chat correspondiente. Usa la instrucción de sistema para el papel, el tono y las reglas duraderas de respuesta, mientras que la solicitud del usuario contiene el problema y las fuentes reales. Conserva los mensajes anteriores pertinentes al pedir un seguimiento que se apoye en una respuesta previa.
Llama 3.1 admite múltiples formatos documentados de uso de herramientas. La aplicación proporciona las funciones y los parámetros, el modelo prepara una llamada propuesta, la aplicación la ejecuta y añade su resultado a la conversación. Una generación posterior puede usar ese resultado. El ejemplo breve de la ficha muestra explícitamente cómo añadir la llamada del asistente y después el resultado de la herramienta; seleccionar una función es distinto de completar su operación.
Para una consulta, indica qué información se requiere y define la función que la devuelve. Conserva el valor real devuelto junto con la llamada de origen antes de pedir la explicación final. Para un cálculo, distingue la operación propuesta por el modelo del resultado devuelto por la calculadora. El formato nativo de herramientas y la representación visible de una interfaz envolvente deben conservar sus propias convenciones documentadas.
Edición y límites prácticos
El ajuste de generación de 256 tokens de la ficha consultada es un ejemplo de uso, no una capacidad máxima de salida declarada de forma independiente. El contexto de 128k corresponde al material y a la conversación generada dentro de la versión configurada. No lo sustituyas por el contexto o las capacidades visuales de Llama 4 ni por el tamaño de otro checkpoint de Llama 3.1.
Este es un modelo Instruct exclusivamente de texto. Una imagen, grabación o video necesita que otro componente prepare su contenido pertinente. La recuperación externa, la ejecución de programas y los cambios en archivos también corresponden a la aplicación conectada al asistente. Conserva la edición exacta 70B Instruct y pide la explicación vinculada con fuentes, el documento revisado, el código o el texto estructurado que necesite la tarea.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites meta-llama/llama-3.1-70b-instruct | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites Número mínimo de elementos: 1 | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites Ejemplos: system, user, assistant, tool, function Condiciones: Estos roles están representados explícitamente por los tipos de compatibilidad del código fuente; el conjunto exacto de roles depende del modelo. Depende del modelo | Predeterminado— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].tool_call_id | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: role=tool; utiliza el ID real devuelto | Predeterminado— |
Campomessages[].name | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campomessages[].reasoning_content | Tipostring | RequisitoOpcional | Valores y límites Se aplica cuando: Devuelve en los turnos siguientes el razonamiento realmente recibido cuando este modelo lo utilice | Predeterminado— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campomax_completion_tokens | Tipointeger | RequisitoOpcional | Valores y límites Mínimo: 1 Depende del modelo | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotemperature | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotop_p | Tiponumber | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campostop | Tipostring|string[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools | Tipofunction_tool[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campotools[].type | Tipostring | RequisitoOpcional | Valores y límites function Depende del modelo | Predeterminado— |
Campotools[].function.name | Tipostring | RequisitoObligatorio | Valores y límites Se aplica cuando: herramienta de función proporcionada | Predeterminado— |
Campotools[].function.description | Tipostring | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoOpcional | Valores y límites | Predeterminado— |
Campotool_choice | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoparallel_tool_calls | Tipoboolean | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporesponse_format | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning_effort | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camporeasoning | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Camposervice_tier | Tipostring | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoinstructions | Tipostring | RequisitoOpcional | Valores y límites Campo de compatibilidad | Predeterminado— |
Campofunctions | Tipofunction[] | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campofunction_call | Tipostring|object | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campoprompt_cache_options | Tipoobject | RequisitoOpcional | Valores y límites Depende del modelo | Predeterminado— |
Campomodalities | Tipostring[] | RequisitoOpcional | Valores y límites text | Predeterminado— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores y límites Condiciones: provider.options se rechaza en esta ruta de texto Ultra | Predeterminado— |
Campocache_control.ttl | Tipostring | RequisitoOpcional | Valores y límites Condiciones: 1h se rechaza en los campos reales de caché de instrucciones | Predeterminado— |
Texto · Texto UTF8
messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages |
Parámetromaterial_types | Contratotext |
Parámetromessages | Contratomatriz de mensajes con estructura role/content |
Parámetrofile_material | Contratodocumento real en UTF-8 insertado como texto literal; no se deduce ningún ID de archivo |
Parámetrooptional_controls | Contratostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parámetrocontrol_scope | Contratodepende del modelo; las herramientas de funciones del usuario difieren de las herramientas alojadas |
Parámetrooutput_modalities | Contratotext |
Parámetrohosted_operations | Contratofalse |
Parámetromultimodal_input_binding | Contratonull |
Ciclo de vida: synchronous_or_streamed
Envía el ID exacto del modelo junto con messages.
La longitud del contexto no es un límite máximo de salida.
Un archivo de texto puede aportar texto literal; las entradas de imagen, audio u objetos de archivo requieren una vinculación exacta.
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
Relaciona cada cargo con las condiciones mostradas. Usa una tarifa para cada conjunto de configuraciones alternativas.
| Configuración | Tabla de tarifas | Tokens de contexto, más de | Tokens de contexto, hasta inclusive | Cargo |
|---|---|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Tokens de contexto, más de— | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.00144 / 1K tokens Salida · Tokens de salida $0.00144 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
| ConfiguraciónNivel 1 por longitud de la solicitud | Tabla de tarifas— | Tokens de contexto, más de0 | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.00144 / 1K tokens Salida · Tokens de salida $0.00144 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva cada alternativa y su contenido, llamadas de herramientas y razonamiento. En SSE, ensambla los fragmentos incrementales por índice de alternativa/herramienta y conserva el motivo final de terminación y el uso.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Usa las rutas de método indicadas arriba.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct es el modelo de texto de Meta para diálogo multilingüe, razonamiento sobre documentos y código. Su versión 70B ajustada por instrucciones usa atención de consultas agrupadas, un contexto de 128k del fabricante y formatos documentados de conversación con llamadas a herramientas, con salida de texto y código.
Esta descripción cubre las capacidades del modelo. Las entradas, salidas y opciones disponibles en Ailoot se indican a continuación para el método seleccionado.
Llama 3.1 70B Instruct es el modelo de texto de 70 mil millones de parámetros de Meta, optimizado para diálogo multilingüe y solicitudes propias de un asistente. Es un checkpoint ajustado por instrucciones dentro de una familia que también incluye tamaños 8B y 405B y modelos preentrenados separados. Acepta texto y devuelve texto multilingüe o código; la edición denominada 70B conserva su propio tamaño e identidad.
Información del modelo y entrenamiento
La versión usa una arquitectura Transformer autorregresiva con atención de consultas agrupadas. Los modelos ajustados se alinean mediante ajuste fino supervisado y aprendizaje por refuerzo con retroalimentación humana. Estas son etapas de entrenamiento para un comportamiento conversacional útil, no un interruptor con nombre en tiempo de ejecución entre modos separados con y sin razonamiento.
El fabricante documenta un contexto de 128k para los modelos de texto y admite oficialmente inglés, alemán, francés, italiano, portugués, hindi, español y tailandés. El entrenamiento incluye una colección de idiomas más amplia, lo que no hace que todos tengan el mismo nivel de compatibilidad. Especifica el idioma de salida, la terminología y el lector antes de pedir un producto multilingüe.
El corpus de preentrenamiento de la familia se describe como de aproximadamente quince billones de tokens, con una fecha de corte de diciembre de 2023. El ajuste fino incluye conjuntos de datos de instrucciones y más de veinticinco millones de ejemplos sintéticos. La fecha de corte es un límite de los datos de entrenamiento; una pregunta que dependa de información más nueva o privada necesita que esa información se proporcione en la tarea o la devuelva una fuente conectada.
Chat de asistente y análisis de fuentes
La edición Instruct está pensada para responder a una solicitud conversacional, mientras que la versión preentrenada es una base que puede adaptarse a otras tareas de generación. Para una respuesta basada en fuentes, proporciona la pregunta y los pasajes que determinan el resultado. Etiqueta las fuentes y pide la sección o afirmación de respaldo junto a cada hallazgo.
Una comparación práctica puede proporcionar dos procedimientos y pedir condiciones compartidas, diferencias y conflictos sin resolver. Una guía resultante puede conservar la secuencia original y las condiciones bajo las que se aplica cada acción. Una tarea de edición de documentos puede especificar el público, los hechos que deben conservarse y si el producto final debe ser solo un pasaje revisado o un pasaje con explicación.
Para una respuesta más larga, indica las secciones requeridas y el propósito de cada una. Un contexto amplio puede mantener unido el material relacionado mientras el resultado final sigue siendo una matriz o explicación concisa. Las identidades de las fuentes y una pregunta bien definida importan más que simplemente incluir todos los documentos disponibles.
Código y ejemplos generados
La salida documentada incluye código. Para una implementación propuesta, proporciona el lenguaje, los tipos de entrada, el resultado esperado y la interfaz que debe seguir siendo compatible. Incluye el fragmento existente y las declaraciones pertinentes cuando la tarea sea una corrección. Pide el código separado de sus supuestos y ejemplos para que el siguiente paso de desarrollo pueda inspeccionarlo.
Para una explicación de código, proporciona la entrada que se debe rastrear y pregunta cómo la función suministrada llega al valor devuelto. Para una explicación matemática, define los símbolos y supuestos e indica si el resultado debe ser exacto, aproximado o una demostración. La generación de código y el razonamiento escrito no compilan por sí solos un programa ni ejecutan un cálculo.
El fabricante también identifica la generación de datos sintéticos y la destilación como usos de la familia. Una tarea de texto puede solicitar ejemplos variados en un formato especificado, conservando las reglas proporcionadas. Determinar si esos ejemplos son adecuados para entrenamiento adicional es una decisión separada de la aplicación; la salida de texto por sí sola no es una verificación independiente de su corrección.
Formato de conversación y herramientas
La ficha muestra mensajes separados de sistema y usuario con la plantilla de chat correspondiente. Usa la instrucción de sistema para el papel, el tono y las reglas duraderas de respuesta, mientras que la solicitud del usuario contiene el problema y las fuentes reales. Conserva los mensajes anteriores pertinentes al pedir un seguimiento que se apoye en una respuesta previa.
Llama 3.1 admite múltiples formatos documentados de uso de herramientas. La aplicación proporciona las funciones y los parámetros, el modelo prepara una llamada propuesta, la aplicación la ejecuta y añade su resultado a la conversación. Una generación posterior puede usar ese resultado. El ejemplo breve de la ficha muestra explícitamente cómo añadir la llamada del asistente y después el resultado de la herramienta; seleccionar una función es distinto de completar su operación.
Para una consulta, indica qué información se requiere y define la función que la devuelve. Conserva el valor real devuelto junto con la llamada de origen antes de pedir la explicación final. Para un cálculo, distingue la operación propuesta por el modelo del resultado devuelto por la calculadora. El formato nativo de herramientas y la representación visible de una interfaz envolvente deben conservar sus propias convenciones documentadas.
Edición y límites prácticos
El ajuste de generación de 256 tokens de la ficha consultada es un ejemplo de uso, no una capacidad máxima de salida declarada de forma independiente. El contexto de 128k corresponde al material y a la conversación generada dentro de la versión configurada. No lo sustituyas por el contexto o las capacidades visuales de Llama 4 ni por el tamaño de otro checkpoint de Llama 3.1.
Este es un modelo Instruct exclusivamente de texto. Una imagen, grabación o video necesita que otro componente prepare su contenido pertinente. La recuperación externa, la ejecución de programas y los cambios en archivos también corresponden a la aplicación conectada al asistente. Conserva la edición exacta 70B Instruct y pide la explicación vinculada con fuentes, el documento revisado, el código o el texto estructurado que necesite la tarea.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valores y límites | Predeterminado |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObligatorio | Valores y límites meta-llama/llama-3.1-70b-instruct | Predeterminado— |
Campomessages | Tipomessage[] | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomessages[].role | Tipostring | RequisitoObligatorio | Valores y límites user, assistant | Predeterminado— |
Campomessages[].content | Tipostring | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campomax_tokens | Tipointeger | RequisitoObligatorio | Valores y límites | Predeterminado— |
Campostream | Tipoboolean | RequisitoOpcional | Valores y límites | Predeterminadofalse |
Texto · Texto UTF-8
cadena messages[].content
| Parámetro | Contrato |
|---|---|
Parámetrocontent_type | Contratoapplication/json |
Parámetrorequired | Contratomodel, messages, max_tokens |
Parámetrooptional_controls | Contratostream |
Parámetromaterial_types | Contratotext |
Parámetrotext_file_material | ContratoLee el documento real en UTF-8 y coloca su texto en el campo input indicado o en la cadena de contenido del mensaje. |
Ciclo de vida: synchronous_or_streamed
Las referencias tarifarias no añaden opciones a la solicitud. Los parámetros admitidos se indican en el método seleccionado.
Relaciona cada cargo con las condiciones mostradas. Usa una tarifa para cada conjunto de configuraciones alternativas.
| Configuración | Tabla de tarifas | Tokens de contexto, más de | Tokens de contexto, hasta inclusive | Cargo |
|---|---|---|---|---|
| ConfiguraciónTarifas base por token | Tabla de tarifasTarifa base | Tokens de contexto, más de— | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.00144 / 1K tokens Salida · Tokens de salida $0.00144 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
| ConfiguraciónNivel 1 por longitud de la solicitud | Tabla de tarifas— | Tokens de contexto, más de0 | Tokens de contexto, hasta inclusiveSin límite superior | Cargo Entrada · Tokens de entrada $0.00144 / 1K tokens Salida · Tokens de salida $0.00144 / 1K tokens Entrada · Lectura de caché — / 1K tokens Entrada · Escritura en caché — / 1K tokens Entrada · Escritura en caché, 1 hora — / 1K tokens |
Ailoot reserva un monto estimado antes de la solicitud. Tras obtener el resultado, liquida el cargo definitivo según el uso medido. En las respuestas en flujo, la liquidación usa el registro de uso final. Cómo funcionan la reserva y la liquidación →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva todas las respuestas, archivos y partes de contenido completos recibidos.
Conserva todos los bloques de contenido, las firmas de razonamiento y los ID reales de uso de herramientas. Ensambla todos los fragmentos incrementales de los bloques SSE; el primer bloque de texto no constituye la salida completa.
Conserva los ID de solicitud y respuesta y los encabezados. No se proporciona una URL genérica para recuperar tareas de texto.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Respuesta | Condición | Siguiente paso |
|---|---|---|
Respuesta400 · invalid_request_error | CondiciónCampos obligatorios, representación del material o valor del parámetro no válidos | Siguiente pasoCorrige los campos indicados antes de una nueva solicitud de creación. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Usa las rutas de método indicadas arriba.
Ejemplo técnico en inglés
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.