Llama 3.1 70B Instruct est le modèle textuel de Meta à 70 milliards de paramètres, optimisé pour le dialogue multilingue et les demandes de type assistant. C’est un point de contrôle ajusté aux instructions dans une famille qui comprend aussi les tailles 8B et 405B et des modèles préentraînés distincts. Il accepte du texte et renvoie du texte multilingue ou du code; l’édition nommée 70B conserve sa propre taille et son identité.
Information sur le modèle et entraînement
La version utilise une architecture Transformer autorégressive avec attention à requêtes groupées. Les modèles ajustés sont alignés par ajustement fin supervisé et apprentissage par renforcement avec rétroaction humaine. Ce sont des étapes d’entraînement pour un comportement conversationnel utile, et non un commutateur d’exécution nommé entre des modes distincts avec et sans raisonnement.
Le fabricant documente un contexte de 128k pour les modèles textuels et prend officiellement en charge l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. L’entraînement comprend un ensemble linguistique plus large, ce qui ne rend pas chaque langue également prise en charge. Précisez la langue de sortie, la terminologie et le lecteur avant de demander un livrable multilingue.
Le corpus de préentraînement de la famille est décrit comme comptant environ quinze billions de jetons, avec une limite fixée à décembre 2023. L’ajustement fin comprend des jeux de données d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cette limite concerne les données d’entraînement; une question qui dépend d’information plus récente ou privée exige que cette information soit fournie dans la tâche ou renvoyée par une source connectée.
Clavardage de type assistant et analyse de sources
L’édition Instruct vise à répondre à une demande conversationnelle, tandis que la version préentraînée est une fondation adaptable à d’autres tâches de génération. Pour une réponse fondée sur des sources, fournissez la question et les passages qui déterminent le résultat. Identifiez les sources et demandez la section ou l’énoncé justificatif à côté de chaque constat.
Une comparaison pratique peut fournir deux procédures et demander leurs conditions communes, leurs différences et leurs conflits non résolus. Le guide qui en résulte peut conserver la séquence originale et les conditions dans lesquelles chaque action s’applique. Une tâche de révision documentaire peut préciser le public, les faits qui doivent être conservés et si le livrable final doit être un passage révisé seul ou accompagné d’une explication.
Pour une réponse plus longue, nommez les sections requises et l’objectif de chacune. Un grand contexte peut conserver du contenu connexe ensemble tandis que le résultat final demeure une matrice ou une explication concise. L’identité des sources et une question bien définie importent davantage que la simple inclusion de tous les documents disponibles.
Code et exemples générés
La sortie documentée comprend du code. Pour une implémentation proposée, fournissez le langage, les types d’entrées, le résultat attendu et l’interface qui doit rester compatible. Incluez le fragment existant et les déclarations pertinentes lorsqu’il s’agit d’une correction. Demandez le code séparément de ses hypothèses et de ses exemples pour que l’étape suivante de développement puisse l’inspecter.
Pour une explication de code, fournissez l’entrée à suivre et demandez comment la fonction fournie atteint sa valeur de retour. Pour une explication mathématique, définissez les symboles et les hypothèses et précisez si le résultat doit être exact, approximatif ou une preuve. La génération de code et le raisonnement écrit ne compilent pas eux-mêmes un programme et n’exécutent pas un calcul.
Le fabricant identifie aussi la génération de données synthétiques et la distillation comme usages de la famille. Une tâche textuelle peut demander des exemples variés dans un format précisé, en conservant les règles fournies. La pertinence de ces exemples pour un entraînement ultérieur est une décision distincte de l’application; la sortie textuelle seule ne constitue pas une vérification indépendante de leur exactitude.
Format de conversation et outils
La fiche montre des messages système et utilisateur distincts avec le gabarit de clavardage correspondant. Utilisez l’instruction système pour le rôle, le ton et les règles de réponse durables, tandis que la demande utilisateur contient le problème réel et les sources. Conservez les messages antérieurs pertinents lors d’un suivi qui s’appuie sur une réponse précédente.
Llama 3.1 prend en charge plusieurs formats documentés d’utilisation d’outils. L’application fournit les fonctions et les paramètres, le modèle prépare un appel proposé, l’application l’exécute et ajoute son résultat à la conversation. Une génération ultérieure peut utiliser ce résultat. Le court exemple de la fiche montre explicitement l’ajout de l’appel de l’assistant, puis du résultat de l’outil; sélectionner une fonction est distinct de terminer son opération.
Pour une recherche, précisez l’information requise et définissez la fonction qui la renvoie. Conservez la valeur réellement renvoyée avec l’appel d’origine avant de demander l’explication finale. Pour un calcul, distinguez l’opération proposée par le modèle du résultat renvoyé par la calculatrice. Le formatage natif des outils et la représentation visible d’une interface d’encapsulation doivent conserver leurs propres conventions documentées.
Édition et limites pratiques
Le paramètre de génération de 256 jetons de la fiche consultée est un exemple d’utilisation plutôt qu’une capacité maximale de sortie énoncée séparément. Le contexte de 128k concerne le contenu et la conversation générée dans la version configurée. N’y substituez pas le contexte ou les capacités visuelles de Llama 4 ni la taille d’un autre point de contrôle Llama 3.1.
Il s’agit d’un modèle Instruct exclusivement textuel. Une image, un enregistrement ou une vidéo exige que son contenu pertinent soit préparé par un autre composant. La recherche externe, l’exécution de programmes et les modifications de fichiers relèvent aussi de l’application connectée à l’assistant. Préservez l’édition exacte 70B Instruct et demandez l’explication liée aux sources, le document révisé, le code ou le texte structuré requis par la tâche.
", "aboutText": "Llama 3.1 70B Instruct est le modèle textuel de Meta à 70 milliards de paramètres, optimisé pour le dialogue multilingue et les demandes de type assistant. C’est un point de contrôle ajusté aux instructions dans une famille qui comprend aussi les tailles 8B et 405B et des modèles préentraînés distincts. Il accepte du texte et renvoie du texte multilingue ou du code; l’édition nommée 70B conserve sa propre taille et son identité.\n\nInformation sur le modèle et entraînement\n\nLa version utilise une architecture Transformer autorégressive avec attention à requêtes groupées. Les modèles ajustés sont alignés par ajustement fin supervisé et apprentissage par renforcement avec rétroaction humaine. Ce sont des étapes d’entraînement pour un comportement conversationnel utile, et non un commutateur d’exécution nommé entre des modes distincts avec et sans raisonnement.\n\nLe fabricant documente un contexte de 128k pour les modèles textuels et prend officiellement en charge l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. L’entraînement comprend un ensemble linguistique plus large, ce qui ne rend pas chaque langue également prise en charge. Précisez la langue de sortie, la terminologie et le lecteur avant de demander un livrable multilingue.\n\nLe corpus de préentraînement de la famille est décrit comme comptant environ quinze billions de jetons, avec une limite fixée à décembre 2023. L’ajustement fin comprend des jeux de données d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cette limite concerne les données d’entraînement; une question qui dépend d’information plus récente ou privée exige que cette information soit fournie dans la tâche ou renvoyée par une source connectée.\n\nClavardage de type assistant et analyse de sources\n\nL’édition Instruct vise à répondre à une demande conversationnelle, tandis que la version préentraînée est une fondation adaptable à d’autres tâches de génération. Pour une réponse fondée sur des sources, fournissez la question et les passages qui déterminent le résultat. Identifiez les sources et demandez la section ou l’énoncé justificatif à côté de chaque constat.\n\nUne comparaison pratique peut fournir deux procédures et demander leurs conditions communes, leurs différences et leurs conflits non résolus. Le guide qui en résulte peut conserver la séquence originale et les conditions dans lesquelles chaque action s’applique. Une tâche de révision documentaire peut préciser le public, les faits qui doivent être conservés et si le livrable final doit être un passage révisé seul ou accompagné d’une explication.\n\nPour une réponse plus longue, nommez les sections requises et l’objectif de chacune. Un grand contexte peut conserver du contenu connexe ensemble tandis que le résultat final demeure une matrice ou une explication concise. L’identité des sources et une question bien définie importent davantage que la simple inclusion de tous les documents disponibles.\n\nCode et exemples générés\n\nLa sortie documentée comprend du code. Pour une implémentation proposée, fournissez le langage, les types d’entrées, le résultat attendu et l’interface qui doit rester compatible. Incluez le fragment existant et les déclarations pertinentes lorsqu’il s’agit d’une correction. Demandez le code séparément de ses hypothèses et de ses exemples pour que l’étape suivante de développement puisse l’inspecter.\n\nPour une explication de code, fournissez l’entrée à suivre et demandez comment la fonction fournie atteint sa valeur de retour. Pour une explication mathématique, définissez les symboles et les hypothèses et précisez si le résultat doit être exact, approximatif ou une preuve. La génération de code et le raisonnement écrit ne compilent pas eux-mêmes un programme et n’exécutent pas un calcul.\n\nLe fabricant identifie aussi la génération de données synthétiques et la distillation comme usages de la famille. Une tâche textuelle peut demander des exemples variés dans un format précisé, en conservant les règles fournies. La pertinence de ces exemples pour un entraînement ultérieur est une décision distincte de l’application; la sortie textuelle seule ne constitue pas une vérification indépendante de leur exactitude.\n\nFormat de conversation et outils\n\nLa fiche montre des messages système et utilisateur distincts avec le gabarit de clavardage correspondant. Utilisez l’instruction système pour le rôle, le ton et les règles de réponse durables, tandis que la demande utilisateur contient le problème réel et les sources. Conservez les messages antérieurs pertinents lors d’un suivi qui s’appuie sur une réponse précédente.\n\nLlama 3.1 prend en charge plusieurs formats documentés d’utilisation d’outils. L’application fournit les fonctions et les paramètres, le modèle prépare un appel proposé, l’application l’exécute et ajoute son résultat à la conversation. Une génération ultérieure peut utiliser ce résultat. Le court exemple de la fiche montre explicitement l’ajout de l’appel de l’assistant, puis du résultat de l’outil; sélectionner une fonction est distinct de terminer son opération.\n\nPour une recherche, précisez l’information requise et définissez la fonction qui la renvoie. Conservez la valeur réellement renvoyée avec l’appel d’origine avant de demander l’explication finale. Pour un calcul, distinguez l’opération proposée par le modèle du résultat renvoyé par la calculatrice. Le formatage natif des outils et la représentation visible d’une interface d’encapsulation doivent conserver leurs propres conventions documentées.\n\nÉdition et limites pratiques\n\nLe paramètre de génération de 256 jetons de la fiche consultée est un exemple d’utilisation plutôt qu’une capacité maximale de sortie énoncée séparément. Le contexte de 128k concerne le contenu et la conversation générée dans la version configurée. N’y substituez pas le contexte ou les capacités visuelles de Llama 4 ni la taille d’un autre point de contrôle Llama 3.1.\n\nIl s’agit d’un modèle Instruct exclusivement textuel. Une image, un enregistrement ou une vidéo exige que son contenu pertinent soit préparé par un autre composant. La recherche externe, l’exécution de programmes et les modifications de fichiers relèvent aussi de l’application connectée à l’assistant. Préservez l’édition exacte 70B Instruct et demandez l’explication liée aux sources, le document révisé, le code ou le texte structuré requis par la tâche.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct est le modèle textuel de Meta pour le dialogue multilingue, le raisonnement documentaire et le code. Sa version de 70 milliards de paramètres ajustée aux instructions utilise l’attention à requêtes groupées, un contexte fabricant de 128k et des formats conversationnels documentés d’appels d’outils, avec une sortie en texte et en code.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Llama 3.1 70B Instruct est le modèle textuel de Meta à 70 milliards de paramètres, optimisé pour le dialogue multilingue et les demandes de type assistant. C’est un point de contrôle ajusté aux instructions dans une famille qui comprend aussi les tailles 8B et 405B et des modèles préentraînés distincts. Il accepte du texte et renvoie du texte multilingue ou du code; l’édition nommée 70B conserve sa propre taille et son identité.
Information sur le modèle et entraînement
La version utilise une architecture Transformer autorégressive avec attention à requêtes groupées. Les modèles ajustés sont alignés par ajustement fin supervisé et apprentissage par renforcement avec rétroaction humaine. Ce sont des étapes d’entraînement pour un comportement conversationnel utile, et non un commutateur d’exécution nommé entre des modes distincts avec et sans raisonnement.
Le fabricant documente un contexte de 128k pour les modèles textuels et prend officiellement en charge l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. L’entraînement comprend un ensemble linguistique plus large, ce qui ne rend pas chaque langue également prise en charge. Précisez la langue de sortie, la terminologie et le lecteur avant de demander un livrable multilingue.
Le corpus de préentraînement de la famille est décrit comme comptant environ quinze billions de jetons, avec une limite fixée à décembre 2023. L’ajustement fin comprend des jeux de données d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cette limite concerne les données d’entraînement; une question qui dépend d’information plus récente ou privée exige que cette information soit fournie dans la tâche ou renvoyée par une source connectée.
Clavardage de type assistant et analyse de sources
L’édition Instruct vise à répondre à une demande conversationnelle, tandis que la version préentraînée est une fondation adaptable à d’autres tâches de génération. Pour une réponse fondée sur des sources, fournissez la question et les passages qui déterminent le résultat. Identifiez les sources et demandez la section ou l’énoncé justificatif à côté de chaque constat.
Une comparaison pratique peut fournir deux procédures et demander leurs conditions communes, leurs différences et leurs conflits non résolus. Le guide qui en résulte peut conserver la séquence originale et les conditions dans lesquelles chaque action s’applique. Une tâche de révision documentaire peut préciser le public, les faits qui doivent être conservés et si le livrable final doit être un passage révisé seul ou accompagné d’une explication.
Pour une réponse plus longue, nommez les sections requises et l’objectif de chacune. Un grand contexte peut conserver du contenu connexe ensemble tandis que le résultat final demeure une matrice ou une explication concise. L’identité des sources et une question bien définie importent davantage que la simple inclusion de tous les documents disponibles.
Code et exemples générés
La sortie documentée comprend du code. Pour une implémentation proposée, fournissez le langage, les types d’entrées, le résultat attendu et l’interface qui doit rester compatible. Incluez le fragment existant et les déclarations pertinentes lorsqu’il s’agit d’une correction. Demandez le code séparément de ses hypothèses et de ses exemples pour que l’étape suivante de développement puisse l’inspecter.
Pour une explication de code, fournissez l’entrée à suivre et demandez comment la fonction fournie atteint sa valeur de retour. Pour une explication mathématique, définissez les symboles et les hypothèses et précisez si le résultat doit être exact, approximatif ou une preuve. La génération de code et le raisonnement écrit ne compilent pas eux-mêmes un programme et n’exécutent pas un calcul.
Le fabricant identifie aussi la génération de données synthétiques et la distillation comme usages de la famille. Une tâche textuelle peut demander des exemples variés dans un format précisé, en conservant les règles fournies. La pertinence de ces exemples pour un entraînement ultérieur est une décision distincte de l’application; la sortie textuelle seule ne constitue pas une vérification indépendante de leur exactitude.
Format de conversation et outils
La fiche montre des messages système et utilisateur distincts avec le gabarit de clavardage correspondant. Utilisez l’instruction système pour le rôle, le ton et les règles de réponse durables, tandis que la demande utilisateur contient le problème réel et les sources. Conservez les messages antérieurs pertinents lors d’un suivi qui s’appuie sur une réponse précédente.
Llama 3.1 prend en charge plusieurs formats documentés d’utilisation d’outils. L’application fournit les fonctions et les paramètres, le modèle prépare un appel proposé, l’application l’exécute et ajoute son résultat à la conversation. Une génération ultérieure peut utiliser ce résultat. Le court exemple de la fiche montre explicitement l’ajout de l’appel de l’assistant, puis du résultat de l’outil; sélectionner une fonction est distinct de terminer son opération.
Pour une recherche, précisez l’information requise et définissez la fonction qui la renvoie. Conservez la valeur réellement renvoyée avec l’appel d’origine avant de demander l’explication finale. Pour un calcul, distinguez l’opération proposée par le modèle du résultat renvoyé par la calculatrice. Le formatage natif des outils et la représentation visible d’une interface d’encapsulation doivent conserver leurs propres conventions documentées.
Édition et limites pratiques
Le paramètre de génération de 256 jetons de la fiche consultée est un exemple d’utilisation plutôt qu’une capacité maximale de sortie énoncée séparément. Le contexte de 128k concerne le contenu et la conversation générée dans la version configurée. N’y substituez pas le contexte ou les capacités visuelles de Llama 4 ni la taille d’un autre point de contrôle Llama 3.1.
Il s’agit d’un modèle Instruct exclusivement textuel. Une image, un enregistrement ou une vidéo exige que son contenu pertinent soit préparé par un autre composant. La recherche externe, l’exécution de programmes et les modifications de fichiers relèvent aussi de l’application connectée à l’assistant. Préservez l’édition exacte 70B Instruct et demandez l’explication liée aux sources, le document révisé, le code ou le texte structuré requis par la tâche.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites meta-llama/llama-3.1-70b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’ID réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: Fonction fournie comme outil | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est refusé sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: La valeur 1h est refusée là où le cache des prompts est configuré | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | ContratTableau de messages avec une structure role/content |
Paramètrefile_material | ContratDocument UTF-8 réel inséré comme texte littéral ; aucun ID de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | ContratPropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’ID exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objet fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Jetons de contexte, plus de | Jetons de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Jetons de contexte, plus de— | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00144 / 1K jetons Sortie · Jetons en sortie $0.00144 / 1K jetons Entrée · Lecture du cache — / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Jetons de contexte, plus de0 | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00144 / 1K jetons Sortie · Jetons en sortie $0.00144 / 1K jetons Entrée · Lecture du cache — / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, et conservez le motif final d’arrêt et les données d’utilisation.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct est le modèle textuel de Meta pour le dialogue multilingue, le raisonnement documentaire et le code. Sa version de 70 milliards de paramètres ajustée aux instructions utilise l’attention à requêtes groupées, un contexte fabricant de 128k et des formats conversationnels documentés d’appels d’outils, avec une sortie en texte et en code.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Llama 3.1 70B Instruct est le modèle textuel de Meta à 70 milliards de paramètres, optimisé pour le dialogue multilingue et les demandes de type assistant. C’est un point de contrôle ajusté aux instructions dans une famille qui comprend aussi les tailles 8B et 405B et des modèles préentraînés distincts. Il accepte du texte et renvoie du texte multilingue ou du code; l’édition nommée 70B conserve sa propre taille et son identité.
Information sur le modèle et entraînement
La version utilise une architecture Transformer autorégressive avec attention à requêtes groupées. Les modèles ajustés sont alignés par ajustement fin supervisé et apprentissage par renforcement avec rétroaction humaine. Ce sont des étapes d’entraînement pour un comportement conversationnel utile, et non un commutateur d’exécution nommé entre des modes distincts avec et sans raisonnement.
Le fabricant documente un contexte de 128k pour les modèles textuels et prend officiellement en charge l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. L’entraînement comprend un ensemble linguistique plus large, ce qui ne rend pas chaque langue également prise en charge. Précisez la langue de sortie, la terminologie et le lecteur avant de demander un livrable multilingue.
Le corpus de préentraînement de la famille est décrit comme comptant environ quinze billions de jetons, avec une limite fixée à décembre 2023. L’ajustement fin comprend des jeux de données d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cette limite concerne les données d’entraînement; une question qui dépend d’information plus récente ou privée exige que cette information soit fournie dans la tâche ou renvoyée par une source connectée.
Clavardage de type assistant et analyse de sources
L’édition Instruct vise à répondre à une demande conversationnelle, tandis que la version préentraînée est une fondation adaptable à d’autres tâches de génération. Pour une réponse fondée sur des sources, fournissez la question et les passages qui déterminent le résultat. Identifiez les sources et demandez la section ou l’énoncé justificatif à côté de chaque constat.
Une comparaison pratique peut fournir deux procédures et demander leurs conditions communes, leurs différences et leurs conflits non résolus. Le guide qui en résulte peut conserver la séquence originale et les conditions dans lesquelles chaque action s’applique. Une tâche de révision documentaire peut préciser le public, les faits qui doivent être conservés et si le livrable final doit être un passage révisé seul ou accompagné d’une explication.
Pour une réponse plus longue, nommez les sections requises et l’objectif de chacune. Un grand contexte peut conserver du contenu connexe ensemble tandis que le résultat final demeure une matrice ou une explication concise. L’identité des sources et une question bien définie importent davantage que la simple inclusion de tous les documents disponibles.
Code et exemples générés
La sortie documentée comprend du code. Pour une implémentation proposée, fournissez le langage, les types d’entrées, le résultat attendu et l’interface qui doit rester compatible. Incluez le fragment existant et les déclarations pertinentes lorsqu’il s’agit d’une correction. Demandez le code séparément de ses hypothèses et de ses exemples pour que l’étape suivante de développement puisse l’inspecter.
Pour une explication de code, fournissez l’entrée à suivre et demandez comment la fonction fournie atteint sa valeur de retour. Pour une explication mathématique, définissez les symboles et les hypothèses et précisez si le résultat doit être exact, approximatif ou une preuve. La génération de code et le raisonnement écrit ne compilent pas eux-mêmes un programme et n’exécutent pas un calcul.
Le fabricant identifie aussi la génération de données synthétiques et la distillation comme usages de la famille. Une tâche textuelle peut demander des exemples variés dans un format précisé, en conservant les règles fournies. La pertinence de ces exemples pour un entraînement ultérieur est une décision distincte de l’application; la sortie textuelle seule ne constitue pas une vérification indépendante de leur exactitude.
Format de conversation et outils
La fiche montre des messages système et utilisateur distincts avec le gabarit de clavardage correspondant. Utilisez l’instruction système pour le rôle, le ton et les règles de réponse durables, tandis que la demande utilisateur contient le problème réel et les sources. Conservez les messages antérieurs pertinents lors d’un suivi qui s’appuie sur une réponse précédente.
Llama 3.1 prend en charge plusieurs formats documentés d’utilisation d’outils. L’application fournit les fonctions et les paramètres, le modèle prépare un appel proposé, l’application l’exécute et ajoute son résultat à la conversation. Une génération ultérieure peut utiliser ce résultat. Le court exemple de la fiche montre explicitement l’ajout de l’appel de l’assistant, puis du résultat de l’outil; sélectionner une fonction est distinct de terminer son opération.
Pour une recherche, précisez l’information requise et définissez la fonction qui la renvoie. Conservez la valeur réellement renvoyée avec l’appel d’origine avant de demander l’explication finale. Pour un calcul, distinguez l’opération proposée par le modèle du résultat renvoyé par la calculatrice. Le formatage natif des outils et la représentation visible d’une interface d’encapsulation doivent conserver leurs propres conventions documentées.
Édition et limites pratiques
Le paramètre de génération de 256 jetons de la fiche consultée est un exemple d’utilisation plutôt qu’une capacité maximale de sortie énoncée séparément. Le contexte de 128k concerne le contenu et la conversation générée dans la version configurée. N’y substituez pas le contexte ou les capacités visuelles de Llama 4 ni la taille d’un autre point de contrôle Llama 3.1.
Il s’agit d’un modèle Instruct exclusivement textuel. Une image, un enregistrement ou une vidéo exige que son contenu pertinent soit préparé par un autre composant. La recherche externe, l’exécution de programmes et les modifications de fichiers relèvent aussi de l’application connectée à l’assistant. Préservez l’édition exacte 70B Instruct et demandez l’explication liée aux sources, le document révisé, le code ou le texte structuré requis par la tâche.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites meta-llama/llama-3.1-70b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
Chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Jetons de contexte, plus de | Jetons de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Jetons de contexte, plus de— | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00144 / 1K jetons Sortie · Jetons en sortie $0.00144 / 1K jetons Entrée · Lecture du cache — / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Jetons de contexte, plus de0 | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00144 / 1K jetons Sortie · Jetons en sortie $0.00144 / 1K jetons Entrée · Lecture du cache — / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les ID réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.