Llama 3.1 8B Instruct est le modèle textuel de Meta à huit milliards de paramètres pour le dialogue multilingue et les assistants guidés par des instructions. Il accepte des conversations écrites et du matériel source et produit du texte ou du code. Il s’agit de l’édition Instruct de taille 8B, distincte de sa base préentraînée et des modèles 70B et 405B de la famille.
Architecture, contexte et langues
Le modèle utilise une architecture Transformer autorégressive avec attention à requêtes groupées. La famille ajustée aux instructions utilise l’ajustement fin supervisé et l’apprentissage par renforcement avec rétroaction humaine pour aligner ses réponses conversationnelles. Le fabricant documente un contexte de 128k pour cette version textuelle; ce n’est pas la spécification de vision ou de long contexte d’un modèle Llama 4 ultérieur.
Les huit langues officiellement prises en charge sont l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. Les données de préentraînement couvrent un ensemble plus large, distinct des langues explicitement prises en charge par la fiche. Précisez la langue finale et les noms, identifiants de variables ou termes qui doivent rester inchangés dans un résultat multilingue.
La famille est préentraînée sur environ quinze billions de jetons, avec une limite de données fixée à décembre 2023. L’ajustement fin comprend du matériel d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cela décrit l’entraînement du modèle, et non un accès à une base de connaissances privée ou à de l’information en direct lorsqu’une nouvelle question arrive.
Opérations textuelles définies
Une demande d’assistance peut fournir le message de l’utilisateur et les passages de référence pertinents, puis demander la réponse et la condition qui l’appuie. Un dossier compact peut distinguer le problème, l’information déjà fournie et la prochaine étape requise. Définissez les noms des champs et le traitement des valeurs manquantes lorsqu’une application doit traiter ce résultat.
Pour la synthèse, fournissez le passage ou l’échange réel et précisez le public, la longueur et les faits à conserver. Demandez les décisions ou les questions non résolues pertinentes à un sujet plutôt qu’un résumé non orienté de contenu sans rapport. Un suivi peut demander une réponse plus courte ou une explication plus claire d’une condition tout en préservant les mêmes faits sources.
Pour la révision, précisez le lecteur et le ton et identifiez le sens qui doit rester inchangé. Une tâche pratique peut demander un message plus clair suivi d’une courte liste de modifications, ou le message révisé seul s’il est utilisé directement. Une tâche de classification devrait fournir les étiquettes permises et la distinction entre elles, plutôt que de compter sur le nom d’une étiquette pour définir la règle.
Génération de code et d’exemples
La sortie documentée comprend aussi du code. Fournissez le langage, les entrées requises et le résultat attendu avant de demander une fonction. Pour une explication, donnez la fonction existante et une entrée concrète et demandez quelles étapes déterminent sa valeur de retour. Pour une correction, incluez l’échec observé et le comportement prévu, en conservant l’interface qui doit rester compatible.
Une sortie utile peut distinguer le code proposé, ses hypothèses et des exemples d’entrées. L’application ou le développeur effectue la compilation, l’exécution ou la modification réelle du dépôt. Le code source écrit est un livrable à inspecter, et non une opération externe terminée simplement parce que le modèle l’a renvoyé.
La famille prend aussi en charge l’utilisation de sorties générées pour les exemples synthétiques et la distillation. Une demande textuelle définie peut produire des variantes selon des règles fournies et dans un format précisé. Conservez les règles et les étiquettes pour que chaque exemple puisse être inspecté; les exemples générés n’établissent pas indépendamment l’exactitude d’un jeu de données d’entraînement.
Rôles conversationnels et utilisation d’outils
La fiche montre un gabarit de clavardage avec des messages système et utilisateur distincts. Définissez le rôle de l’assistant et les exigences de réponse dans le contexte système, puis fournissez la question et le matériel source comme tâche. Conservez les messages antérieurs pertinents lors d’un suivi ou de l’ajout de nouveaux éléments probants qui changent le résultat.
Llama 3.1 documente plusieurs formats d’utilisation d’outils. L’application décrit une fonction, le modèle génère l’appel et les arguments proposés, l’application l’exécute et renvoie le résultat avec le rôle tool. La réponse suivante peut ensuite utiliser l’information renvoyée. Gardez l’opération d’origine et le résultat liés tout au long de la conversation.
Par exemple, une recherche peut renvoyer la valeur de référence actuelle qui manque dans un passage, ou un outil de calcul peut fournir le résultat numérique nécessaire à l’explication. Un assistant doté d’outils a besoin que ces opérations soient fournies par l’environnement. Le comportement textuel du modèle ne crée pas à lui seul une connexion à une source externe ni ne réalise un effet de bord.
Limites pratiques
L’indication de contexte de 128k du fabricant doit rester associée à la version exacte 8B Instruct et à la configuration applicable. L’exemple de génération à 256 jetons n’est qu’un choix d’utilisation; les sources consultées n’indiquent pas de capacité maximale stricte distincte de réponse. La taille 8B ne doit pas hériter du nombre de paramètres d’un autre membre ou des commandes de raisonnement nommées d’une autre famille.
Il s’agit d’un modèle exclusivement textuel. L’entrée visuelle, la compréhension de l’audio et la génération vocale nécessitent des composants spécifiés séparément. Définissez le livrable final avant de fournir le matériel : une réponse concise, un enregistrement extrait, un passage révisé, une explication ou une proposition de code. Conservez l’information source nécessaire pour inspecter le sens et le format de ce livrable.
", "aboutText": "Llama 3.1 8B Instruct est le modèle textuel de Meta à huit milliards de paramètres pour le dialogue multilingue et les assistants guidés par des instructions. Il accepte des conversations écrites et du matériel source et produit du texte ou du code. Il s’agit de l’édition Instruct de taille 8B, distincte de sa base préentraînée et des modèles 70B et 405B de la famille.\n\nArchitecture, contexte et langues\n\nLe modèle utilise une architecture Transformer autorégressive avec attention à requêtes groupées. La famille ajustée aux instructions utilise l’ajustement fin supervisé et l’apprentissage par renforcement avec rétroaction humaine pour aligner ses réponses conversationnelles. Le fabricant documente un contexte de 128k pour cette version textuelle; ce n’est pas la spécification de vision ou de long contexte d’un modèle Llama 4 ultérieur.\n\nLes huit langues officiellement prises en charge sont l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. Les données de préentraînement couvrent un ensemble plus large, distinct des langues explicitement prises en charge par la fiche. Précisez la langue finale et les noms, identifiants de variables ou termes qui doivent rester inchangés dans un résultat multilingue.\n\nLa famille est préentraînée sur environ quinze billions de jetons, avec une limite de données fixée à décembre 2023. L’ajustement fin comprend du matériel d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cela décrit l’entraînement du modèle, et non un accès à une base de connaissances privée ou à de l’information en direct lorsqu’une nouvelle question arrive.\n\nOpérations textuelles définies\n\nUne demande d’assistance peut fournir le message de l’utilisateur et les passages de référence pertinents, puis demander la réponse et la condition qui l’appuie. Un dossier compact peut distinguer le problème, l’information déjà fournie et la prochaine étape requise. Définissez les noms des champs et le traitement des valeurs manquantes lorsqu’une application doit traiter ce résultat.\n\nPour la synthèse, fournissez le passage ou l’échange réel et précisez le public, la longueur et les faits à conserver. Demandez les décisions ou les questions non résolues pertinentes à un sujet plutôt qu’un résumé non orienté de contenu sans rapport. Un suivi peut demander une réponse plus courte ou une explication plus claire d’une condition tout en préservant les mêmes faits sources.\n\nPour la révision, précisez le lecteur et le ton et identifiez le sens qui doit rester inchangé. Une tâche pratique peut demander un message plus clair suivi d’une courte liste de modifications, ou le message révisé seul s’il est utilisé directement. Une tâche de classification devrait fournir les étiquettes permises et la distinction entre elles, plutôt que de compter sur le nom d’une étiquette pour définir la règle.\n\nGénération de code et d’exemples\n\nLa sortie documentée comprend aussi du code. Fournissez le langage, les entrées requises et le résultat attendu avant de demander une fonction. Pour une explication, donnez la fonction existante et une entrée concrète et demandez quelles étapes déterminent sa valeur de retour. Pour une correction, incluez l’échec observé et le comportement prévu, en conservant l’interface qui doit rester compatible.\n\nUne sortie utile peut distinguer le code proposé, ses hypothèses et des exemples d’entrées. L’application ou le développeur effectue la compilation, l’exécution ou la modification réelle du dépôt. Le code source écrit est un livrable à inspecter, et non une opération externe terminée simplement parce que le modèle l’a renvoyé.\n\nLa famille prend aussi en charge l’utilisation de sorties générées pour les exemples synthétiques et la distillation. Une demande textuelle définie peut produire des variantes selon des règles fournies et dans un format précisé. Conservez les règles et les étiquettes pour que chaque exemple puisse être inspecté; les exemples générés n’établissent pas indépendamment l’exactitude d’un jeu de données d’entraînement.\n\nRôles conversationnels et utilisation d’outils\n\nLa fiche montre un gabarit de clavardage avec des messages système et utilisateur distincts. Définissez le rôle de l’assistant et les exigences de réponse dans le contexte système, puis fournissez la question et le matériel source comme tâche. Conservez les messages antérieurs pertinents lors d’un suivi ou de l’ajout de nouveaux éléments probants qui changent le résultat.\n\nLlama 3.1 documente plusieurs formats d’utilisation d’outils. L’application décrit une fonction, le modèle génère l’appel et les arguments proposés, l’application l’exécute et renvoie le résultat avec le rôle tool. La réponse suivante peut ensuite utiliser l’information renvoyée. Gardez l’opération d’origine et le résultat liés tout au long de la conversation.\n\nPar exemple, une recherche peut renvoyer la valeur de référence actuelle qui manque dans un passage, ou un outil de calcul peut fournir le résultat numérique nécessaire à l’explication. Un assistant doté d’outils a besoin que ces opérations soient fournies par l’environnement. Le comportement textuel du modèle ne crée pas à lui seul une connexion à une source externe ni ne réalise un effet de bord.\n\nLimites pratiques\n\nL’indication de contexte de 128k du fabricant doit rester associée à la version exacte 8B Instruct et à la configuration applicable. L’exemple de génération à 256 jetons n’est qu’un choix d’utilisation; les sources consultées n’indiquent pas de capacité maximale stricte distincte de réponse. La taille 8B ne doit pas hériter du nombre de paramètres d’un autre membre ou des commandes de raisonnement nommées d’une autre famille.\n\nIl s’agit d’un modèle exclusivement textuel. L’entrée visuelle, la compréhension de l’audio et la génération vocale nécessitent des composants spécifiés séparément. Définissez le livrable final avant de fournir le matériel : une réponse concise, un enregistrement extrait, un passage révisé, une explication ou une proposition de code. Conservez l’information source nécessaire pour inspecter le sens et le format de ce livrable.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct est un modèle textuel de Meta de plus petite taille, ajusté aux instructions, pour le dialogue multilingue, les résumés et les réponses fondées sur les sources. Il compte 8 milliards de paramètres, offre un contexte de 128k indiqué par le fabricant, utilise l’attention à requêtes groupées et des formats documentés d’utilisation d’outils, et renvoie du texte ou du code.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Llama 3.1 8B Instruct est le modèle textuel de Meta à huit milliards de paramètres pour le dialogue multilingue et les assistants guidés par des instructions. Il accepte des conversations écrites et du matériel source et produit du texte ou du code. Il s’agit de l’édition Instruct de taille 8B, distincte de sa base préentraînée et des modèles 70B et 405B de la famille.
Architecture, contexte et langues
Le modèle utilise une architecture Transformer autorégressive avec attention à requêtes groupées. La famille ajustée aux instructions utilise l’ajustement fin supervisé et l’apprentissage par renforcement avec rétroaction humaine pour aligner ses réponses conversationnelles. Le fabricant documente un contexte de 128k pour cette version textuelle; ce n’est pas la spécification de vision ou de long contexte d’un modèle Llama 4 ultérieur.
Les huit langues officiellement prises en charge sont l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. Les données de préentraînement couvrent un ensemble plus large, distinct des langues explicitement prises en charge par la fiche. Précisez la langue finale et les noms, identifiants de variables ou termes qui doivent rester inchangés dans un résultat multilingue.
La famille est préentraînée sur environ quinze billions de jetons, avec une limite de données fixée à décembre 2023. L’ajustement fin comprend du matériel d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cela décrit l’entraînement du modèle, et non un accès à une base de connaissances privée ou à de l’information en direct lorsqu’une nouvelle question arrive.
Opérations textuelles définies
Une demande d’assistance peut fournir le message de l’utilisateur et les passages de référence pertinents, puis demander la réponse et la condition qui l’appuie. Un dossier compact peut distinguer le problème, l’information déjà fournie et la prochaine étape requise. Définissez les noms des champs et le traitement des valeurs manquantes lorsqu’une application doit traiter ce résultat.
Pour la synthèse, fournissez le passage ou l’échange réel et précisez le public, la longueur et les faits à conserver. Demandez les décisions ou les questions non résolues pertinentes à un sujet plutôt qu’un résumé non orienté de contenu sans rapport. Un suivi peut demander une réponse plus courte ou une explication plus claire d’une condition tout en préservant les mêmes faits sources.
Pour la révision, précisez le lecteur et le ton et identifiez le sens qui doit rester inchangé. Une tâche pratique peut demander un message plus clair suivi d’une courte liste de modifications, ou le message révisé seul s’il est utilisé directement. Une tâche de classification devrait fournir les étiquettes permises et la distinction entre elles, plutôt que de compter sur le nom d’une étiquette pour définir la règle.
Génération de code et d’exemples
La sortie documentée comprend aussi du code. Fournissez le langage, les entrées requises et le résultat attendu avant de demander une fonction. Pour une explication, donnez la fonction existante et une entrée concrète et demandez quelles étapes déterminent sa valeur de retour. Pour une correction, incluez l’échec observé et le comportement prévu, en conservant l’interface qui doit rester compatible.
Une sortie utile peut distinguer le code proposé, ses hypothèses et des exemples d’entrées. L’application ou le développeur effectue la compilation, l’exécution ou la modification réelle du dépôt. Le code source écrit est un livrable à inspecter, et non une opération externe terminée simplement parce que le modèle l’a renvoyé.
La famille prend aussi en charge l’utilisation de sorties générées pour les exemples synthétiques et la distillation. Une demande textuelle définie peut produire des variantes selon des règles fournies et dans un format précisé. Conservez les règles et les étiquettes pour que chaque exemple puisse être inspecté; les exemples générés n’établissent pas indépendamment l’exactitude d’un jeu de données d’entraînement.
Rôles conversationnels et utilisation d’outils
La fiche montre un gabarit de clavardage avec des messages système et utilisateur distincts. Définissez le rôle de l’assistant et les exigences de réponse dans le contexte système, puis fournissez la question et le matériel source comme tâche. Conservez les messages antérieurs pertinents lors d’un suivi ou de l’ajout de nouveaux éléments probants qui changent le résultat.
Llama 3.1 documente plusieurs formats d’utilisation d’outils. L’application décrit une fonction, le modèle génère l’appel et les arguments proposés, l’application l’exécute et renvoie le résultat avec le rôle tool. La réponse suivante peut ensuite utiliser l’information renvoyée. Gardez l’opération d’origine et le résultat liés tout au long de la conversation.
Par exemple, une recherche peut renvoyer la valeur de référence actuelle qui manque dans un passage, ou un outil de calcul peut fournir le résultat numérique nécessaire à l’explication. Un assistant doté d’outils a besoin que ces opérations soient fournies par l’environnement. Le comportement textuel du modèle ne crée pas à lui seul une connexion à une source externe ni ne réalise un effet de bord.
Limites pratiques
L’indication de contexte de 128k du fabricant doit rester associée à la version exacte 8B Instruct et à la configuration applicable. L’exemple de génération à 256 jetons n’est qu’un choix d’utilisation; les sources consultées n’indiquent pas de capacité maximale stricte distincte de réponse. La taille 8B ne doit pas hériter du nombre de paramètres d’un autre membre ou des commandes de raisonnement nommées d’une autre famille.
Il s’agit d’un modèle exclusivement textuel. L’entrée visuelle, la compréhension de l’audio et la génération vocale nécessitent des composants spécifiés séparément. Définissez le livrable final avant de fournir le matériel : une réponse concise, un enregistrement extrait, un passage révisé, une explication ou une proposition de code. Conservez l’information source nécessaire pour inspecter le sens et le format de ce livrable.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites meta-llama/llama-3.1-8b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’ID réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: Fonction fournie comme outil | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est refusé sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: La valeur 1h est refusée là où le cache des prompts est configuré | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | ContratTableau de messages avec une structure role/content |
Paramètrefile_material | ContratDocument UTF-8 réel inséré comme texte littéral ; aucun ID de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | ContratPropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’ID exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objet fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Jetons de contexte, plus de | Jetons de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Jetons de contexte, plus de— | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00044 / 1K jetons Sortie · Jetons en sortie $0.00044 / 1K jetons Entrée · Lecture du cache $0.00044 / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Jetons de contexte, plus de0 | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00044 / 1K jetons Sortie · Jetons en sortie $0.00044 / 1K jetons Entrée · Lecture du cache $0.00044 / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, et conservez le motif final d’arrêt et les données d’utilisation.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct est un modèle textuel de Meta de plus petite taille, ajusté aux instructions, pour le dialogue multilingue, les résumés et les réponses fondées sur les sources. Il compte 8 milliards de paramètres, offre un contexte de 128k indiqué par le fabricant, utilise l’attention à requêtes groupées et des formats documentés d’utilisation d’outils, et renvoie du texte ou du code.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Llama 3.1 8B Instruct est le modèle textuel de Meta à huit milliards de paramètres pour le dialogue multilingue et les assistants guidés par des instructions. Il accepte des conversations écrites et du matériel source et produit du texte ou du code. Il s’agit de l’édition Instruct de taille 8B, distincte de sa base préentraînée et des modèles 70B et 405B de la famille.
Architecture, contexte et langues
Le modèle utilise une architecture Transformer autorégressive avec attention à requêtes groupées. La famille ajustée aux instructions utilise l’ajustement fin supervisé et l’apprentissage par renforcement avec rétroaction humaine pour aligner ses réponses conversationnelles. Le fabricant documente un contexte de 128k pour cette version textuelle; ce n’est pas la spécification de vision ou de long contexte d’un modèle Llama 4 ultérieur.
Les huit langues officiellement prises en charge sont l’anglais, l’allemand, le français, l’italien, le portugais, l’hindi, l’espagnol et le thaï. Les données de préentraînement couvrent un ensemble plus large, distinct des langues explicitement prises en charge par la fiche. Précisez la langue finale et les noms, identifiants de variables ou termes qui doivent rester inchangés dans un résultat multilingue.
La famille est préentraînée sur environ quinze billions de jetons, avec une limite de données fixée à décembre 2023. L’ajustement fin comprend du matériel d’instructions et plus de vingt-cinq millions d’exemples synthétiques. Cela décrit l’entraînement du modèle, et non un accès à une base de connaissances privée ou à de l’information en direct lorsqu’une nouvelle question arrive.
Opérations textuelles définies
Une demande d’assistance peut fournir le message de l’utilisateur et les passages de référence pertinents, puis demander la réponse et la condition qui l’appuie. Un dossier compact peut distinguer le problème, l’information déjà fournie et la prochaine étape requise. Définissez les noms des champs et le traitement des valeurs manquantes lorsqu’une application doit traiter ce résultat.
Pour la synthèse, fournissez le passage ou l’échange réel et précisez le public, la longueur et les faits à conserver. Demandez les décisions ou les questions non résolues pertinentes à un sujet plutôt qu’un résumé non orienté de contenu sans rapport. Un suivi peut demander une réponse plus courte ou une explication plus claire d’une condition tout en préservant les mêmes faits sources.
Pour la révision, précisez le lecteur et le ton et identifiez le sens qui doit rester inchangé. Une tâche pratique peut demander un message plus clair suivi d’une courte liste de modifications, ou le message révisé seul s’il est utilisé directement. Une tâche de classification devrait fournir les étiquettes permises et la distinction entre elles, plutôt que de compter sur le nom d’une étiquette pour définir la règle.
Génération de code et d’exemples
La sortie documentée comprend aussi du code. Fournissez le langage, les entrées requises et le résultat attendu avant de demander une fonction. Pour une explication, donnez la fonction existante et une entrée concrète et demandez quelles étapes déterminent sa valeur de retour. Pour une correction, incluez l’échec observé et le comportement prévu, en conservant l’interface qui doit rester compatible.
Une sortie utile peut distinguer le code proposé, ses hypothèses et des exemples d’entrées. L’application ou le développeur effectue la compilation, l’exécution ou la modification réelle du dépôt. Le code source écrit est un livrable à inspecter, et non une opération externe terminée simplement parce que le modèle l’a renvoyé.
La famille prend aussi en charge l’utilisation de sorties générées pour les exemples synthétiques et la distillation. Une demande textuelle définie peut produire des variantes selon des règles fournies et dans un format précisé. Conservez les règles et les étiquettes pour que chaque exemple puisse être inspecté; les exemples générés n’établissent pas indépendamment l’exactitude d’un jeu de données d’entraînement.
Rôles conversationnels et utilisation d’outils
La fiche montre un gabarit de clavardage avec des messages système et utilisateur distincts. Définissez le rôle de l’assistant et les exigences de réponse dans le contexte système, puis fournissez la question et le matériel source comme tâche. Conservez les messages antérieurs pertinents lors d’un suivi ou de l’ajout de nouveaux éléments probants qui changent le résultat.
Llama 3.1 documente plusieurs formats d’utilisation d’outils. L’application décrit une fonction, le modèle génère l’appel et les arguments proposés, l’application l’exécute et renvoie le résultat avec le rôle tool. La réponse suivante peut ensuite utiliser l’information renvoyée. Gardez l’opération d’origine et le résultat liés tout au long de la conversation.
Par exemple, une recherche peut renvoyer la valeur de référence actuelle qui manque dans un passage, ou un outil de calcul peut fournir le résultat numérique nécessaire à l’explication. Un assistant doté d’outils a besoin que ces opérations soient fournies par l’environnement. Le comportement textuel du modèle ne crée pas à lui seul une connexion à une source externe ni ne réalise un effet de bord.
Limites pratiques
L’indication de contexte de 128k du fabricant doit rester associée à la version exacte 8B Instruct et à la configuration applicable. L’exemple de génération à 256 jetons n’est qu’un choix d’utilisation; les sources consultées n’indiquent pas de capacité maximale stricte distincte de réponse. La taille 8B ne doit pas hériter du nombre de paramètres d’un autre membre ou des commandes de raisonnement nommées d’une autre famille.
Il s’agit d’un modèle exclusivement textuel. L’entrée visuelle, la compréhension de l’audio et la génération vocale nécessitent des composants spécifiés séparément. Définissez le livrable final avant de fournir le matériel : une réponse concise, un enregistrement extrait, un passage révisé, une explication ou une proposition de code. Conservez l’information source nécessaire pour inspecter le sens et le format de ce livrable.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites meta-llama/llama-3.1-8b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
Chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
Associez chaque coût aux conditions indiquées. Utilisez un seul tarif pour chaque ensemble de configurations alternatives.
| Configuration | Barème tarifaire | Jetons de contexte, plus de | Jetons de contexte, jusqu’à la limite incluse | Coût |
|---|---|---|---|---|
| ConfigurationTarifs de base des jetons | Barème tarifaireTarif de base | Jetons de contexte, plus de— | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00044 / 1K jetons Sortie · Jetons en sortie $0.00044 / 1K jetons Entrée · Lecture du cache $0.00044 / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
| ConfigurationPalier 1 de longueur de requête | Barème tarifaire— | Jetons de contexte, plus de0 | Jetons de contexte, jusqu’à la limite incluseSans borne supérieure | Coût Entrée · Jetons en entrée $0.00044 / 1K jetons Sortie · Jetons en sortie $0.00044 / 1K jetons Entrée · Lecture du cache $0.00044 / 1K jetons Entrée · Écriture dans le cache — / 1K jetons Entrée · Écriture dans le cache, 1 h — / 1K jetons |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les ID réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les ID et les en-têtes de requête/réponse. Aucune URL générique de récupération de tâche textuelle n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des éléments fournis ou valeur de paramètre invalides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.