Llama 3.1 8B Instruct is Meta’s tekstmodel met acht miljard parameters voor meertalige dialoog en instructiegestuurde assistenten. Het accepteert geschreven gesprekken en bronmateriaal en produceert tekst of code. Het is de Instruct-editie van het formaat 8B, onderscheiden van de voorgetrainde basis en de 70B- en 405B-modellen van de familie.
Architectuur, context en talen
Het model gebruikt een autoregressieve Transformer-architectuur met grouped-query attention. De op instructies afgestemde familie gebruikt supervised fine-tuning en reinforcement learning met menselijke feedback om de gespreksantwoorden af te stemmen. De maker documenteert een context van 128k voor deze tekstrelease; dit is niet de specificatie voor beeldbegrip of lange context van een later Llama 4-model.
De acht officieel ondersteunde talen zijn Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai. De pretrainingsdata omvatten een bredere verzameling, wat verschilt van de talen die expliciet door de kaart worden ondersteund. Vermeld de uiteindelijke taal en eventuele namen, variabele-identifiers of termen die in een meertalig resultaat ongewijzigd moeten blijven.
De familie is voorgetraind op ongeveer vijftien biljoen tokens, met een datagrens in december 2023. Fine-tuning omvat instructiemateriaal en meer dan vijfentwintig miljoen synthetische voorbeelden. Dit beschrijft de training van het model, niet de toegang tot een privékennisbank of live informatie wanneer een nieuwe vraag binnenkomt.
Afgebakende tekstbewerkingen
Een supportgericht verzoek kan het gebruikersbericht en relevante referentiepassages aanleveren en vervolgens om het antwoord en de ondersteunende voorwaarde vragen. Een beknopte registratie kan het probleem, de al aangeleverde informatie en de volgende benodigde stap afzonderlijk vermelden. Definieer de veldnamen en de verwerking van ontbrekende waarden wanneer een toepassing dat resultaat moet verwerken.
Geef voor een samenvatting de werkelijke passage of uitwisseling en specificeer de doelgroep, lengte en te behouden feiten. Vraag om de beslissingen of open vragen die bij één onderwerp horen, in plaats van om een ongerichte samenvatting van niet-gerelateerd materiaal. Een vervolgvraag kan om een korter antwoord of een duidelijkere uitleg van één voorwaarde vragen, met behoud van dezelfde bronfeiten.
Specificeer voor redactie de lezer en toon en benoem de betekenis die ongewijzigd moet blijven. Een praktische taak kan vragen om een duidelijker bericht gevolgd door een korte lijst aanpassingen, of alleen het herziene bericht wanneer het rechtstreeks zal worden gebruikt. Een classificatietaak moet toegestane labels en het onderscheid daartussen aanleveren, in plaats van de labelnaam de regel te laten bepalen.
Code en voorbeelden genereren
De gedocumenteerde uitvoer omvat ook code. Geef de taal, vereiste invoer en het verwachte resultaat voordat een functie wordt gevraagd. Geef voor een uitleg de bestaande functie en concrete invoer en vraag welke stappen de terugkeerwaarde bepalen. Neem voor een correctie de waargenomen fout en het beoogde gedrag op, met behoud van de interface die compatibel moet blijven.
Een nuttige uitvoer kan de voorgestelde code, de aannames en voorbeeldinvoer afzonderlijk weergeven. De toepassing of ontwikkelaar voert de werkelijke compilatie, uitvoering of repositorywijziging uit. Geschreven broncode is een artefact om te inspecteren en geen voltooide externe bewerking alleen omdat het model die heeft teruggegeven.
De familie ondersteunt ook het gebruik van gegenereerde uitvoer voor synthetische voorbeelden en distillatie. Een afgebakend tekstverzoek kan variaties produceren volgens aangeleverde regels en in een vastgelegd formaat. Bewaar de regels en labels, zodat elk voorbeeld kan worden geïnspecteerd; gegenereerde voorbeelden tonen niet zelfstandig aan dat een trainingsdataset correct is.
Gespreksrollen en toolgebruik
De modelkaart toont een chatsjabloon met afzonderlijke systeem- en gebruikersberichten. Definieer de rol van de assistent en de antwoordvereisten in de systeemcontext en geef daarna de vraag en het bronmateriaal als taak. Bewaar relevante eerdere berichten wanneer een vervolgvraag wordt gesteld of nieuw bewijsmateriaal wordt aangeleverd dat het resultaat verandert.
Llama 3.1 documenteert meerdere formaten voor toolgebruik. De toepassing beschrijft een functie, het model genereert de voorgestelde aanroep en argumenten, de toepassing voert die uit en geeft het resultaat terug met de toolrol. Het volgende antwoord kan dan de teruggegeven informatie gebruiken. Houd de oorspronkelijke bewerking en het resultaat in het gesprek met elkaar verbonden.
Een opzoekactie kan bijvoorbeeld de huidige referentiewaarde teruggeven die in een passage ontbreekt, of een rekentool kan het numerieke resultaat leveren dat voor de uitleg nodig is. Een assistent met tools heeft die bewerkingen vanuit de omgeving nodig. Het tekstgedrag van het model maakt op zichzelf geen verbinding met een externe bron en voltooit geen neveneffect.
Praktische grenzen
Het contextlabel 128k van de maker moet verbonden blijven met de exacte 8B Instruct-release en toepasselijke configuratie. Het generatievoorbeeld met 256 tokens is alleen een gebruikskeuze; de geraadpleegde bronnen vermelden geen afzonderlijke harde maximale antwoordcapaciteit. Het formaat 8B mag niet het aantal parameters van een ander familielid of de benoemde redeneerinstellingen van een andere familie overnemen.
Dit is een model dat uitsluitend met tekst werkt. Visuele invoer, audiobegrip en spraakgeneratie vereisen afzonderlijk gespecificeerde componenten. Definieer het eindartefact voordat het materiaal wordt aangeleverd: een beknopt antwoord, geëxtraheerde registratie, herziene passage, uitleg of codevoorstel. Bewaar de broninformatie die nodig is om de betekenis en het formaat van dat artefact te inspecteren.
", "aboutText": "Llama 3.1 8B Instruct is Meta’s tekstmodel met acht miljard parameters voor meertalige dialoog en instructiegestuurde assistenten. Het accepteert geschreven gesprekken en bronmateriaal en produceert tekst of code. Het is de Instruct-editie van het formaat 8B, onderscheiden van de voorgetrainde basis en de 70B- en 405B-modellen van de familie.\n\nArchitectuur, context en talen\n\nHet model gebruikt een autoregressieve Transformer-architectuur met grouped-query attention. De op instructies afgestemde familie gebruikt supervised fine-tuning en reinforcement learning met menselijke feedback om de gespreksantwoorden af te stemmen. De maker documenteert een context van 128k voor deze tekstrelease; dit is niet de specificatie voor beeldbegrip of lange context van een later Llama 4-model.\n\nDe acht officieel ondersteunde talen zijn Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai. De pretrainingsdata omvatten een bredere verzameling, wat verschilt van de talen die expliciet door de kaart worden ondersteund. Vermeld de uiteindelijke taal en eventuele namen, variabele-identifiers of termen die in een meertalig resultaat ongewijzigd moeten blijven.\n\nDe familie is voorgetraind op ongeveer vijftien biljoen tokens, met een datagrens in december 2023. Fine-tuning omvat instructiemateriaal en meer dan vijfentwintig miljoen synthetische voorbeelden. Dit beschrijft de training van het model, niet de toegang tot een privékennisbank of live informatie wanneer een nieuwe vraag binnenkomt.\n\nAfgebakende tekstbewerkingen\n\nEen supportgericht verzoek kan het gebruikersbericht en relevante referentiepassages aanleveren en vervolgens om het antwoord en de ondersteunende voorwaarde vragen. Een beknopte registratie kan het probleem, de al aangeleverde informatie en de volgende benodigde stap afzonderlijk vermelden. Definieer de veldnamen en de verwerking van ontbrekende waarden wanneer een toepassing dat resultaat moet verwerken.\n\nGeef voor een samenvatting de werkelijke passage of uitwisseling en specificeer de doelgroep, lengte en te behouden feiten. Vraag om de beslissingen of open vragen die bij één onderwerp horen, in plaats van om een ongerichte samenvatting van niet-gerelateerd materiaal. Een vervolgvraag kan om een korter antwoord of een duidelijkere uitleg van één voorwaarde vragen, met behoud van dezelfde bronfeiten.\n\nSpecificeer voor redactie de lezer en toon en benoem de betekenis die ongewijzigd moet blijven. Een praktische taak kan vragen om een duidelijker bericht gevolgd door een korte lijst aanpassingen, of alleen het herziene bericht wanneer het rechtstreeks zal worden gebruikt. Een classificatietaak moet toegestane labels en het onderscheid daartussen aanleveren, in plaats van de labelnaam de regel te laten bepalen.\n\nCode en voorbeelden genereren\n\nDe gedocumenteerde uitvoer omvat ook code. Geef de taal, vereiste invoer en het verwachte resultaat voordat een functie wordt gevraagd. Geef voor een uitleg de bestaande functie en concrete invoer en vraag welke stappen de terugkeerwaarde bepalen. Neem voor een correctie de waargenomen fout en het beoogde gedrag op, met behoud van de interface die compatibel moet blijven.\n\nEen nuttige uitvoer kan de voorgestelde code, de aannames en voorbeeldinvoer afzonderlijk weergeven. De toepassing of ontwikkelaar voert de werkelijke compilatie, uitvoering of repositorywijziging uit. Geschreven broncode is een artefact om te inspecteren en geen voltooide externe bewerking alleen omdat het model die heeft teruggegeven.\n\nDe familie ondersteunt ook het gebruik van gegenereerde uitvoer voor synthetische voorbeelden en distillatie. Een afgebakend tekstverzoek kan variaties produceren volgens aangeleverde regels en in een vastgelegd formaat. Bewaar de regels en labels, zodat elk voorbeeld kan worden geïnspecteerd; gegenereerde voorbeelden tonen niet zelfstandig aan dat een trainingsdataset correct is.\n\nGespreksrollen en toolgebruik\n\nDe modelkaart toont een chatsjabloon met afzonderlijke systeem- en gebruikersberichten. Definieer de rol van de assistent en de antwoordvereisten in de systeemcontext en geef daarna de vraag en het bronmateriaal als taak. Bewaar relevante eerdere berichten wanneer een vervolgvraag wordt gesteld of nieuw bewijsmateriaal wordt aangeleverd dat het resultaat verandert.\n\nLlama 3.1 documenteert meerdere formaten voor toolgebruik. De toepassing beschrijft een functie, het model genereert de voorgestelde aanroep en argumenten, de toepassing voert die uit en geeft het resultaat terug met de toolrol. Het volgende antwoord kan dan de teruggegeven informatie gebruiken. Houd de oorspronkelijke bewerking en het resultaat in het gesprek met elkaar verbonden.\n\nEen opzoekactie kan bijvoorbeeld de huidige referentiewaarde teruggeven die in een passage ontbreekt, of een rekentool kan het numerieke resultaat leveren dat voor de uitleg nodig is. Een assistent met tools heeft die bewerkingen vanuit de omgeving nodig. Het tekstgedrag van het model maakt op zichzelf geen verbinding met een externe bron en voltooit geen neveneffect.\n\nPraktische grenzen\n\nHet contextlabel 128k van de maker moet verbonden blijven met de exacte 8B Instruct-release en toepasselijke configuratie. Het generatievoorbeeld met 256 tokens is alleen een gebruikskeuze; de geraadpleegde bronnen vermelden geen afzonderlijke harde maximale antwoordcapaciteit. Het formaat 8B mag niet het aantal parameters van een ander familielid of de benoemde redeneerinstellingen van een andere familie overnemen.\n\nDit is een model dat uitsluitend met tekst werkt. Visuele invoer, audiobegrip en spraakgeneratie vereisen afzonderlijk gespecificeerde componenten. Definieer het eindartefact voordat het materiaal wordt aangeleverd: een beknopt antwoord, geëxtraheerde registratie, herziene passage, uitleg of codevoorstel. Bewaar de broninformatie die nodig is om de betekenis en het formaat van dat artefact te inspecteren.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct is Meta’s kleinere tekstmodel voor instructies, meertalige dialoog, samenvattingen en antwoorden op basis van bronnen. Het heeft 8 miljard parameters, een door de maker opgegeven context van 128k, grouped-query attention en gedocumenteerde formaten voor toolgebruik, en geeft tekst of code terug.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Llama 3.1 8B Instruct is Meta’s tekstmodel met acht miljard parameters voor meertalige dialoog en instructiegestuurde assistenten. Het accepteert geschreven gesprekken en bronmateriaal en produceert tekst of code. Het is de Instruct-editie van het formaat 8B, onderscheiden van de voorgetrainde basis en de 70B- en 405B-modellen van de familie.
Architectuur, context en talen
Het model gebruikt een autoregressieve Transformer-architectuur met grouped-query attention. De op instructies afgestemde familie gebruikt supervised fine-tuning en reinforcement learning met menselijke feedback om de gespreksantwoorden af te stemmen. De maker documenteert een context van 128k voor deze tekstrelease; dit is niet de specificatie voor beeldbegrip of lange context van een later Llama 4-model.
De acht officieel ondersteunde talen zijn Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai. De pretrainingsdata omvatten een bredere verzameling, wat verschilt van de talen die expliciet door de kaart worden ondersteund. Vermeld de uiteindelijke taal en eventuele namen, variabele-identifiers of termen die in een meertalig resultaat ongewijzigd moeten blijven.
De familie is voorgetraind op ongeveer vijftien biljoen tokens, met een datagrens in december 2023. Fine-tuning omvat instructiemateriaal en meer dan vijfentwintig miljoen synthetische voorbeelden. Dit beschrijft de training van het model, niet de toegang tot een privékennisbank of live informatie wanneer een nieuwe vraag binnenkomt.
Afgebakende tekstbewerkingen
Een supportgericht verzoek kan het gebruikersbericht en relevante referentiepassages aanleveren en vervolgens om het antwoord en de ondersteunende voorwaarde vragen. Een beknopte registratie kan het probleem, de al aangeleverde informatie en de volgende benodigde stap afzonderlijk vermelden. Definieer de veldnamen en de verwerking van ontbrekende waarden wanneer een toepassing dat resultaat moet verwerken.
Geef voor een samenvatting de werkelijke passage of uitwisseling en specificeer de doelgroep, lengte en te behouden feiten. Vraag om de beslissingen of open vragen die bij één onderwerp horen, in plaats van om een ongerichte samenvatting van niet-gerelateerd materiaal. Een vervolgvraag kan om een korter antwoord of een duidelijkere uitleg van één voorwaarde vragen, met behoud van dezelfde bronfeiten.
Specificeer voor redactie de lezer en toon en benoem de betekenis die ongewijzigd moet blijven. Een praktische taak kan vragen om een duidelijker bericht gevolgd door een korte lijst aanpassingen, of alleen het herziene bericht wanneer het rechtstreeks zal worden gebruikt. Een classificatietaak moet toegestane labels en het onderscheid daartussen aanleveren, in plaats van de labelnaam de regel te laten bepalen.
Code en voorbeelden genereren
De gedocumenteerde uitvoer omvat ook code. Geef de taal, vereiste invoer en het verwachte resultaat voordat een functie wordt gevraagd. Geef voor een uitleg de bestaande functie en concrete invoer en vraag welke stappen de terugkeerwaarde bepalen. Neem voor een correctie de waargenomen fout en het beoogde gedrag op, met behoud van de interface die compatibel moet blijven.
Een nuttige uitvoer kan de voorgestelde code, de aannames en voorbeeldinvoer afzonderlijk weergeven. De toepassing of ontwikkelaar voert de werkelijke compilatie, uitvoering of repositorywijziging uit. Geschreven broncode is een artefact om te inspecteren en geen voltooide externe bewerking alleen omdat het model die heeft teruggegeven.
De familie ondersteunt ook het gebruik van gegenereerde uitvoer voor synthetische voorbeelden en distillatie. Een afgebakend tekstverzoek kan variaties produceren volgens aangeleverde regels en in een vastgelegd formaat. Bewaar de regels en labels, zodat elk voorbeeld kan worden geïnspecteerd; gegenereerde voorbeelden tonen niet zelfstandig aan dat een trainingsdataset correct is.
Gespreksrollen en toolgebruik
De modelkaart toont een chatsjabloon met afzonderlijke systeem- en gebruikersberichten. Definieer de rol van de assistent en de antwoordvereisten in de systeemcontext en geef daarna de vraag en het bronmateriaal als taak. Bewaar relevante eerdere berichten wanneer een vervolgvraag wordt gesteld of nieuw bewijsmateriaal wordt aangeleverd dat het resultaat verandert.
Llama 3.1 documenteert meerdere formaten voor toolgebruik. De toepassing beschrijft een functie, het model genereert de voorgestelde aanroep en argumenten, de toepassing voert die uit en geeft het resultaat terug met de toolrol. Het volgende antwoord kan dan de teruggegeven informatie gebruiken. Houd de oorspronkelijke bewerking en het resultaat in het gesprek met elkaar verbonden.
Een opzoekactie kan bijvoorbeeld de huidige referentiewaarde teruggeven die in een passage ontbreekt, of een rekentool kan het numerieke resultaat leveren dat voor de uitleg nodig is. Een assistent met tools heeft die bewerkingen vanuit de omgeving nodig. Het tekstgedrag van het model maakt op zichzelf geen verbinding met een externe bron en voltooit geen neveneffect.
Praktische grenzen
Het contextlabel 128k van de maker moet verbonden blijven met de exacte 8B Instruct-release en toepasselijke configuratie. Het generatievoorbeeld met 256 tokens is alleen een gebruikskeuze; de geraadpleegde bronnen vermelden geen afzonderlijke harde maximale antwoordcapaciteit. Het formaat 8B mag niet het aantal parameters van een ander familielid of de benoemde redeneerinstellingen van een andere familie overnemen.
Dit is een model dat uitsluitend met tekst werkt. Visuele invoer, audiobegrip en spraakgeneratie vereisen afzonderlijk gespecificeerde componenten. Definieer het eindartefact voordat het materiaal wordt aangeleverd: een beknopt antwoord, geëxtraheerde registratie, herziene passage, uitleg of codevoorstel. Bewaar de broninformatie die nodig is om de betekenis en het formaat van dat artefact te inspecteren.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten meta-llama/llama-3.1-8b-instruct | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00044 / 1K tokens Uitvoer · Uitvoertokens $0.00044 / 1K tokens Invoer · Cache lezen $0.00044 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00044 / 1K tokens Uitvoer · Uitvoertokens $0.00044 / 1K tokens Invoer · Cache lezen $0.00044 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Gebruik de hierboven getoonde methodepaden.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct is Meta’s kleinere tekstmodel voor instructies, meertalige dialoog, samenvattingen en antwoorden op basis van bronnen. Het heeft 8 miljard parameters, een door de maker opgegeven context van 128k, grouped-query attention en gedocumenteerde formaten voor toolgebruik, en geeft tekst of code terug.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Llama 3.1 8B Instruct is Meta’s tekstmodel met acht miljard parameters voor meertalige dialoog en instructiegestuurde assistenten. Het accepteert geschreven gesprekken en bronmateriaal en produceert tekst of code. Het is de Instruct-editie van het formaat 8B, onderscheiden van de voorgetrainde basis en de 70B- en 405B-modellen van de familie.
Architectuur, context en talen
Het model gebruikt een autoregressieve Transformer-architectuur met grouped-query attention. De op instructies afgestemde familie gebruikt supervised fine-tuning en reinforcement learning met menselijke feedback om de gespreksantwoorden af te stemmen. De maker documenteert een context van 128k voor deze tekstrelease; dit is niet de specificatie voor beeldbegrip of lange context van een later Llama 4-model.
De acht officieel ondersteunde talen zijn Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai. De pretrainingsdata omvatten een bredere verzameling, wat verschilt van de talen die expliciet door de kaart worden ondersteund. Vermeld de uiteindelijke taal en eventuele namen, variabele-identifiers of termen die in een meertalig resultaat ongewijzigd moeten blijven.
De familie is voorgetraind op ongeveer vijftien biljoen tokens, met een datagrens in december 2023. Fine-tuning omvat instructiemateriaal en meer dan vijfentwintig miljoen synthetische voorbeelden. Dit beschrijft de training van het model, niet de toegang tot een privékennisbank of live informatie wanneer een nieuwe vraag binnenkomt.
Afgebakende tekstbewerkingen
Een supportgericht verzoek kan het gebruikersbericht en relevante referentiepassages aanleveren en vervolgens om het antwoord en de ondersteunende voorwaarde vragen. Een beknopte registratie kan het probleem, de al aangeleverde informatie en de volgende benodigde stap afzonderlijk vermelden. Definieer de veldnamen en de verwerking van ontbrekende waarden wanneer een toepassing dat resultaat moet verwerken.
Geef voor een samenvatting de werkelijke passage of uitwisseling en specificeer de doelgroep, lengte en te behouden feiten. Vraag om de beslissingen of open vragen die bij één onderwerp horen, in plaats van om een ongerichte samenvatting van niet-gerelateerd materiaal. Een vervolgvraag kan om een korter antwoord of een duidelijkere uitleg van één voorwaarde vragen, met behoud van dezelfde bronfeiten.
Specificeer voor redactie de lezer en toon en benoem de betekenis die ongewijzigd moet blijven. Een praktische taak kan vragen om een duidelijker bericht gevolgd door een korte lijst aanpassingen, of alleen het herziene bericht wanneer het rechtstreeks zal worden gebruikt. Een classificatietaak moet toegestane labels en het onderscheid daartussen aanleveren, in plaats van de labelnaam de regel te laten bepalen.
Code en voorbeelden genereren
De gedocumenteerde uitvoer omvat ook code. Geef de taal, vereiste invoer en het verwachte resultaat voordat een functie wordt gevraagd. Geef voor een uitleg de bestaande functie en concrete invoer en vraag welke stappen de terugkeerwaarde bepalen. Neem voor een correctie de waargenomen fout en het beoogde gedrag op, met behoud van de interface die compatibel moet blijven.
Een nuttige uitvoer kan de voorgestelde code, de aannames en voorbeeldinvoer afzonderlijk weergeven. De toepassing of ontwikkelaar voert de werkelijke compilatie, uitvoering of repositorywijziging uit. Geschreven broncode is een artefact om te inspecteren en geen voltooide externe bewerking alleen omdat het model die heeft teruggegeven.
De familie ondersteunt ook het gebruik van gegenereerde uitvoer voor synthetische voorbeelden en distillatie. Een afgebakend tekstverzoek kan variaties produceren volgens aangeleverde regels en in een vastgelegd formaat. Bewaar de regels en labels, zodat elk voorbeeld kan worden geïnspecteerd; gegenereerde voorbeelden tonen niet zelfstandig aan dat een trainingsdataset correct is.
Gespreksrollen en toolgebruik
De modelkaart toont een chatsjabloon met afzonderlijke systeem- en gebruikersberichten. Definieer de rol van de assistent en de antwoordvereisten in de systeemcontext en geef daarna de vraag en het bronmateriaal als taak. Bewaar relevante eerdere berichten wanneer een vervolgvraag wordt gesteld of nieuw bewijsmateriaal wordt aangeleverd dat het resultaat verandert.
Llama 3.1 documenteert meerdere formaten voor toolgebruik. De toepassing beschrijft een functie, het model genereert de voorgestelde aanroep en argumenten, de toepassing voert die uit en geeft het resultaat terug met de toolrol. Het volgende antwoord kan dan de teruggegeven informatie gebruiken. Houd de oorspronkelijke bewerking en het resultaat in het gesprek met elkaar verbonden.
Een opzoekactie kan bijvoorbeeld de huidige referentiewaarde teruggeven die in een passage ontbreekt, of een rekentool kan het numerieke resultaat leveren dat voor de uitleg nodig is. Een assistent met tools heeft die bewerkingen vanuit de omgeving nodig. Het tekstgedrag van het model maakt op zichzelf geen verbinding met een externe bron en voltooit geen neveneffect.
Praktische grenzen
Het contextlabel 128k van de maker moet verbonden blijven met de exacte 8B Instruct-release en toepasselijke configuratie. Het generatievoorbeeld met 256 tokens is alleen een gebruikskeuze; de geraadpleegde bronnen vermelden geen afzonderlijke harde maximale antwoordcapaciteit. Het formaat 8B mag niet het aantal parameters van een ander familielid of de benoemde redeneerinstellingen van een andere familie overnemen.
Dit is een model dat uitsluitend met tekst werkt. Visuele invoer, audiobegrip en spraakgeneratie vereisen afzonderlijk gespecificeerde componenten. Definieer het eindartefact voordat het materiaal wordt aangeleverd: een beknopt antwoord, geëxtraheerde registratie, herziene passage, uitleg of codevoorstel. Bewaar de broninformatie die nodig is om de betekenis en het formaat van dat artefact te inspecteren.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten meta-llama/llama-3.1-8b-instruct | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00044 / 1K tokens Uitvoer · Uitvoertokens $0.00044 / 1K tokens Invoer · Cache lezen $0.00044 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00044 / 1K tokens Uitvoer · Uitvoertokens $0.00044 / 1K tokens Invoer · Cache lezen $0.00044 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.