Llama 3.1 8B Instruct è il modello testuale di Meta da otto miliardi di parametri per dialogo multilingue e assistenti basati su istruzioni. Accetta conversazione scritta e materiale di partenza e produce testo o codice. È l'edizione Instruct della dimensione 8B, distinta dalla sua base preaddestrata e dai modelli 70B e 405B della famiglia.
Architettura, contesto e lingue
Il modello usa un'architettura Transformer autoregressiva con grouped-query attention. La famiglia ottimizzata per le istruzioni usa fine-tuning supervisionato e apprendimento per rinforzo con feedback umano per allineare le risposte conversazionali. Il produttore documenta un contesto di 128k per questa versione testuale; non è la specifica visiva o di contesto lungo di un successivo modello Llama 4.
Le otto lingue ufficialmente supportate sono inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. I dati di preaddestramento coprono una raccolta più ampia, diversa dalle lingue esplicitamente supportate dalla scheda. Specifica la lingua finale e i nomi, identificatori di variabili o termini che devono rimanere invariati in un risultato multilingue.
La famiglia è preaddestrata su circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning comprende materiale di istruzioni e più di venticinque milioni di esempi sintetici. Questo descrive l'addestramento del modello, non l'accesso a una base di conoscenza privata o a informazioni in tempo reale quando arriva una nuova domanda.
Operazioni testuali definite
Una richiesta orientata all'assistenza può fornire il messaggio dell'utente e i passaggi di riferimento pertinenti, poi chiedere la risposta e la condizione che la sostiene. Un record compatto può separare il problema, le informazioni già fornite e il passaggio successivo richiesto. Definisci i nomi dei campi e la gestione dei valori mancanti quando un'applicazione deve elaborare quel risultato.
Per la sintesi, fornisci il passaggio o lo scambio effettivi e specifica pubblico, lunghezza e fatti da mantenere. Chiedi le decisioni o le domande irrisolte pertinenti a un argomento anziché un riepilogo indiscriminato di materiale non correlato. Un seguito può richiedere una risposta più breve o una spiegazione più chiara di una condizione mantenendo gli stessi fatti di partenza.
Per la revisione, specifica lettore e tono e identifica il significato che deve rimanere invariato. Un compito pratico può richiedere un messaggio più chiaro seguito da un breve elenco di modifiche, oppure il solo messaggio rivisto se sarà usato direttamente. Un compito di classificazione deve fornire le etichette ammesse e la distinzione tra esse, anziché affidarsi al nome di un'etichetta per definire la regola.
Generazione di codice ed esempi
L'output documentato include anche codice. Fornisci il linguaggio, gli input richiesti e il risultato atteso prima di chiedere una funzione. Per una spiegazione, fornisci la funzione esistente e un input concreto e chiedi quali passaggi ne determinano il valore restituito. Per una correzione, includi il problema osservato e il comportamento previsto, mantenendo l'interfaccia che deve restare compatibile.
Un output utile può separare il codice proposto, le sue ipotesi e gli input di esempio. L'applicazione o lo sviluppatore esegue la compilazione, l'esecuzione o la modifica effettiva del repository. Il codice sorgente scritto è un artefatto da controllare, non un'operazione esterna completata soltanto perché il modello lo ha restituito.
La famiglia supporta anche l'uso dell'output generato per esempi sintetici e distillazione. Una richiesta testuale definita può produrre variazioni secondo regole fornite e in un formato specificato. Mantieni regole ed etichette affinché ogni esempio sia ispezionabile; gli esempi generati non dimostrano indipendentemente la correttezza di un dataset di addestramento.
Ruoli della conversazione e uso degli strumenti
La scheda del modello mostra un template chat con messaggi separati di sistema e utente. Definisci il ruolo dell'assistente e i requisiti della risposta nel contesto di sistema, poi fornisci domanda e materiale di partenza come compito. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito o fornisci nuove evidenze che cambiano il risultato.
Llama 3.1 documenta più formati di uso degli strumenti. L'applicazione descrive una funzione, il modello genera la chiamata proposta e gli argomenti, l'applicazione la esegue e restituisce il risultato con il ruolo tool. La risposta successiva può quindi usare le informazioni restituite. Mantieni l'operazione di origine e il risultato collegati lungo la conversazione.
Per esempio, una ricerca può restituire il valore di riferimento attuale mancante da un passaggio, oppure uno strumento di calcolo può fornire il risultato numerico richiesto dalla spiegazione. Un assistente abilitato agli strumenti necessita che tali operazioni siano fornite dall'ambiente. Il comportamento testuale del modello non crea da solo una connessione a una fonte esterna né completa un effetto collaterale.
Limiti pratici
L'etichetta di contesto 128k del produttore va mantenuta con la versione esatta 8B Instruct e la configurazione applicabile. L'esempio di generazione di 256 token è soltanto una scelta d'uso; le fonti lette non dichiarano una capacità massima rigida separata di risposta. La dimensione 8B non deve ereditare il numero di parametri di un altro membro o i controlli di ragionamento denominati di una famiglia separata.
Questo è un modello esclusivamente testuale. Input visivi, comprensione audio e generazione vocale richiedono componenti specificati separatamente. Definisci l'artefatto finale prima di fornire il materiale: una risposta concisa, un record estratto, un passaggio rivisto, una spiegazione o una proposta di codice. Conserva le informazioni di origine necessarie per controllare significato e formato di quell'artefatto.
", "aboutText": "Llama 3.1 8B Instruct è il modello testuale di Meta da otto miliardi di parametri per dialogo multilingue e assistenti basati su istruzioni. Accetta conversazione scritta e materiale di partenza e produce testo o codice. È l'edizione Instruct della dimensione 8B, distinta dalla sua base preaddestrata e dai modelli 70B e 405B della famiglia.\n\nArchitettura, contesto e lingue\n\nIl modello usa un'architettura Transformer autoregressiva con grouped-query attention. La famiglia ottimizzata per le istruzioni usa fine-tuning supervisionato e apprendimento per rinforzo con feedback umano per allineare le risposte conversazionali. Il produttore documenta un contesto di 128k per questa versione testuale; non è la specifica visiva o di contesto lungo di un successivo modello Llama 4.\n\nLe otto lingue ufficialmente supportate sono inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. I dati di preaddestramento coprono una raccolta più ampia, diversa dalle lingue esplicitamente supportate dalla scheda. Specifica la lingua finale e i nomi, identificatori di variabili o termini che devono rimanere invariati in un risultato multilingue.\n\nLa famiglia è preaddestrata su circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning comprende materiale di istruzioni e più di venticinque milioni di esempi sintetici. Questo descrive l'addestramento del modello, non l'accesso a una base di conoscenza privata o a informazioni in tempo reale quando arriva una nuova domanda.\n\nOperazioni testuali definite\n\nUna richiesta orientata all'assistenza può fornire il messaggio dell'utente e i passaggi di riferimento pertinenti, poi chiedere la risposta e la condizione che la sostiene. Un record compatto può separare il problema, le informazioni già fornite e il passaggio successivo richiesto. Definisci i nomi dei campi e la gestione dei valori mancanti quando un'applicazione deve elaborare quel risultato.\n\nPer la sintesi, fornisci il passaggio o lo scambio effettivi e specifica pubblico, lunghezza e fatti da mantenere. Chiedi le decisioni o le domande irrisolte pertinenti a un argomento anziché un riepilogo indiscriminato di materiale non correlato. Un seguito può richiedere una risposta più breve o una spiegazione più chiara di una condizione mantenendo gli stessi fatti di partenza.\n\nPer la revisione, specifica lettore e tono e identifica il significato che deve rimanere invariato. Un compito pratico può richiedere un messaggio più chiaro seguito da un breve elenco di modifiche, oppure il solo messaggio rivisto se sarà usato direttamente. Un compito di classificazione deve fornire le etichette ammesse e la distinzione tra esse, anziché affidarsi al nome di un'etichetta per definire la regola.\n\nGenerazione di codice ed esempi\n\nL'output documentato include anche codice. Fornisci il linguaggio, gli input richiesti e il risultato atteso prima di chiedere una funzione. Per una spiegazione, fornisci la funzione esistente e un input concreto e chiedi quali passaggi ne determinano il valore restituito. Per una correzione, includi il problema osservato e il comportamento previsto, mantenendo l'interfaccia che deve restare compatibile.\n\nUn output utile può separare il codice proposto, le sue ipotesi e gli input di esempio. L'applicazione o lo sviluppatore esegue la compilazione, l'esecuzione o la modifica effettiva del repository. Il codice sorgente scritto è un artefatto da controllare, non un'operazione esterna completata soltanto perché il modello lo ha restituito.\n\nLa famiglia supporta anche l'uso dell'output generato per esempi sintetici e distillazione. Una richiesta testuale definita può produrre variazioni secondo regole fornite e in un formato specificato. Mantieni regole ed etichette affinché ogni esempio sia ispezionabile; gli esempi generati non dimostrano indipendentemente la correttezza di un dataset di addestramento.\n\nRuoli della conversazione e uso degli strumenti\n\nLa scheda del modello mostra un template chat con messaggi separati di sistema e utente. Definisci il ruolo dell'assistente e i requisiti della risposta nel contesto di sistema, poi fornisci domanda e materiale di partenza come compito. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito o fornisci nuove evidenze che cambiano il risultato.\n\nLlama 3.1 documenta più formati di uso degli strumenti. L'applicazione descrive una funzione, il modello genera la chiamata proposta e gli argomenti, l'applicazione la esegue e restituisce il risultato con il ruolo tool. La risposta successiva può quindi usare le informazioni restituite. Mantieni l'operazione di origine e il risultato collegati lungo la conversazione.\n\nPer esempio, una ricerca può restituire il valore di riferimento attuale mancante da un passaggio, oppure uno strumento di calcolo può fornire il risultato numerico richiesto dalla spiegazione. Un assistente abilitato agli strumenti necessita che tali operazioni siano fornite dall'ambiente. Il comportamento testuale del modello non crea da solo una connessione a una fonte esterna né completa un effetto collaterale.\n\nLimiti pratici\n\nL'etichetta di contesto 128k del produttore va mantenuta con la versione esatta 8B Instruct e la configurazione applicabile. L'esempio di generazione di 256 token è soltanto una scelta d'uso; le fonti lette non dichiarano una capacità massima rigida separata di risposta. La dimensione 8B non deve ereditare il numero di parametri di un altro membro o i controlli di ragionamento denominati di una famiglia separata.\n\nQuesto è un modello esclusivamente testuale. Input visivi, comprensione audio e generazione vocale richiedono componenti specificati separatamente. Definisci l'artefatto finale prima di fornire il materiale: una risposta concisa, un record estratto, un passaggio rivisto, una spiegazione o una proposta di codice. Conserva le informazioni di origine necessarie per controllare significato e formato di quell'artefatto.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct è il modello testuale più piccolo di Meta ottimizzato per le istruzioni, destinato a dialogo multilingue, riepiloghi e risposte vincolate alle fonti. Ha una dimensione di 8B parametri, un contesto del produttore di 128k, grouped-query attention e formati documentati per l'uso degli strumenti, e restituisce testo o codice.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Llama 3.1 8B Instruct è il modello testuale di Meta da otto miliardi di parametri per dialogo multilingue e assistenti basati su istruzioni. Accetta conversazione scritta e materiale di partenza e produce testo o codice. È l'edizione Instruct della dimensione 8B, distinta dalla sua base preaddestrata e dai modelli 70B e 405B della famiglia.
Architettura, contesto e lingue
Il modello usa un'architettura Transformer autoregressiva con grouped-query attention. La famiglia ottimizzata per le istruzioni usa fine-tuning supervisionato e apprendimento per rinforzo con feedback umano per allineare le risposte conversazionali. Il produttore documenta un contesto di 128k per questa versione testuale; non è la specifica visiva o di contesto lungo di un successivo modello Llama 4.
Le otto lingue ufficialmente supportate sono inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. I dati di preaddestramento coprono una raccolta più ampia, diversa dalle lingue esplicitamente supportate dalla scheda. Specifica la lingua finale e i nomi, identificatori di variabili o termini che devono rimanere invariati in un risultato multilingue.
La famiglia è preaddestrata su circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning comprende materiale di istruzioni e più di venticinque milioni di esempi sintetici. Questo descrive l'addestramento del modello, non l'accesso a una base di conoscenza privata o a informazioni in tempo reale quando arriva una nuova domanda.
Operazioni testuali definite
Una richiesta orientata all'assistenza può fornire il messaggio dell'utente e i passaggi di riferimento pertinenti, poi chiedere la risposta e la condizione che la sostiene. Un record compatto può separare il problema, le informazioni già fornite e il passaggio successivo richiesto. Definisci i nomi dei campi e la gestione dei valori mancanti quando un'applicazione deve elaborare quel risultato.
Per la sintesi, fornisci il passaggio o lo scambio effettivi e specifica pubblico, lunghezza e fatti da mantenere. Chiedi le decisioni o le domande irrisolte pertinenti a un argomento anziché un riepilogo indiscriminato di materiale non correlato. Un seguito può richiedere una risposta più breve o una spiegazione più chiara di una condizione mantenendo gli stessi fatti di partenza.
Per la revisione, specifica lettore e tono e identifica il significato che deve rimanere invariato. Un compito pratico può richiedere un messaggio più chiaro seguito da un breve elenco di modifiche, oppure il solo messaggio rivisto se sarà usato direttamente. Un compito di classificazione deve fornire le etichette ammesse e la distinzione tra esse, anziché affidarsi al nome di un'etichetta per definire la regola.
Generazione di codice ed esempi
L'output documentato include anche codice. Fornisci il linguaggio, gli input richiesti e il risultato atteso prima di chiedere una funzione. Per una spiegazione, fornisci la funzione esistente e un input concreto e chiedi quali passaggi ne determinano il valore restituito. Per una correzione, includi il problema osservato e il comportamento previsto, mantenendo l'interfaccia che deve restare compatibile.
Un output utile può separare il codice proposto, le sue ipotesi e gli input di esempio. L'applicazione o lo sviluppatore esegue la compilazione, l'esecuzione o la modifica effettiva del repository. Il codice sorgente scritto è un artefatto da controllare, non un'operazione esterna completata soltanto perché il modello lo ha restituito.
La famiglia supporta anche l'uso dell'output generato per esempi sintetici e distillazione. Una richiesta testuale definita può produrre variazioni secondo regole fornite e in un formato specificato. Mantieni regole ed etichette affinché ogni esempio sia ispezionabile; gli esempi generati non dimostrano indipendentemente la correttezza di un dataset di addestramento.
Ruoli della conversazione e uso degli strumenti
La scheda del modello mostra un template chat con messaggi separati di sistema e utente. Definisci il ruolo dell'assistente e i requisiti della risposta nel contesto di sistema, poi fornisci domanda e materiale di partenza come compito. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito o fornisci nuove evidenze che cambiano il risultato.
Llama 3.1 documenta più formati di uso degli strumenti. L'applicazione descrive una funzione, il modello genera la chiamata proposta e gli argomenti, l'applicazione la esegue e restituisce il risultato con il ruolo tool. La risposta successiva può quindi usare le informazioni restituite. Mantieni l'operazione di origine e il risultato collegati lungo la conversazione.
Per esempio, una ricerca può restituire il valore di riferimento attuale mancante da un passaggio, oppure uno strumento di calcolo può fornire il risultato numerico richiesto dalla spiegazione. Un assistente abilitato agli strumenti necessita che tali operazioni siano fornite dall'ambiente. Il comportamento testuale del modello non crea da solo una connessione a una fonte esterna né completa un effetto collaterale.
Limiti pratici
L'etichetta di contesto 128k del produttore va mantenuta con la versione esatta 8B Instruct e la configurazione applicabile. L'esempio di generazione di 256 token è soltanto una scelta d'uso; le fonti lette non dichiarano una capacità massima rigida separata di risposta. La dimensione 8B non deve ereditare il numero di parametri di un altro membro o i controlli di ragionamento denominati di una famiglia separata.
Questo è un modello esclusivamente testuale. Input visivi, comprensione audio e generazione vocale richiedono componenti specificati separatamente. Definisci l'artefatto finale prima di fornire il materiale: una risposta concisa, un record estratto, un passaggio rivisto, una spiegazione o una proposta di codice. Conserva le informazioni di origine necessarie per controllare significato e formato di quell'artefatto.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti meta-llama/llama-3.1-8b-instruct | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00044 / 1K token Output · Token in output $0.00044 / 1K token Input · Lettura dalla cache $0.00044 / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00044 / 1K token Output · Token in output $0.00044 / 1K token Input · Lettura dalla cache $0.00044 / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Usa i percorsi dei metodi indicati sopra.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct è il modello testuale più piccolo di Meta ottimizzato per le istruzioni, destinato a dialogo multilingue, riepiloghi e risposte vincolate alle fonti. Ha una dimensione di 8B parametri, un contesto del produttore di 128k, grouped-query attention e formati documentati per l'uso degli strumenti, e restituisce testo o codice.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Llama 3.1 8B Instruct è il modello testuale di Meta da otto miliardi di parametri per dialogo multilingue e assistenti basati su istruzioni. Accetta conversazione scritta e materiale di partenza e produce testo o codice. È l'edizione Instruct della dimensione 8B, distinta dalla sua base preaddestrata e dai modelli 70B e 405B della famiglia.
Architettura, contesto e lingue
Il modello usa un'architettura Transformer autoregressiva con grouped-query attention. La famiglia ottimizzata per le istruzioni usa fine-tuning supervisionato e apprendimento per rinforzo con feedback umano per allineare le risposte conversazionali. Il produttore documenta un contesto di 128k per questa versione testuale; non è la specifica visiva o di contesto lungo di un successivo modello Llama 4.
Le otto lingue ufficialmente supportate sono inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. I dati di preaddestramento coprono una raccolta più ampia, diversa dalle lingue esplicitamente supportate dalla scheda. Specifica la lingua finale e i nomi, identificatori di variabili o termini che devono rimanere invariati in un risultato multilingue.
La famiglia è preaddestrata su circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning comprende materiale di istruzioni e più di venticinque milioni di esempi sintetici. Questo descrive l'addestramento del modello, non l'accesso a una base di conoscenza privata o a informazioni in tempo reale quando arriva una nuova domanda.
Operazioni testuali definite
Una richiesta orientata all'assistenza può fornire il messaggio dell'utente e i passaggi di riferimento pertinenti, poi chiedere la risposta e la condizione che la sostiene. Un record compatto può separare il problema, le informazioni già fornite e il passaggio successivo richiesto. Definisci i nomi dei campi e la gestione dei valori mancanti quando un'applicazione deve elaborare quel risultato.
Per la sintesi, fornisci il passaggio o lo scambio effettivi e specifica pubblico, lunghezza e fatti da mantenere. Chiedi le decisioni o le domande irrisolte pertinenti a un argomento anziché un riepilogo indiscriminato di materiale non correlato. Un seguito può richiedere una risposta più breve o una spiegazione più chiara di una condizione mantenendo gli stessi fatti di partenza.
Per la revisione, specifica lettore e tono e identifica il significato che deve rimanere invariato. Un compito pratico può richiedere un messaggio più chiaro seguito da un breve elenco di modifiche, oppure il solo messaggio rivisto se sarà usato direttamente. Un compito di classificazione deve fornire le etichette ammesse e la distinzione tra esse, anziché affidarsi al nome di un'etichetta per definire la regola.
Generazione di codice ed esempi
L'output documentato include anche codice. Fornisci il linguaggio, gli input richiesti e il risultato atteso prima di chiedere una funzione. Per una spiegazione, fornisci la funzione esistente e un input concreto e chiedi quali passaggi ne determinano il valore restituito. Per una correzione, includi il problema osservato e il comportamento previsto, mantenendo l'interfaccia che deve restare compatibile.
Un output utile può separare il codice proposto, le sue ipotesi e gli input di esempio. L'applicazione o lo sviluppatore esegue la compilazione, l'esecuzione o la modifica effettiva del repository. Il codice sorgente scritto è un artefatto da controllare, non un'operazione esterna completata soltanto perché il modello lo ha restituito.
La famiglia supporta anche l'uso dell'output generato per esempi sintetici e distillazione. Una richiesta testuale definita può produrre variazioni secondo regole fornite e in un formato specificato. Mantieni regole ed etichette affinché ogni esempio sia ispezionabile; gli esempi generati non dimostrano indipendentemente la correttezza di un dataset di addestramento.
Ruoli della conversazione e uso degli strumenti
La scheda del modello mostra un template chat con messaggi separati di sistema e utente. Definisci il ruolo dell'assistente e i requisiti della risposta nel contesto di sistema, poi fornisci domanda e materiale di partenza come compito. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito o fornisci nuove evidenze che cambiano il risultato.
Llama 3.1 documenta più formati di uso degli strumenti. L'applicazione descrive una funzione, il modello genera la chiamata proposta e gli argomenti, l'applicazione la esegue e restituisce il risultato con il ruolo tool. La risposta successiva può quindi usare le informazioni restituite. Mantieni l'operazione di origine e il risultato collegati lungo la conversazione.
Per esempio, una ricerca può restituire il valore di riferimento attuale mancante da un passaggio, oppure uno strumento di calcolo può fornire il risultato numerico richiesto dalla spiegazione. Un assistente abilitato agli strumenti necessita che tali operazioni siano fornite dall'ambiente. Il comportamento testuale del modello non crea da solo una connessione a una fonte esterna né completa un effetto collaterale.
Limiti pratici
L'etichetta di contesto 128k del produttore va mantenuta con la versione esatta 8B Instruct e la configurazione applicabile. L'esempio di generazione di 256 token è soltanto una scelta d'uso; le fonti lette non dichiarano una capacità massima rigida separata di risposta. La dimensione 8B non deve ereditare il numero di parametri di un altro membro o i controlli di ragionamento denominati di una famiglia separata.
Questo è un modello esclusivamente testuale. Input visivi, comprensione audio e generazione vocale richiedono componenti specificati separatamente. Definisci l'artefatto finale prima di fornire il materiale: una risposta concisa, un record estratto, un passaggio rivisto, una spiegazione o una proposta di codice. Conserva le informazioni di origine necessarie per controllare significato e formato di quell'artefatto.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti meta-llama/llama-3.1-8b-instruct | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00044 / 1K token Output · Token in output $0.00044 / 1K token Input · Lettura dalla cache $0.00044 / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00044 / 1K token Output · Token in output $0.00044 / 1K token Input · Lettura dalla cache $0.00044 / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.