Llama 3.1 70B Instruct è il modello testuale di Meta da 70 miliardi di parametri, ottimizzato per dialogo multilingue e richieste rivolte a un assistente. È un checkpoint ottimizzato per le istruzioni all'interno di una famiglia che comprende anche le dimensioni 8B e 405B e modelli preaddestrati separati. Accetta testo e restituisce testo multilingue o codice; l'edizione denominata 70B conserva la propria dimensione e identità.
Informazioni sul modello e addestramento
La versione usa un'architettura Transformer autoregressiva con grouped-query attention. I modelli ottimizzati sono allineati usando fine-tuning supervisionato e apprendimento per rinforzo con feedback umano. Sono fasi di addestramento per un comportamento conversazionale utile, non un interruttore denominato a runtime tra modalità separate di ragionamento e non ragionamento.
Il produttore documenta un contesto di 128k per i modelli testuali e supporta ufficialmente inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. L'addestramento include una raccolta linguistica più ampia, che non rende ogni lingua ugualmente supportata. Specifica lingua di output, terminologia e lettore prima di chiedere un artefatto multilingue.
Il corpus di preaddestramento della famiglia è descritto come composto da circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning include dataset di istruzioni e più di venticinque milioni di esempi sintetici. Il termine di aggiornamento è un limite dei dati di addestramento; una domanda che dipende da informazioni più recenti o private richiede che tali informazioni siano fornite nel compito o restituite da una fonte collegata.
Chat da assistente e analisi delle fonti
L'edizione Instruct è destinata a rispondere a una richiesta conversazionale, mentre la versione preaddestrata è una base adattabile ad altri compiti di generazione. Per una risposta basata sulle fonti, fornisci la domanda e i passaggi che determinano il risultato. Etichetta le fonti e chiedi di riportare la sezione o l'affermazione di supporto accanto a ogni risultato.
Un confronto pratico può fornire due procedure e richiedere condizioni condivise, differenze e conflitti irrisolti. Una guida risultante può mantenere la sequenza originale e le condizioni in cui si applica ogni azione. Un compito di revisione di documenti può specificare il pubblico, i fatti da mantenere e se l'artefatto finale deve essere il solo passaggio rivisto o un passaggio con una spiegazione.
Per una risposta più lunga, indica le sezioni richieste e lo scopo di ciascuna. Un contesto ampio può mantenere insieme il materiale correlato mentre il risultato finale resta una matrice o una spiegazione concisa. L'identità delle fonti e una domanda ben definita contano più della semplice inclusione di ogni documento disponibile.
Codice ed esempi generati
L'output documentato include codice. Per un'implementazione proposta, fornisci il linguaggio, i tipi di input, il risultato atteso e l'interfaccia che deve rimanere compatibile. Includi il frammento esistente e le dichiarazioni pertinenti quando il compito è una correzione. Richiedi il codice separatamente dalle ipotesi e dagli esempi, così che la fase di sviluppo successiva possa controllarlo.
Per una spiegazione di codice, fornisci l'input da tracciare e chiedi come la funzione fornita arriva al valore restituito. Per una spiegazione matematica, definisci simboli e ipotesi e indica se il risultato deve essere esatto, approssimato o una dimostrazione. La generazione di codice e il ragionamento scritto non compilano da soli un programma né eseguono un calcolo.
Il produttore identifica anche generazione di dati sintetici e distillazione come usi della famiglia. Un compito testuale può richiedere esempi vari in un formato specificato, mantenendo le regole fornite. Stabilire se tali esempi siano adatti a ulteriore addestramento è una decisione applicativa separata; l'output testuale da solo non è una verifica indipendente della loro correttezza.
Formato della conversazione e strumenti
La scheda mostra messaggi separati di sistema e utente con il template chat corrispondente. Usa l'istruzione di sistema per ruolo, tono e regole durature della risposta, mentre la richiesta utente contiene il problema effettivo e le fonti. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito che si basa su una risposta precedente.
Llama 3.1 supporta più formati documentati di uso degli strumenti. L'applicazione fornisce funzioni e parametri, il modello prepara una chiamata proposta, l'applicazione la esegue e aggiunge il suo risultato alla conversazione. Una generazione successiva può usare quel risultato. Il breve esempio della scheda mostra esplicitamente l'aggiunta della chiamata dell'assistente e poi del risultato dello strumento; selezionare una funzione è distinto dal completarne l'operazione.
Per una ricerca, indica quali informazioni servono e definisci la funzione che le restituisce. Mantieni il valore effettivo restituito insieme alla chiamata di origine prima di chiedere la spiegazione finale. Per un calcolo, distingui l'operazione proposta dal modello dal risultato restituito dal calcolatore. La formattazione nativa degli strumenti e la rappresentazione visibile dell'interfaccia wrapper devono mantenere le rispettive convenzioni documentate.
Edizione e limiti pratici
L'impostazione di generazione di 256 token della scheda letta è un esempio d'uso anziché una capacità massima di output dichiarata indipendentemente. Il contesto di 128k riguarda il materiale e la conversazione generata entro la versione configurata. Non sostituirlo con il contesto o le capacità visive di Llama 4 o con la dimensione di un altro checkpoint Llama 3.1.
Questo è un modello Instruct esclusivamente testuale. Un'immagine, una registrazione o un video richiedono che il contenuto pertinente sia preparato tramite un altro componente. Anche il recupero esterno delle informazioni, l'esecuzione di programmi e le modifiche ai file appartengono all'applicazione collegata all'assistente. Mantieni l'edizione esatta 70B Instruct e richiedi la spiegazione collegata alle fonti, il documento rivisto, il codice o il testo strutturato necessari al compito.
", "aboutText": "Llama 3.1 70B Instruct è il modello testuale di Meta da 70 miliardi di parametri, ottimizzato per dialogo multilingue e richieste rivolte a un assistente. È un checkpoint ottimizzato per le istruzioni all'interno di una famiglia che comprende anche le dimensioni 8B e 405B e modelli preaddestrati separati. Accetta testo e restituisce testo multilingue o codice; l'edizione denominata 70B conserva la propria dimensione e identità.\n\nInformazioni sul modello e addestramento\n\nLa versione usa un'architettura Transformer autoregressiva con grouped-query attention. I modelli ottimizzati sono allineati usando fine-tuning supervisionato e apprendimento per rinforzo con feedback umano. Sono fasi di addestramento per un comportamento conversazionale utile, non un interruttore denominato a runtime tra modalità separate di ragionamento e non ragionamento.\n\nIl produttore documenta un contesto di 128k per i modelli testuali e supporta ufficialmente inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. L'addestramento include una raccolta linguistica più ampia, che non rende ogni lingua ugualmente supportata. Specifica lingua di output, terminologia e lettore prima di chiedere un artefatto multilingue.\n\nIl corpus di preaddestramento della famiglia è descritto come composto da circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning include dataset di istruzioni e più di venticinque milioni di esempi sintetici. Il termine di aggiornamento è un limite dei dati di addestramento; una domanda che dipende da informazioni più recenti o private richiede che tali informazioni siano fornite nel compito o restituite da una fonte collegata.\n\nChat da assistente e analisi delle fonti\n\nL'edizione Instruct è destinata a rispondere a una richiesta conversazionale, mentre la versione preaddestrata è una base adattabile ad altri compiti di generazione. Per una risposta basata sulle fonti, fornisci la domanda e i passaggi che determinano il risultato. Etichetta le fonti e chiedi di riportare la sezione o l'affermazione di supporto accanto a ogni risultato.\n\nUn confronto pratico può fornire due procedure e richiedere condizioni condivise, differenze e conflitti irrisolti. Una guida risultante può mantenere la sequenza originale e le condizioni in cui si applica ogni azione. Un compito di revisione di documenti può specificare il pubblico, i fatti da mantenere e se l'artefatto finale deve essere il solo passaggio rivisto o un passaggio con una spiegazione.\n\nPer una risposta più lunga, indica le sezioni richieste e lo scopo di ciascuna. Un contesto ampio può mantenere insieme il materiale correlato mentre il risultato finale resta una matrice o una spiegazione concisa. L'identità delle fonti e una domanda ben definita contano più della semplice inclusione di ogni documento disponibile.\n\nCodice ed esempi generati\n\nL'output documentato include codice. Per un'implementazione proposta, fornisci il linguaggio, i tipi di input, il risultato atteso e l'interfaccia che deve rimanere compatibile. Includi il frammento esistente e le dichiarazioni pertinenti quando il compito è una correzione. Richiedi il codice separatamente dalle ipotesi e dagli esempi, così che la fase di sviluppo successiva possa controllarlo.\n\nPer una spiegazione di codice, fornisci l'input da tracciare e chiedi come la funzione fornita arriva al valore restituito. Per una spiegazione matematica, definisci simboli e ipotesi e indica se il risultato deve essere esatto, approssimato o una dimostrazione. La generazione di codice e il ragionamento scritto non compilano da soli un programma né eseguono un calcolo.\n\nIl produttore identifica anche generazione di dati sintetici e distillazione come usi della famiglia. Un compito testuale può richiedere esempi vari in un formato specificato, mantenendo le regole fornite. Stabilire se tali esempi siano adatti a ulteriore addestramento è una decisione applicativa separata; l'output testuale da solo non è una verifica indipendente della loro correttezza.\n\nFormato della conversazione e strumenti\n\nLa scheda mostra messaggi separati di sistema e utente con il template chat corrispondente. Usa l'istruzione di sistema per ruolo, tono e regole durature della risposta, mentre la richiesta utente contiene il problema effettivo e le fonti. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito che si basa su una risposta precedente.\n\nLlama 3.1 supporta più formati documentati di uso degli strumenti. L'applicazione fornisce funzioni e parametri, il modello prepara una chiamata proposta, l'applicazione la esegue e aggiunge il suo risultato alla conversazione. Una generazione successiva può usare quel risultato. Il breve esempio della scheda mostra esplicitamente l'aggiunta della chiamata dell'assistente e poi del risultato dello strumento; selezionare una funzione è distinto dal completarne l'operazione.\n\nPer una ricerca, indica quali informazioni servono e definisci la funzione che le restituisce. Mantieni il valore effettivo restituito insieme alla chiamata di origine prima di chiedere la spiegazione finale. Per un calcolo, distingui l'operazione proposta dal modello dal risultato restituito dal calcolatore. La formattazione nativa degli strumenti e la rappresentazione visibile dell'interfaccia wrapper devono mantenere le rispettive convenzioni documentate.\n\nEdizione e limiti pratici\n\nL'impostazione di generazione di 256 token della scheda letta è un esempio d'uso anziché una capacità massima di output dichiarata indipendentemente. Il contesto di 128k riguarda il materiale e la conversazione generata entro la versione configurata. Non sostituirlo con il contesto o le capacità visive di Llama 4 o con la dimensione di un altro checkpoint Llama 3.1.\n\nQuesto è un modello Instruct esclusivamente testuale. Un'immagine, una registrazione o un video richiedono che il contenuto pertinente sia preparato tramite un altro componente. Anche il recupero esterno delle informazioni, l'esecuzione di programmi e le modifiche ai file appartengono all'applicazione collegata all'assistente. Mantieni l'edizione esatta 70B Instruct e richiedi la spiegazione collegata alle fonti, il documento rivisto, il codice o il testo strutturato necessari al compito.", "editorialOverlay": { "copy_fields": { "practical_html": "Esempio tecnico in inglese
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct è il modello testuale di Meta per dialogo multilingue, ragionamento su documenti e codice. La versione 70B ottimizzata per le istruzioni usa grouped-query attention, un contesto del produttore di 128k e formati documentati di conversazione per chiamate agli strumenti, con output di testo e codice.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Llama 3.1 70B Instruct è il modello testuale di Meta da 70 miliardi di parametri, ottimizzato per dialogo multilingue e richieste rivolte a un assistente. È un checkpoint ottimizzato per le istruzioni all'interno di una famiglia che comprende anche le dimensioni 8B e 405B e modelli preaddestrati separati. Accetta testo e restituisce testo multilingue o codice; l'edizione denominata 70B conserva la propria dimensione e identità.
Informazioni sul modello e addestramento
La versione usa un'architettura Transformer autoregressiva con grouped-query attention. I modelli ottimizzati sono allineati usando fine-tuning supervisionato e apprendimento per rinforzo con feedback umano. Sono fasi di addestramento per un comportamento conversazionale utile, non un interruttore denominato a runtime tra modalità separate di ragionamento e non ragionamento.
Il produttore documenta un contesto di 128k per i modelli testuali e supporta ufficialmente inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. L'addestramento include una raccolta linguistica più ampia, che non rende ogni lingua ugualmente supportata. Specifica lingua di output, terminologia e lettore prima di chiedere un artefatto multilingue.
Il corpus di preaddestramento della famiglia è descritto come composto da circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning include dataset di istruzioni e più di venticinque milioni di esempi sintetici. Il termine di aggiornamento è un limite dei dati di addestramento; una domanda che dipende da informazioni più recenti o private richiede che tali informazioni siano fornite nel compito o restituite da una fonte collegata.
Chat da assistente e analisi delle fonti
L'edizione Instruct è destinata a rispondere a una richiesta conversazionale, mentre la versione preaddestrata è una base adattabile ad altri compiti di generazione. Per una risposta basata sulle fonti, fornisci la domanda e i passaggi che determinano il risultato. Etichetta le fonti e chiedi di riportare la sezione o l'affermazione di supporto accanto a ogni risultato.
Un confronto pratico può fornire due procedure e richiedere condizioni condivise, differenze e conflitti irrisolti. Una guida risultante può mantenere la sequenza originale e le condizioni in cui si applica ogni azione. Un compito di revisione di documenti può specificare il pubblico, i fatti da mantenere e se l'artefatto finale deve essere il solo passaggio rivisto o un passaggio con una spiegazione.
Per una risposta più lunga, indica le sezioni richieste e lo scopo di ciascuna. Un contesto ampio può mantenere insieme il materiale correlato mentre il risultato finale resta una matrice o una spiegazione concisa. L'identità delle fonti e una domanda ben definita contano più della semplice inclusione di ogni documento disponibile.
Codice ed esempi generati
L'output documentato include codice. Per un'implementazione proposta, fornisci il linguaggio, i tipi di input, il risultato atteso e l'interfaccia che deve rimanere compatibile. Includi il frammento esistente e le dichiarazioni pertinenti quando il compito è una correzione. Richiedi il codice separatamente dalle ipotesi e dagli esempi, così che la fase di sviluppo successiva possa controllarlo.
Per una spiegazione di codice, fornisci l'input da tracciare e chiedi come la funzione fornita arriva al valore restituito. Per una spiegazione matematica, definisci simboli e ipotesi e indica se il risultato deve essere esatto, approssimato o una dimostrazione. La generazione di codice e il ragionamento scritto non compilano da soli un programma né eseguono un calcolo.
Il produttore identifica anche generazione di dati sintetici e distillazione come usi della famiglia. Un compito testuale può richiedere esempi vari in un formato specificato, mantenendo le regole fornite. Stabilire se tali esempi siano adatti a ulteriore addestramento è una decisione applicativa separata; l'output testuale da solo non è una verifica indipendente della loro correttezza.
Formato della conversazione e strumenti
La scheda mostra messaggi separati di sistema e utente con il template chat corrispondente. Usa l'istruzione di sistema per ruolo, tono e regole durature della risposta, mentre la richiesta utente contiene il problema effettivo e le fonti. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito che si basa su una risposta precedente.
Llama 3.1 supporta più formati documentati di uso degli strumenti. L'applicazione fornisce funzioni e parametri, il modello prepara una chiamata proposta, l'applicazione la esegue e aggiunge il suo risultato alla conversazione. Una generazione successiva può usare quel risultato. Il breve esempio della scheda mostra esplicitamente l'aggiunta della chiamata dell'assistente e poi del risultato dello strumento; selezionare una funzione è distinto dal completarne l'operazione.
Per una ricerca, indica quali informazioni servono e definisci la funzione che le restituisce. Mantieni il valore effettivo restituito insieme alla chiamata di origine prima di chiedere la spiegazione finale. Per un calcolo, distingui l'operazione proposta dal modello dal risultato restituito dal calcolatore. La formattazione nativa degli strumenti e la rappresentazione visibile dell'interfaccia wrapper devono mantenere le rispettive convenzioni documentate.
Edizione e limiti pratici
L'impostazione di generazione di 256 token della scheda letta è un esempio d'uso anziché una capacità massima di output dichiarata indipendentemente. Il contesto di 128k riguarda il materiale e la conversazione generata entro la versione configurata. Non sostituirlo con il contesto o le capacità visive di Llama 4 o con la dimensione di un altro checkpoint Llama 3.1.
Questo è un modello Instruct esclusivamente testuale. Un'immagine, una registrazione o un video richiedono che il contenuto pertinente sia preparato tramite un altro componente. Anche il recupero esterno delle informazioni, l'esecuzione di programmi e le modifiche ai file appartengono all'applicazione collegata all'assistente. Mantieni l'edizione esatta 70B Instruct e richiedi la spiegazione collegata alle fonti, il documento rivisto, il codice o il testo strutturato necessari al compito.
POST /v1/chat/completionstexttext| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti meta-llama/llama-3.1-70b-instruct | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti Numero minimo di elementi: 1 | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti Esempi: system, user, assistant, tool, function Condizioni: Questi ruoli sono rappresentati esplicitamente dai tipi di compatibilità del codice sorgente; l’insieme esatto dei ruoli rimane specifico del modello. Dipende dal modello | Predefinito— |
Campomessages[].content | Tipostring|content_part[]|null | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_calls | Tipotool_call[] | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].tool_call_id | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: role=tool; usa l’ID effettivamente restituito | Predefinito— |
Campomessages[].name | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campomessages[].reasoning_content | Tipostring | RequisitoFacoltativo | Valori e limiti Si applica quando: Reinserisci il ragionamento effettivamente restituito quando il modello lo utilizza | Predefinito— |
Campomessages[].reasoning_details | Tipoobject|array | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campomax_completion_tokens | Tipointeger | RequisitoFacoltativo | Valori e limiti Minimo: 1 Dipende dal modello | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Campostream_options.include_usage | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotemperature | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotop_p | Tiponumber | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campostop | Tipostring|string[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools | Tipofunction_tool[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campotools[].type | Tipostring | RequisitoFacoltativo | Valori e limiti function Dipende dal modello | Predefinito— |
Campotools[].function.name | Tipostring | RequisitoObbligatorio | Valori e limiti Si applica quando: Funzione fornita come strumento | Predefinito— |
Campotools[].function.description | Tipostring | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotools[].function.parameters | TipoJSON_schema | RequisitoFacoltativo | Valori e limiti | Predefinito— |
Campotool_choice | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoparallel_tool_calls | Tipoboolean | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporesponse_format | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning_effort | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camporeasoning | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Camposervice_tier | Tipostring | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoinstructions | Tipostring | RequisitoFacoltativo | Valori e limiti Campo di compatibilità | Predefinito— |
Campofunctions | Tipofunction[] | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campofunction_call | Tipostring|object | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campoprompt_cache_options | Tipoobject | RequisitoFacoltativo | Valori e limiti Dipende dal modello | Predefinito— |
Campomodalities | Tipostring[] | RequisitoFacoltativo | Valori e limiti text | Predefinito— |
Campoprovider | Tipoobject | RequisitoFacoltativo | Valori e limiti Condizioni: provider.options viene rifiutato su questa rotta testuale Ultra | Predefinito— |
Campocache_control.ttl | Tipostring | RequisitoFacoltativo | Valori e limiti Condizioni: 1h viene rifiutato nelle posizioni effettive della cache dei prompt | Predefinito— |
Testo · Testo UTF8
messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages |
Parametromaterial_types | Contrattotext |
Parametromessages | ContrattoArray di messaggi con struttura role/content |
Parametrofile_material | ContrattoDocumento UTF-8 effettivo inserito come testo letterale; nessun ID di file dedotto |
Parametrooptional_controls | Contrattostream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrocontrol_scope | ContrattoSpecifico del modello; gli strumenti di funzione dell’utente differiscono dagli strumenti ospitati |
Parametrooutput_modalities | Contrattotext |
Parametrohosted_operations | Contrattofalse |
Parametromultimodal_input_binding | Contrattonull |
Ciclo di vita: synchronous_or_streamed
Invia l’ID esatto del modello con messages.
La lunghezza del contesto non è un limite di uscita.
Un file di testo può fornire testo letterale; gli ingressi immagine/audio/oggetto file richiedono un’associazione esatta.
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00144 / 1K token Output · Token in output $0.00144 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00144 / 1K token Output · Token in output $0.00144 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva ogni scelta con contenuto, chiamate agli strumenti e ragionamento. In SSE assembla i delta per indice di scelta e strumento e conserva il motivo finale di completamento e i dati di utilizzo.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campochoices[].index | Tipointeger |
Campochoices[].message.content | Tipostring|null |
Campochoices[].message.tool_calls | Tipotool_call[] |
Campochoices[].message.reasoning_content | Tipostring |
Campochoices[].message.reasoning_details | Tipoobject|array |
Campochoices[].finish_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Usa i percorsi dei metodi indicati sopra.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct è il modello testuale di Meta per dialogo multilingue, ragionamento su documenti e codice. La versione 70B ottimizzata per le istruzioni usa grouped-query attention, un contesto del produttore di 128k e formati documentati di conversazione per chiamate agli strumenti, con output di testo e codice.
Questa descrizione illustra le funzionalità del modello. Gli input, gli output e le opzioni disponibili in Ailoot per il metodo selezionato sono elencati di seguito.
Llama 3.1 70B Instruct è il modello testuale di Meta da 70 miliardi di parametri, ottimizzato per dialogo multilingue e richieste rivolte a un assistente. È un checkpoint ottimizzato per le istruzioni all'interno di una famiglia che comprende anche le dimensioni 8B e 405B e modelli preaddestrati separati. Accetta testo e restituisce testo multilingue o codice; l'edizione denominata 70B conserva la propria dimensione e identità.
Informazioni sul modello e addestramento
La versione usa un'architettura Transformer autoregressiva con grouped-query attention. I modelli ottimizzati sono allineati usando fine-tuning supervisionato e apprendimento per rinforzo con feedback umano. Sono fasi di addestramento per un comportamento conversazionale utile, non un interruttore denominato a runtime tra modalità separate di ragionamento e non ragionamento.
Il produttore documenta un contesto di 128k per i modelli testuali e supporta ufficialmente inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e thailandese. L'addestramento include una raccolta linguistica più ampia, che non rende ogni lingua ugualmente supportata. Specifica lingua di output, terminologia e lettore prima di chiedere un artefatto multilingue.
Il corpus di preaddestramento della famiglia è descritto come composto da circa quindici mila miliardi di token, con dati aggiornati fino a dicembre 2023. Il fine-tuning include dataset di istruzioni e più di venticinque milioni di esempi sintetici. Il termine di aggiornamento è un limite dei dati di addestramento; una domanda che dipende da informazioni più recenti o private richiede che tali informazioni siano fornite nel compito o restituite da una fonte collegata.
Chat da assistente e analisi delle fonti
L'edizione Instruct è destinata a rispondere a una richiesta conversazionale, mentre la versione preaddestrata è una base adattabile ad altri compiti di generazione. Per una risposta basata sulle fonti, fornisci la domanda e i passaggi che determinano il risultato. Etichetta le fonti e chiedi di riportare la sezione o l'affermazione di supporto accanto a ogni risultato.
Un confronto pratico può fornire due procedure e richiedere condizioni condivise, differenze e conflitti irrisolti. Una guida risultante può mantenere la sequenza originale e le condizioni in cui si applica ogni azione. Un compito di revisione di documenti può specificare il pubblico, i fatti da mantenere e se l'artefatto finale deve essere il solo passaggio rivisto o un passaggio con una spiegazione.
Per una risposta più lunga, indica le sezioni richieste e lo scopo di ciascuna. Un contesto ampio può mantenere insieme il materiale correlato mentre il risultato finale resta una matrice o una spiegazione concisa. L'identità delle fonti e una domanda ben definita contano più della semplice inclusione di ogni documento disponibile.
Codice ed esempi generati
L'output documentato include codice. Per un'implementazione proposta, fornisci il linguaggio, i tipi di input, il risultato atteso e l'interfaccia che deve rimanere compatibile. Includi il frammento esistente e le dichiarazioni pertinenti quando il compito è una correzione. Richiedi il codice separatamente dalle ipotesi e dagli esempi, così che la fase di sviluppo successiva possa controllarlo.
Per una spiegazione di codice, fornisci l'input da tracciare e chiedi come la funzione fornita arriva al valore restituito. Per una spiegazione matematica, definisci simboli e ipotesi e indica se il risultato deve essere esatto, approssimato o una dimostrazione. La generazione di codice e il ragionamento scritto non compilano da soli un programma né eseguono un calcolo.
Il produttore identifica anche generazione di dati sintetici e distillazione come usi della famiglia. Un compito testuale può richiedere esempi vari in un formato specificato, mantenendo le regole fornite. Stabilire se tali esempi siano adatti a ulteriore addestramento è una decisione applicativa separata; l'output testuale da solo non è una verifica indipendente della loro correttezza.
Formato della conversazione e strumenti
La scheda mostra messaggi separati di sistema e utente con il template chat corrispondente. Usa l'istruzione di sistema per ruolo, tono e regole durature della risposta, mentre la richiesta utente contiene il problema effettivo e le fonti. Mantieni i messaggi precedenti pertinenti quando chiedi un seguito che si basa su una risposta precedente.
Llama 3.1 supporta più formati documentati di uso degli strumenti. L'applicazione fornisce funzioni e parametri, il modello prepara una chiamata proposta, l'applicazione la esegue e aggiunge il suo risultato alla conversazione. Una generazione successiva può usare quel risultato. Il breve esempio della scheda mostra esplicitamente l'aggiunta della chiamata dell'assistente e poi del risultato dello strumento; selezionare una funzione è distinto dal completarne l'operazione.
Per una ricerca, indica quali informazioni servono e definisci la funzione che le restituisce. Mantieni il valore effettivo restituito insieme alla chiamata di origine prima di chiedere la spiegazione finale. Per un calcolo, distingui l'operazione proposta dal modello dal risultato restituito dal calcolatore. La formattazione nativa degli strumenti e la rappresentazione visibile dell'interfaccia wrapper devono mantenere le rispettive convenzioni documentate.
Edizione e limiti pratici
L'impostazione di generazione di 256 token della scheda letta è un esempio d'uso anziché una capacità massima di output dichiarata indipendentemente. Il contesto di 128k riguarda il materiale e la conversazione generata entro la versione configurata. Non sostituirlo con il contesto o le capacità visive di Llama 4 o con la dimensione di un altro checkpoint Llama 3.1.
Questo è un modello Instruct esclusivamente testuale. Un'immagine, una registrazione o un video richiedono che il contenuto pertinente sia preparato tramite un altro componente. Anche il recupero esterno delle informazioni, l'esecuzione di programmi e le modifiche ai file appartengono all'applicazione collegata all'assistente. Mantieni l'edizione esatta 70B Instruct e richiedi la spiegazione collegata alle fonti, il documento rivisto, il codice o il testo strutturato necessari al compito.
POST /v1/messagestextjson, sse| Campo | Tipo | Requisito | Valori e limiti | Predefinito |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObbligatorio | Valori e limiti meta-llama/llama-3.1-70b-instruct | Predefinito— |
Campomessages | Tipomessage[] | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomessages[].role | Tipostring | RequisitoObbligatorio | Valori e limiti user, assistant | Predefinito— |
Campomessages[].content | Tipostring | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campomax_tokens | Tipointeger | RequisitoObbligatorio | Valori e limiti | Predefinito— |
Campostream | Tipoboolean | RequisitoFacoltativo | Valori e limiti | Predefinitofalse |
Testo · Testo UTF-8
Stringa messages[].content
| Parametro | Contratto |
|---|---|
Parametrocontent_type | Contrattoapplication/json |
Parametrorequired | Contrattomodel, messages, max_tokens |
Parametrooptional_controls | Contrattostream |
Parametromaterial_types | Contrattotext |
Parametrotext_file_material | ContrattoLeggi il documento UTF-8 effettivo e inserisci il testo nell’ingresso indicato o nella stringa del contenuto del messaggio. |
Ciclo di vita: synchronous_or_streamed
Le tariffe non aggiungono opzioni alla richiesta. I parametri supportati sono elencati nel metodo selezionato.
Associa ogni costo alle condizioni indicate. Usa una sola tariffa per ogni insieme di configurazioni alternative.
| Configurazione | Listino delle tariffe | Token di contesto, più di | Token di contesto, fino al limite incluso | Costo |
|---|---|---|---|---|
| ConfigurazioneTariffe di base dei token | Listino delle tariffeTariffa base | Token di contesto, più di— | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00144 / 1K token Output · Token in output $0.00144 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
| ConfigurazioneFascia 1 di lunghezza della richiesta | Listino delle tariffe— | Token di contesto, più di0 | Token di contesto, fino al limite inclusoNessun limite superiore | Costo Input · Token in input $0.00144 / 1K token Output · Token in output $0.00144 / 1K token Input · Lettura dalla cache — / 1K token Input · Scrittura nella cache — / 1K token Input · Scrittura nella cache, 1 ora — / 1K token |
Ailoot prenota un importo stimato prima di una richiesta. Dopo il risultato, addebita il costo finale in base all’utilizzo misurato. Per lo streaming, l’addebito usa il record finale di utilizzo. Come funzionano la prenotazione e l’addebito finale →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON o SSE
Conserva ogni risposta, file e parte di contenuto restituiti per intero.
Conserva tutti i blocchi di contenuto, le firme di ragionamento e gli ID effettivi di utilizzo degli strumenti. Assembla tutti i delta dei blocchi SSE; il primo blocco di testo non è l’uscita completa.
Conserva gli ID e le intestazioni di richiesta/risposta. Non viene fornito alcun URL generico per recuperare un’attività testuale.
| Campo | Tipo |
|---|---|
Campoid | Tipostring |
Campomodel | Tipostring |
Campocontent[] | Tipotext|thinking|tool_use|other content block |
Campostop_reason | Tipostring|null |
Campousage | Tipoobject |
| Risposta | Condizione | Passaggio successivo |
|---|---|---|
Risposta400 · invalid_request_error | CondizioneCampi obbligatori, rappresentazione del materiale o valore del parametro non validi | Passaggio successivoCorreggi i campi indicati prima di una nuova richiesta di creazione. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Usa i percorsi dei metodi indicati sopra.
Esempio tecnico in inglese
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.