Llama 3.1 70B Instruct är Metas textmodell med 70 miljarder parametrar, optimerad för flerspråkig dialog och assistentliknande begäranden. Den är en instruktionsfinjusterad checkpoint i en familj som också omfattar storlekarna 8B och 405B samt separata förtränade modeller. Den tar emot text och returnerar flerspråkig text eller kod; den namngivna 70B-utgåvan behåller sin egen storlek och identitet.
Modellinformation och träning
Utgåvan använder en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterade modellerna anpassas med övervakad finjustering och förstärkningsinlärning med mänsklig återkoppling. Detta är träningssteg för hjälpsamt samtalsbeteende, inte en namngiven körningsväxel mellan separata lägen med och utan resonemang.
Tillverkaren dokumenterar en 128k-kontext för textmodellerna och stöder officiellt engelska, tyska, franska, italienska, portugisiska, hindi, spanska och thailändska. Träningen omfattar en bredare språksamling, vilket inte gör att alla språk stöds lika väl. Ange utdataspråk, terminologi och läsare innan du begär ett flerspråkigt resultat.
Familjens förträningskorpus beskrivs som cirka femton biljoner token, med slutdatum i december 2023. Finjusteringen omfattar instruktionsdatamängder och mer än tjugofem miljoner syntetiska exempel. Slutdatumet är en gräns för träningsdatan; en fråga som beror på nyare eller privat information behöver den informationen tillhandahållen i uppgiften eller returnerad av en ansluten källa.
Assistentliknande chatt och källanalys
Instruct-utgåvan är avsedd att svara på en begäran i ett samtal, medan den förtränade versionen är en basmodell som kan anpassas till andra genereringsuppgifter. För ett källbaserat svar tillhandahåller du frågan och de textavsnitt som avgör resultatet. Märk källorna och be om det stödjande avsnittet eller påståendet bredvid varje fynd.
En praktisk jämförelse kan tillhandahålla två procedurer och begära gemensamma villkor, skillnader och olösta konflikter. En resulterande guide kan behålla originalsekvensen och de villkor under vilka varje åtgärd gäller. En dokumentredigeringsuppgift kan ange målgruppen, fakta som måste bevaras och om slutresultatet ska vara enbart ett reviderat textavsnitt eller ett avsnitt med en förklaring.
För ett längre svar anger du vilka avsnitt som krävs och syftet med varje avsnitt. En stor kontext kan hålla relaterat material samman samtidigt som slutresultatet förblir en kortfattad matris eller förklaring. Källornas identitet och en väldefinierad fråga är viktigare än att bara inkludera varje tillgängligt dokument.
Kod och genererade exempel
De dokumenterade utdata omfattar kod. För en föreslagen implementation anger du språk, indatatyper, förväntat resultat och gränssnitt som måste förbli kompatibelt. Inkludera det befintliga kodavsnittet och relevanta deklarationer när uppgiften gäller en korrigering. Begär koden separat från dess antaganden och exempel så att nästa utvecklingssteg kan granska den.
För en kodförklaring tillhandahåller du indata som ska spåras och frågar hur den givna funktionen når det returnerade värdet. För en matematisk förklaring definierar du symboler och antaganden och anger om resultatet ska vara exakt, approximativt eller ett bevis. Kodgenerering och skriftligt resonemang kompilerar inte i sig ett program eller utför en beräkning.
Tillverkaren identifierar också generering av syntetiska data och destillering som användningar för familjen. En textuppgift kan begära varierade exempel i ett specificerat format med de tillhandahållna reglerna bevarade. Om exemplen lämpar sig för vidare träning är ett separat applikationsbeslut; textutdata är inte i sig en oberoende verifiering av att de är korrekta.
Konversationsformat och verktyg
Kortet visar separata system- och användarmeddelanden med den matchande chattmallen. Använd systeminstruktionen för roll, ton och beständiga svarsregler, medan användarens begäran innehåller det faktiska problemet och källorna. Bevara relevanta tidigare meddelanden när du ber om en uppföljning som bygger på ett tidigare svar.
Llama 3.1 stöder flera dokumenterade format för verktygsanvändning. Applikationen tillhandahåller funktionerna och parametrarna, modellen förbereder ett föreslaget anrop, applikationen kör det och lägger till resultatet i samtalet. En efterföljande generering kan använda det resultatet. Kortets korta exempel visar uttryckligen hur assistentens anrop läggs till och därefter verktygsresultatet; att välja en funktion skiljer sig från att slutföra dess åtgärd.
För en uppslagning anger du vilken information som behövs och definierar funktionen som returnerar den. Behåll det faktiska returnerade värdet tillsammans med det ursprungliga anropet innan du ber om slutförklaringen. För en beräkning skiljer du modellens föreslagna åtgärd från resultatet som räknaren returnerar. Inbyggd verktygsformatering och ett wrappergränssnitts synliga representation bör behålla sina egna dokumenterade konventioner.
Utgåva och praktiska begränsningar
Genereringsinställningen på 256 token i det lästa kortet är ett användningsexempel snarare än en separat angiven maximal utdatakapacitet. Kontexten på 128k gäller materialet och den genererade konversationen inom den konfigurerade utgåvan. Ersätt den inte med Llama 4:s kontext eller visuella funktioner eller med storleken på en annan Llama 3.1-checkpoint.
Detta är en rent textbaserad Instruct-modell. En bild, inspelning eller video behöver sitt relevanta innehåll förberett genom en annan komponent. Extern hämtning, programkörning och filändringar tillhör på samma sätt applikationen som är ansluten till assistenten. Bevara den exakta utgåvan 70B Instruct och begär den källkopplade förklaring, det reviderade dokument, den kod eller den strukturerade text som uppgiften behöver.
", "aboutText": "Llama 3.1 70B Instruct är Metas textmodell med 70 miljarder parametrar, optimerad för flerspråkig dialog och assistentliknande begäranden. Den är en instruktionsfinjusterad checkpoint i en familj som också omfattar storlekarna 8B och 405B samt separata förtränade modeller. Den tar emot text och returnerar flerspråkig text eller kod; den namngivna 70B-utgåvan behåller sin egen storlek och identitet.\n\nModellinformation och träning\n\nUtgåvan använder en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterade modellerna anpassas med övervakad finjustering och förstärkningsinlärning med mänsklig återkoppling. Detta är träningssteg för hjälpsamt samtalsbeteende, inte en namngiven körningsväxel mellan separata lägen med och utan resonemang.\n\nTillverkaren dokumenterar en 128k-kontext för textmodellerna och stöder officiellt engelska, tyska, franska, italienska, portugisiska, hindi, spanska och thailändska. Träningen omfattar en bredare språksamling, vilket inte gör att alla språk stöds lika väl. Ange utdataspråk, terminologi och läsare innan du begär ett flerspråkigt resultat.\n\nFamiljens förträningskorpus beskrivs som cirka femton biljoner token, med slutdatum i december 2023. Finjusteringen omfattar instruktionsdatamängder och mer än tjugofem miljoner syntetiska exempel. Slutdatumet är en gräns för träningsdatan; en fråga som beror på nyare eller privat information behöver den informationen tillhandahållen i uppgiften eller returnerad av en ansluten källa.\n\nAssistentliknande chatt och källanalys\n\nInstruct-utgåvan är avsedd att svara på en begäran i ett samtal, medan den förtränade versionen är en basmodell som kan anpassas till andra genereringsuppgifter. För ett källbaserat svar tillhandahåller du frågan och de textavsnitt som avgör resultatet. Märk källorna och be om det stödjande avsnittet eller påståendet bredvid varje fynd.\n\nEn praktisk jämförelse kan tillhandahålla två procedurer och begära gemensamma villkor, skillnader och olösta konflikter. En resulterande guide kan behålla originalsekvensen och de villkor under vilka varje åtgärd gäller. En dokumentredigeringsuppgift kan ange målgruppen, fakta som måste bevaras och om slutresultatet ska vara enbart ett reviderat textavsnitt eller ett avsnitt med en förklaring.\n\nFör ett längre svar anger du vilka avsnitt som krävs och syftet med varje avsnitt. En stor kontext kan hålla relaterat material samman samtidigt som slutresultatet förblir en kortfattad matris eller förklaring. Källornas identitet och en väldefinierad fråga är viktigare än att bara inkludera varje tillgängligt dokument.\n\nKod och genererade exempel\n\nDe dokumenterade utdata omfattar kod. För en föreslagen implementation anger du språk, indatatyper, förväntat resultat och gränssnitt som måste förbli kompatibelt. Inkludera det befintliga kodavsnittet och relevanta deklarationer när uppgiften gäller en korrigering. Begär koden separat från dess antaganden och exempel så att nästa utvecklingssteg kan granska den.\n\nFör en kodförklaring tillhandahåller du indata som ska spåras och frågar hur den givna funktionen når det returnerade värdet. För en matematisk förklaring definierar du symboler och antaganden och anger om resultatet ska vara exakt, approximativt eller ett bevis. Kodgenerering och skriftligt resonemang kompilerar inte i sig ett program eller utför en beräkning.\n\nTillverkaren identifierar också generering av syntetiska data och destillering som användningar för familjen. En textuppgift kan begära varierade exempel i ett specificerat format med de tillhandahållna reglerna bevarade. Om exemplen lämpar sig för vidare träning är ett separat applikationsbeslut; textutdata är inte i sig en oberoende verifiering av att de är korrekta.\n\nKonversationsformat och verktyg\n\nKortet visar separata system- och användarmeddelanden med den matchande chattmallen. Använd systeminstruktionen för roll, ton och beständiga svarsregler, medan användarens begäran innehåller det faktiska problemet och källorna. Bevara relevanta tidigare meddelanden när du ber om en uppföljning som bygger på ett tidigare svar.\n\nLlama 3.1 stöder flera dokumenterade format för verktygsanvändning. Applikationen tillhandahåller funktionerna och parametrarna, modellen förbereder ett föreslaget anrop, applikationen kör det och lägger till resultatet i samtalet. En efterföljande generering kan använda det resultatet. Kortets korta exempel visar uttryckligen hur assistentens anrop läggs till och därefter verktygsresultatet; att välja en funktion skiljer sig från att slutföra dess åtgärd.\n\nFör en uppslagning anger du vilken information som behövs och definierar funktionen som returnerar den. Behåll det faktiska returnerade värdet tillsammans med det ursprungliga anropet innan du ber om slutförklaringen. För en beräkning skiljer du modellens föreslagna åtgärd från resultatet som räknaren returnerar. Inbyggd verktygsformatering och ett wrappergränssnitts synliga representation bör behålla sina egna dokumenterade konventioner.\n\nUtgåva och praktiska begränsningar\n\nGenereringsinställningen på 256 token i det lästa kortet är ett användningsexempel snarare än en separat angiven maximal utdatakapacitet. Kontexten på 128k gäller materialet och den genererade konversationen inom den konfigurerade utgåvan. Ersätt den inte med Llama 4:s kontext eller visuella funktioner eller med storleken på en annan Llama 3.1-checkpoint.\n\nDetta är en rent textbaserad Instruct-modell. En bild, inspelning eller video behöver sitt relevanta innehåll förberett genom en annan komponent. Extern hämtning, programkörning och filändringar tillhör på samma sätt applikationen som är ansluten till assistenten. Bevara den exakta utgåvan 70B Instruct och begär den källkopplade förklaring, det reviderade dokument, den kod eller den strukturerade text som uppgiften behöver.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekniskt exempel på engelska
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct är Metas textmodell för flerspråkig dialog, dokumentresonemang och kod. Dess instruktionsfinjusterade utgåva på 70B använder grouped-query attention, en tillverkarkontext på 128k och dokumenterade konversationsformat för verktygsanrop, med text- och kodutdata.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
Llama 3.1 70B Instruct är Metas textmodell med 70 miljarder parametrar, optimerad för flerspråkig dialog och assistentliknande begäranden. Den är en instruktionsfinjusterad checkpoint i en familj som också omfattar storlekarna 8B och 405B samt separata förtränade modeller. Den tar emot text och returnerar flerspråkig text eller kod; den namngivna 70B-utgåvan behåller sin egen storlek och identitet.
Modellinformation och träning
Utgåvan använder en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterade modellerna anpassas med övervakad finjustering och förstärkningsinlärning med mänsklig återkoppling. Detta är träningssteg för hjälpsamt samtalsbeteende, inte en namngiven körningsväxel mellan separata lägen med och utan resonemang.
Tillverkaren dokumenterar en 128k-kontext för textmodellerna och stöder officiellt engelska, tyska, franska, italienska, portugisiska, hindi, spanska och thailändska. Träningen omfattar en bredare språksamling, vilket inte gör att alla språk stöds lika väl. Ange utdataspråk, terminologi och läsare innan du begär ett flerspråkigt resultat.
Familjens förträningskorpus beskrivs som cirka femton biljoner token, med slutdatum i december 2023. Finjusteringen omfattar instruktionsdatamängder och mer än tjugofem miljoner syntetiska exempel. Slutdatumet är en gräns för träningsdatan; en fråga som beror på nyare eller privat information behöver den informationen tillhandahållen i uppgiften eller returnerad av en ansluten källa.
Assistentliknande chatt och källanalys
Instruct-utgåvan är avsedd att svara på en begäran i ett samtal, medan den förtränade versionen är en basmodell som kan anpassas till andra genereringsuppgifter. För ett källbaserat svar tillhandahåller du frågan och de textavsnitt som avgör resultatet. Märk källorna och be om det stödjande avsnittet eller påståendet bredvid varje fynd.
En praktisk jämförelse kan tillhandahålla två procedurer och begära gemensamma villkor, skillnader och olösta konflikter. En resulterande guide kan behålla originalsekvensen och de villkor under vilka varje åtgärd gäller. En dokumentredigeringsuppgift kan ange målgruppen, fakta som måste bevaras och om slutresultatet ska vara enbart ett reviderat textavsnitt eller ett avsnitt med en förklaring.
För ett längre svar anger du vilka avsnitt som krävs och syftet med varje avsnitt. En stor kontext kan hålla relaterat material samman samtidigt som slutresultatet förblir en kortfattad matris eller förklaring. Källornas identitet och en väldefinierad fråga är viktigare än att bara inkludera varje tillgängligt dokument.
Kod och genererade exempel
De dokumenterade utdata omfattar kod. För en föreslagen implementation anger du språk, indatatyper, förväntat resultat och gränssnitt som måste förbli kompatibelt. Inkludera det befintliga kodavsnittet och relevanta deklarationer när uppgiften gäller en korrigering. Begär koden separat från dess antaganden och exempel så att nästa utvecklingssteg kan granska den.
För en kodförklaring tillhandahåller du indata som ska spåras och frågar hur den givna funktionen når det returnerade värdet. För en matematisk förklaring definierar du symboler och antaganden och anger om resultatet ska vara exakt, approximativt eller ett bevis. Kodgenerering och skriftligt resonemang kompilerar inte i sig ett program eller utför en beräkning.
Tillverkaren identifierar också generering av syntetiska data och destillering som användningar för familjen. En textuppgift kan begära varierade exempel i ett specificerat format med de tillhandahållna reglerna bevarade. Om exemplen lämpar sig för vidare träning är ett separat applikationsbeslut; textutdata är inte i sig en oberoende verifiering av att de är korrekta.
Konversationsformat och verktyg
Kortet visar separata system- och användarmeddelanden med den matchande chattmallen. Använd systeminstruktionen för roll, ton och beständiga svarsregler, medan användarens begäran innehåller det faktiska problemet och källorna. Bevara relevanta tidigare meddelanden när du ber om en uppföljning som bygger på ett tidigare svar.
Llama 3.1 stöder flera dokumenterade format för verktygsanvändning. Applikationen tillhandahåller funktionerna och parametrarna, modellen förbereder ett föreslaget anrop, applikationen kör det och lägger till resultatet i samtalet. En efterföljande generering kan använda det resultatet. Kortets korta exempel visar uttryckligen hur assistentens anrop läggs till och därefter verktygsresultatet; att välja en funktion skiljer sig från att slutföra dess åtgärd.
För en uppslagning anger du vilken information som behövs och definierar funktionen som returnerar den. Behåll det faktiska returnerade värdet tillsammans med det ursprungliga anropet innan du ber om slutförklaringen. För en beräkning skiljer du modellens föreslagna åtgärd från resultatet som räknaren returnerar. Inbyggd verktygsformatering och ett wrappergränssnitts synliga representation bör behålla sina egna dokumenterade konventioner.
Utgåva och praktiska begränsningar
Genereringsinställningen på 256 token i det lästa kortet är ett användningsexempel snarare än en separat angiven maximal utdatakapacitet. Kontexten på 128k gäller materialet och den genererade konversationen inom den konfigurerade utgåvan. Ersätt den inte med Llama 4:s kontext eller visuella funktioner eller med storleken på en annan Llama 3.1-checkpoint.
Detta är en rent textbaserad Instruct-modell. En bild, inspelning eller video behöver sitt relevanta innehåll förberett genom en annan komponent. Extern hämtning, programkörning och filändringar tillhör på samma sätt applikationen som är ansluten till assistenten. Bevara den exakta utgåvan 70B Instruct och begär den källkopplade förklaring, det reviderade dokument, den kod eller den strukturerade text som uppgiften behöver.
POST /v1/chat/completionstexttext| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser meta-llama/llama-3.1-70b-instruct | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser Minsta antal objekt: 1 | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser Exempel: system, user, assistant, tool, function Villkor: Dessa roller representeras uttryckligen av källkodens kompatibilitetstyper; den exakta rolluppsättningen är fortfarande modellspecifik. Beror på modellen | Standard— |
Fältmessages[].content | Typstring|content_part[]|null | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_calls | Typtool_call[] | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_call_id | Typstring | KravValfritt | Värden & gränser Gäller när: role=tool; använd det faktiska returnerade ID:t | Standard— |
Fältmessages[].name | Typstring | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].reasoning_content | Typstring | KravValfritt | Värden & gränser Gäller när: Skicka tillbaka det faktiska returnerade resonemanget när modellen använder det | Standard— |
Fältmessages[].reasoning_details | Typobject|array | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmax_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältmax_completion_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Fältstream_options.include_usage | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttemperature | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttop_p | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältstop | Typstring|string[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools | Typfunction_tool[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools[].type | Typstring | KravValfritt | Värden & gränser function Beror på modellen | Standard— |
Fälttools[].function.name | Typstring | KravObligatoriskt | Värden & gränser Gäller när: verktyg av typen funktion har tillhandahållits | Standard— |
Fälttools[].function.description | Typstring | KravValfritt | Värden & gränser | Standard— |
Fälttools[].function.parameters | TypJSON_schema | KravValfritt | Värden & gränser | Standard— |
Fälttool_choice | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältparallel_tool_calls | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältresponse_format | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning_effort | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältservice_tier | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältinstructions | Typstring | KravValfritt | Värden & gränser Kompatibilitetsfält | Standard— |
Fältfunctions | Typfunction[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältfunction_call | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältprompt_cache_options | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmodalities | Typstring[] | KravValfritt | Värden & gränser text | Standard— |
Fältprovider | Typobject | KravValfritt | Värden & gränser Villkor: provider.options avvisas på denna Ultra-textrutt | Standard— |
Fältcache_control.ttl | Typstring | KravValfritt | Värden & gränser Villkor: 1h avvisas på de faktiska platserna för promptcache | Standard— |
Text · UTF8-text
messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages |
Parametermaterial_types | Avtaltext |
Parametermessages | Avtalmeddelandearray med strukturen role/content |
Parameterfile_material | Avtaldet faktiska UTF-8-dokumentet infogat som bokstavlig text; inget fil-ID härleds |
Parameteroptional_controls | Avtalstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalmodellspecifikt; användarens funktionsverktyg skiljer sig från värdbaserade verktyg |
Parameteroutput_modalities | Avtaltext |
Parameterhosted_operations | Avtalfalse |
Parametermultimodal_input_binding | Avtalnull |
Livscykel: synchronous_or_streamed
Skicka det exakta modell-ID:t tillsammans med messages.
Kontextlängden är inte en utdatagräns.
En textfil kan tillhandahålla bokstavlig text; bild-/ljud-/filobjektsindata kräver exakt bindning.
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
Matcha varje avgift mot de visade villkoren. Använd ett pris för varje uppsättning alternativa konfigurationer.
| Konfiguration | Prislista | Kontexttoken, fler än | Kontexttoken, upp till och med | Avgift |
|---|---|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Kontexttoken, fler än— | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.00144 / 1K token Utdata · Utdatatoken $0.00144 / 1K token Indata · Cacheläsning — / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
| KonfigurationNivå 1 för förfrågans längd | Prislista— | Kontexttoken, fler än0 | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.00144 / 1K token Utdata · Utdatatoken $0.00144 / 1K token Indata · Cacheläsning — / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll varje svarsalternativ och dess innehåll/verktygsanrop/resonemang. Sätt i SSE samman deltauppdateringar efter svarsalternativets/verktygets index och behåll den slutliga avslutsorsaken och användningsuppgifterna.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältchoices[].index | Typinteger |
Fältchoices[].message.content | Typstring|null |
Fältchoices[].message.tool_calls | Typtool_call[] |
Fältchoices[].message.reasoning_content | Typstring |
Fältchoices[].message.reasoning_details | Typobject|array |
Fältchoices[].finish_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Använd metodsökvägarna som visas ovan.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct är Metas textmodell för flerspråkig dialog, dokumentresonemang och kod. Dess instruktionsfinjusterade utgåva på 70B använder grouped-query attention, en tillverkarkontext på 128k och dokumenterade konversationsformat för verktygsanrop, med text- och kodutdata.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
Llama 3.1 70B Instruct är Metas textmodell med 70 miljarder parametrar, optimerad för flerspråkig dialog och assistentliknande begäranden. Den är en instruktionsfinjusterad checkpoint i en familj som också omfattar storlekarna 8B och 405B samt separata förtränade modeller. Den tar emot text och returnerar flerspråkig text eller kod; den namngivna 70B-utgåvan behåller sin egen storlek och identitet.
Modellinformation och träning
Utgåvan använder en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterade modellerna anpassas med övervakad finjustering och förstärkningsinlärning med mänsklig återkoppling. Detta är träningssteg för hjälpsamt samtalsbeteende, inte en namngiven körningsväxel mellan separata lägen med och utan resonemang.
Tillverkaren dokumenterar en 128k-kontext för textmodellerna och stöder officiellt engelska, tyska, franska, italienska, portugisiska, hindi, spanska och thailändska. Träningen omfattar en bredare språksamling, vilket inte gör att alla språk stöds lika väl. Ange utdataspråk, terminologi och läsare innan du begär ett flerspråkigt resultat.
Familjens förträningskorpus beskrivs som cirka femton biljoner token, med slutdatum i december 2023. Finjusteringen omfattar instruktionsdatamängder och mer än tjugofem miljoner syntetiska exempel. Slutdatumet är en gräns för träningsdatan; en fråga som beror på nyare eller privat information behöver den informationen tillhandahållen i uppgiften eller returnerad av en ansluten källa.
Assistentliknande chatt och källanalys
Instruct-utgåvan är avsedd att svara på en begäran i ett samtal, medan den förtränade versionen är en basmodell som kan anpassas till andra genereringsuppgifter. För ett källbaserat svar tillhandahåller du frågan och de textavsnitt som avgör resultatet. Märk källorna och be om det stödjande avsnittet eller påståendet bredvid varje fynd.
En praktisk jämförelse kan tillhandahålla två procedurer och begära gemensamma villkor, skillnader och olösta konflikter. En resulterande guide kan behålla originalsekvensen och de villkor under vilka varje åtgärd gäller. En dokumentredigeringsuppgift kan ange målgruppen, fakta som måste bevaras och om slutresultatet ska vara enbart ett reviderat textavsnitt eller ett avsnitt med en förklaring.
För ett längre svar anger du vilka avsnitt som krävs och syftet med varje avsnitt. En stor kontext kan hålla relaterat material samman samtidigt som slutresultatet förblir en kortfattad matris eller förklaring. Källornas identitet och en väldefinierad fråga är viktigare än att bara inkludera varje tillgängligt dokument.
Kod och genererade exempel
De dokumenterade utdata omfattar kod. För en föreslagen implementation anger du språk, indatatyper, förväntat resultat och gränssnitt som måste förbli kompatibelt. Inkludera det befintliga kodavsnittet och relevanta deklarationer när uppgiften gäller en korrigering. Begär koden separat från dess antaganden och exempel så att nästa utvecklingssteg kan granska den.
För en kodförklaring tillhandahåller du indata som ska spåras och frågar hur den givna funktionen når det returnerade värdet. För en matematisk förklaring definierar du symboler och antaganden och anger om resultatet ska vara exakt, approximativt eller ett bevis. Kodgenerering och skriftligt resonemang kompilerar inte i sig ett program eller utför en beräkning.
Tillverkaren identifierar också generering av syntetiska data och destillering som användningar för familjen. En textuppgift kan begära varierade exempel i ett specificerat format med de tillhandahållna reglerna bevarade. Om exemplen lämpar sig för vidare träning är ett separat applikationsbeslut; textutdata är inte i sig en oberoende verifiering av att de är korrekta.
Konversationsformat och verktyg
Kortet visar separata system- och användarmeddelanden med den matchande chattmallen. Använd systeminstruktionen för roll, ton och beständiga svarsregler, medan användarens begäran innehåller det faktiska problemet och källorna. Bevara relevanta tidigare meddelanden när du ber om en uppföljning som bygger på ett tidigare svar.
Llama 3.1 stöder flera dokumenterade format för verktygsanvändning. Applikationen tillhandahåller funktionerna och parametrarna, modellen förbereder ett föreslaget anrop, applikationen kör det och lägger till resultatet i samtalet. En efterföljande generering kan använda det resultatet. Kortets korta exempel visar uttryckligen hur assistentens anrop läggs till och därefter verktygsresultatet; att välja en funktion skiljer sig från att slutföra dess åtgärd.
För en uppslagning anger du vilken information som behövs och definierar funktionen som returnerar den. Behåll det faktiska returnerade värdet tillsammans med det ursprungliga anropet innan du ber om slutförklaringen. För en beräkning skiljer du modellens föreslagna åtgärd från resultatet som räknaren returnerar. Inbyggd verktygsformatering och ett wrappergränssnitts synliga representation bör behålla sina egna dokumenterade konventioner.
Utgåva och praktiska begränsningar
Genereringsinställningen på 256 token i det lästa kortet är ett användningsexempel snarare än en separat angiven maximal utdatakapacitet. Kontexten på 128k gäller materialet och den genererade konversationen inom den konfigurerade utgåvan. Ersätt den inte med Llama 4:s kontext eller visuella funktioner eller med storleken på en annan Llama 3.1-checkpoint.
Detta är en rent textbaserad Instruct-modell. En bild, inspelning eller video behöver sitt relevanta innehåll förberett genom en annan komponent. Extern hämtning, programkörning och filändringar tillhör på samma sätt applikationen som är ansluten till assistenten. Bevara den exakta utgåvan 70B Instruct och begär den källkopplade förklaring, det reviderade dokument, den kod eller den strukturerade text som uppgiften behöver.
POST /v1/messagestextjson, sse| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser meta-llama/llama-3.1-70b-instruct | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser user, assistant | Standard— |
Fältmessages[].content | Typstring | KravObligatoriskt | Värden & gränser | Standard— |
Fältmax_tokens | Typinteger | KravObligatoriskt | Värden & gränser | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Text · UTF-8-text
sträng i messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages, max_tokens |
Parameteroptional_controls | Avtalstream |
Parametermaterial_types | Avtaltext |
Parametertext_file_material | AvtalLäs det faktiska UTF-8-dokumentet och placera texten i det angivna input-fältet eller i strängen för meddelandets innehåll. |
Livscykel: synchronous_or_streamed
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
Matcha varje avgift mot de visade villkoren. Använd ett pris för varje uppsättning alternativa konfigurationer.
| Konfiguration | Prislista | Kontexttoken, fler än | Kontexttoken, upp till och med | Avgift |
|---|---|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Kontexttoken, fler än— | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.00144 / 1K token Utdata · Utdatatoken $0.00144 / 1K token Indata · Cacheläsning — / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
| KonfigurationNivå 1 för förfrågans längd | Prislista— | Kontexttoken, fler än0 | Kontexttoken, upp till och medIngen övre gräns | Avgift Indata · Indatatoken $0.00144 / 1K token Utdata · Utdatatoken $0.00144 / 1K token Indata · Cacheläsning — / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll alla innehållsblock, resonemangssignaturer och faktiska ID:n för verktygsanvändning. Sätt samman alla SSE-deltauppdateringar för blocken; ett första textblock är inte hela utdata.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältid | Typstring |
Fältmodel | Typstring |
Fältcontent[] | Typtext|thinking|tool_use|other content block |
Fältstop_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Använd metodsökvägarna som visas ovan.
Tekniskt exempel på engelska
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.