Llama 3.1 70B Instruct er Metas tekstmodel med 70 milliarder parametre, optimeret til flersproget dialog og assistentlignende anmodninger. Den er et instruktionsfinjusteret checkpoint i en familie, der også omfatter størrelserne 8B og 405B samt særskilte fortrænede modeller. Den modtager tekst og returnerer flersproget tekst eller kode; den navngivne 70B-udgave bevarer sin egen størrelse og identitet.
Modeloplysninger og træning
Udgivelsen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterede modeller tilpasses gennem superviseret finjustering og forstærkningslæring med menneskelig feedback. Dette er træningsfaser til hjælpsom samtaleadfærd og ikke en navngiven driftsindstilling mellem særskilte tilstande med og uden ræsonnement.
Producenten dokumenterer en kontekst på 128k for tekstmodellerne og understøtter officielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Træningen omfatter en bredere sprogsamling, hvilket ikke gør alle sprog lige understøttede. Angiv outputsprog, terminologi og læser, før du beder om et flersproget artefakt.
Familiens fortræningskorpus beskrives som cirka femten billioner tokens med skæringsdato i december 2023. Finjusteringen omfatter instruktionsdatasæt og mere end femogtyve millioner syntetiske eksempler. Skæringsdatoen er en grænse for træningsdata; et spørgsmål, der afhænger af nyere eller private oplysninger, kræver disse oplysninger vedlagt opgaven eller returneret af en tilsluttet kilde.
Assistentlignende chat og kildeanalyse
Instruct-udgaven er beregnet til at besvare en samtaleanmodning, mens den fortrænede version er et fundament, der kan tilpasses til andre genereringsopgaver. Ved et kildebaseret svar skal du vedlægge spørgsmålet og de passager, der bestemmer resultatet. Mærk kilderne, og bed om det understøttende afsnit eller udsagn ved siden af hvert fund.
En praktisk sammenligning kan vedlægge to procedurer og bede om fælles betingelser, forskelle og uafklarede konflikter. En resulterende vejledning kan bevare den oprindelige rækkefølge og de betingelser, hvorunder hver handling gælder. En dokumentredigeringsopgave kan angive målgruppen, de fakta, der skal bevares, og om slutresultatet skal være en revideret passage alene eller en passage med forklaring.
Ved et længere svar skal du navngive de krævede afsnit og formålet med hvert. En stor kontekst kan holde beslægtet materiale samlet, mens slutresultatet stadig er en kortfattet matrix eller forklaring. Kildeidentiteter og et veldefineret spørgsmål er vigtigere end blot at medtage alle tilgængelige dokumenter.
Kode og genererede eksempler
Det dokumenterede output omfatter kode. Ved en foreslået implementering skal du angive sproget, inputtyperne, det forventede resultat og den grænseflade, der fortsat skal være kompatibel. Medtag det eksisterende fragment og relevante deklarationer, når opgaven er en rettelse. Bed om koden adskilt fra dens antagelser og eksempler, så næste udviklingstrin kan undersøge den.
Ved en kodeforklaring skal du angive det input, der skal spores, og spørge, hvordan den vedlagte funktion når frem til returværdien. Ved en matematisk forklaring skal du definere symboler og antagelser og angive, om resultatet skal være eksakt, tilnærmet eller et bevis. Kodegenerering og skriftligt ræsonnement kompilerer ikke i sig selv et program eller udfører en beregning.
Producenten angiver også syntetisk datagenerering og destillation som anvendelser for familien. En tekstopgave kan bede om varierede eksempler i et bestemt format, hvor de angivne regler bevares. Om disse eksempler egner sig til yderligere træning, er en særskilt applikationsbeslutning; tekstoutputtet alene er ikke en uafhængig verifikation af deres korrekthed.
Samtaleformat og værktøjer
Kortet demonstrerer særskilte system- og brugerbeskeder med den tilhørende chatskabelon. Brug systeminstruktionen til rolle, tone og varige svarregler, mens brugerens anmodning indeholder det faktiske problem og kilderne. Bevar relevante tidligere beskeder, når du beder om en opfølgning, der bygger på et tidligere svar.
Llama 3.1 understøtter flere dokumenterede formater til værktøjsbrug. Applikationen stiller funktionerne og parametrene til rådighed, modellen forbereder et foreslået kald, og applikationen udfører det og føjer resultatet til samtalen. En efterfølgende generering kan bruge resultatet. Kortets korte eksempel viser udtrykkeligt, at assistentens kald tilføjes og derefter værktøjsresultatet; at vælge en funktion er noget andet end at fuldføre dens operation.
Ved et opslag skal du angive, hvilke oplysninger der kræves, og definere den funktion, der returnerer dem. Bevar den faktisk returnerede værdi sammen med det oprindelige kald, før du beder om den endelige forklaring. Ved en beregning skal du skelne mellem modellens foreslåede operation og resultatet, lommeregneren returnerer. Det indbyggede værktøjsformat og en wrappergrænseflades synlige repræsentation bør bevare deres egne dokumenterede konventioner.
Udgave og praktiske grænser
Det læste korts genereringsindstilling på 256 tokens er et brugseksempel frem for en særskilt angivet maksimal outputkapacitet. Konteksten på 128k vedrører materialet og den genererede samtale inden for den konfigurerede udgave. Erstat den ikke med Llama 4s kontekst eller visuelle evner eller størrelsen på et andet Llama 3.1-checkpoint.
Dette er en Instruct-model kun til tekst. Et billede, en optagelse eller en video kræver, at det relevante indhold forberedes gennem en anden komponent. Ekstern søgning, programkørsel og filændringer tilhører tilsvarende den applikation, der er forbundet med assistenten. Bevar den præcise 70B Instruct-udgave, og bed om den kildeforbundne forklaring, det reviderede dokument, den kode eller strukturerede tekst, opgaven kræver.
", "aboutText": "Llama 3.1 70B Instruct er Metas tekstmodel med 70 milliarder parametre, optimeret til flersproget dialog og assistentlignende anmodninger. Den er et instruktionsfinjusteret checkpoint i en familie, der også omfatter størrelserne 8B og 405B samt særskilte fortrænede modeller. Den modtager tekst og returnerer flersproget tekst eller kode; den navngivne 70B-udgave bevarer sin egen størrelse og identitet.\n\nModeloplysninger og træning\n\nUdgivelsen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterede modeller tilpasses gennem superviseret finjustering og forstærkningslæring med menneskelig feedback. Dette er træningsfaser til hjælpsom samtaleadfærd og ikke en navngiven driftsindstilling mellem særskilte tilstande med og uden ræsonnement.\n\nProducenten dokumenterer en kontekst på 128k for tekstmodellerne og understøtter officielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Træningen omfatter en bredere sprogsamling, hvilket ikke gør alle sprog lige understøttede. Angiv outputsprog, terminologi og læser, før du beder om et flersproget artefakt.\n\nFamiliens fortræningskorpus beskrives som cirka femten billioner tokens med skæringsdato i december 2023. Finjusteringen omfatter instruktionsdatasæt og mere end femogtyve millioner syntetiske eksempler. Skæringsdatoen er en grænse for træningsdata; et spørgsmål, der afhænger af nyere eller private oplysninger, kræver disse oplysninger vedlagt opgaven eller returneret af en tilsluttet kilde.\n\nAssistentlignende chat og kildeanalyse\n\nInstruct-udgaven er beregnet til at besvare en samtaleanmodning, mens den fortrænede version er et fundament, der kan tilpasses til andre genereringsopgaver. Ved et kildebaseret svar skal du vedlægge spørgsmålet og de passager, der bestemmer resultatet. Mærk kilderne, og bed om det understøttende afsnit eller udsagn ved siden af hvert fund.\n\nEn praktisk sammenligning kan vedlægge to procedurer og bede om fælles betingelser, forskelle og uafklarede konflikter. En resulterende vejledning kan bevare den oprindelige rækkefølge og de betingelser, hvorunder hver handling gælder. En dokumentredigeringsopgave kan angive målgruppen, de fakta, der skal bevares, og om slutresultatet skal være en revideret passage alene eller en passage med forklaring.\n\nVed et længere svar skal du navngive de krævede afsnit og formålet med hvert. En stor kontekst kan holde beslægtet materiale samlet, mens slutresultatet stadig er en kortfattet matrix eller forklaring. Kildeidentiteter og et veldefineret spørgsmål er vigtigere end blot at medtage alle tilgængelige dokumenter.\n\nKode og genererede eksempler\n\nDet dokumenterede output omfatter kode. Ved en foreslået implementering skal du angive sproget, inputtyperne, det forventede resultat og den grænseflade, der fortsat skal være kompatibel. Medtag det eksisterende fragment og relevante deklarationer, når opgaven er en rettelse. Bed om koden adskilt fra dens antagelser og eksempler, så næste udviklingstrin kan undersøge den.\n\nVed en kodeforklaring skal du angive det input, der skal spores, og spørge, hvordan den vedlagte funktion når frem til returværdien. Ved en matematisk forklaring skal du definere symboler og antagelser og angive, om resultatet skal være eksakt, tilnærmet eller et bevis. Kodegenerering og skriftligt ræsonnement kompilerer ikke i sig selv et program eller udfører en beregning.\n\nProducenten angiver også syntetisk datagenerering og destillation som anvendelser for familien. En tekstopgave kan bede om varierede eksempler i et bestemt format, hvor de angivne regler bevares. Om disse eksempler egner sig til yderligere træning, er en særskilt applikationsbeslutning; tekstoutputtet alene er ikke en uafhængig verifikation af deres korrekthed.\n\nSamtaleformat og værktøjer\n\nKortet demonstrerer særskilte system- og brugerbeskeder med den tilhørende chatskabelon. Brug systeminstruktionen til rolle, tone og varige svarregler, mens brugerens anmodning indeholder det faktiske problem og kilderne. Bevar relevante tidligere beskeder, når du beder om en opfølgning, der bygger på et tidligere svar.\n\nLlama 3.1 understøtter flere dokumenterede formater til værktøjsbrug. Applikationen stiller funktionerne og parametrene til rådighed, modellen forbereder et foreslået kald, og applikationen udfører det og føjer resultatet til samtalen. En efterfølgende generering kan bruge resultatet. Kortets korte eksempel viser udtrykkeligt, at assistentens kald tilføjes og derefter værktøjsresultatet; at vælge en funktion er noget andet end at fuldføre dens operation.\n\nVed et opslag skal du angive, hvilke oplysninger der kræves, og definere den funktion, der returnerer dem. Bevar den faktisk returnerede værdi sammen med det oprindelige kald, før du beder om den endelige forklaring. Ved en beregning skal du skelne mellem modellens foreslåede operation og resultatet, lommeregneren returnerer. Det indbyggede værktøjsformat og en wrappergrænseflades synlige repræsentation bør bevare deres egne dokumenterede konventioner.\n\nUdgave og praktiske grænser\n\nDet læste korts genereringsindstilling på 256 tokens er et brugseksempel frem for en særskilt angivet maksimal outputkapacitet. Konteksten på 128k vedrører materialet og den genererede samtale inden for den konfigurerede udgave. Erstat den ikke med Llama 4s kontekst eller visuelle evner eller størrelsen på et andet Llama 3.1-checkpoint.\n\nDette er en Instruct-model kun til tekst. Et billede, en optagelse eller en video kræver, at det relevante indhold forberedes gennem en anden komponent. Ekstern søgning, programkørsel og filændringer tilhører tilsvarende den applikation, der er forbundet med assistenten. Bevar den præcise 70B Instruct-udgave, og bed om den kildeforbundne forklaring, det reviderede dokument, den kode eller strukturerede tekst, opgaven kræver.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct er Metas tekstmodel til flersproget dialog, dokumentræsonnement og kode. Den instruktionsfinjusterede 70B-udgave bruger grouped-query attention, en producentangivet kontekst på 128k og dokumenterede samtaleformater til værktøjskald med tekst- og kodeoutput.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.1 70B Instruct er Metas tekstmodel med 70 milliarder parametre, optimeret til flersproget dialog og assistentlignende anmodninger. Den er et instruktionsfinjusteret checkpoint i en familie, der også omfatter størrelserne 8B og 405B samt særskilte fortrænede modeller. Den modtager tekst og returnerer flersproget tekst eller kode; den navngivne 70B-udgave bevarer sin egen størrelse og identitet.
Modeloplysninger og træning
Udgivelsen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterede modeller tilpasses gennem superviseret finjustering og forstærkningslæring med menneskelig feedback. Dette er træningsfaser til hjælpsom samtaleadfærd og ikke en navngiven driftsindstilling mellem særskilte tilstande med og uden ræsonnement.
Producenten dokumenterer en kontekst på 128k for tekstmodellerne og understøtter officielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Træningen omfatter en bredere sprogsamling, hvilket ikke gør alle sprog lige understøttede. Angiv outputsprog, terminologi og læser, før du beder om et flersproget artefakt.
Familiens fortræningskorpus beskrives som cirka femten billioner tokens med skæringsdato i december 2023. Finjusteringen omfatter instruktionsdatasæt og mere end femogtyve millioner syntetiske eksempler. Skæringsdatoen er en grænse for træningsdata; et spørgsmål, der afhænger af nyere eller private oplysninger, kræver disse oplysninger vedlagt opgaven eller returneret af en tilsluttet kilde.
Assistentlignende chat og kildeanalyse
Instruct-udgaven er beregnet til at besvare en samtaleanmodning, mens den fortrænede version er et fundament, der kan tilpasses til andre genereringsopgaver. Ved et kildebaseret svar skal du vedlægge spørgsmålet og de passager, der bestemmer resultatet. Mærk kilderne, og bed om det understøttende afsnit eller udsagn ved siden af hvert fund.
En praktisk sammenligning kan vedlægge to procedurer og bede om fælles betingelser, forskelle og uafklarede konflikter. En resulterende vejledning kan bevare den oprindelige rækkefølge og de betingelser, hvorunder hver handling gælder. En dokumentredigeringsopgave kan angive målgruppen, de fakta, der skal bevares, og om slutresultatet skal være en revideret passage alene eller en passage med forklaring.
Ved et længere svar skal du navngive de krævede afsnit og formålet med hvert. En stor kontekst kan holde beslægtet materiale samlet, mens slutresultatet stadig er en kortfattet matrix eller forklaring. Kildeidentiteter og et veldefineret spørgsmål er vigtigere end blot at medtage alle tilgængelige dokumenter.
Kode og genererede eksempler
Det dokumenterede output omfatter kode. Ved en foreslået implementering skal du angive sproget, inputtyperne, det forventede resultat og den grænseflade, der fortsat skal være kompatibel. Medtag det eksisterende fragment og relevante deklarationer, når opgaven er en rettelse. Bed om koden adskilt fra dens antagelser og eksempler, så næste udviklingstrin kan undersøge den.
Ved en kodeforklaring skal du angive det input, der skal spores, og spørge, hvordan den vedlagte funktion når frem til returværdien. Ved en matematisk forklaring skal du definere symboler og antagelser og angive, om resultatet skal være eksakt, tilnærmet eller et bevis. Kodegenerering og skriftligt ræsonnement kompilerer ikke i sig selv et program eller udfører en beregning.
Producenten angiver også syntetisk datagenerering og destillation som anvendelser for familien. En tekstopgave kan bede om varierede eksempler i et bestemt format, hvor de angivne regler bevares. Om disse eksempler egner sig til yderligere træning, er en særskilt applikationsbeslutning; tekstoutputtet alene er ikke en uafhængig verifikation af deres korrekthed.
Samtaleformat og værktøjer
Kortet demonstrerer særskilte system- og brugerbeskeder med den tilhørende chatskabelon. Brug systeminstruktionen til rolle, tone og varige svarregler, mens brugerens anmodning indeholder det faktiske problem og kilderne. Bevar relevante tidligere beskeder, når du beder om en opfølgning, der bygger på et tidligere svar.
Llama 3.1 understøtter flere dokumenterede formater til værktøjsbrug. Applikationen stiller funktionerne og parametrene til rådighed, modellen forbereder et foreslået kald, og applikationen udfører det og føjer resultatet til samtalen. En efterfølgende generering kan bruge resultatet. Kortets korte eksempel viser udtrykkeligt, at assistentens kald tilføjes og derefter værktøjsresultatet; at vælge en funktion er noget andet end at fuldføre dens operation.
Ved et opslag skal du angive, hvilke oplysninger der kræves, og definere den funktion, der returnerer dem. Bevar den faktisk returnerede værdi sammen med det oprindelige kald, før du beder om den endelige forklaring. Ved en beregning skal du skelne mellem modellens foreslåede operation og resultatet, lommeregneren returnerer. Det indbyggede værktøjsformat og en wrappergrænseflades synlige repræsentation bør bevare deres egne dokumenterede konventioner.
Udgave og praktiske grænser
Det læste korts genereringsindstilling på 256 tokens er et brugseksempel frem for en særskilt angivet maksimal outputkapacitet. Konteksten på 128k vedrører materialet og den genererede samtale inden for den konfigurerede udgave. Erstat den ikke med Llama 4s kontekst eller visuelle evner eller størrelsen på et andet Llama 3.1-checkpoint.
Dette er en Instruct-model kun til tekst. Et billede, en optagelse eller en video kræver, at det relevante indhold forberedes gennem en anden komponent. Ekstern søgning, programkørsel og filændringer tilhører tilsvarende den applikation, der er forbundet med assistenten. Bevar den præcise 70B Instruct-udgave, og bed om den kildeforbundne forklaring, det reviderede dokument, den kode eller strukturerede tekst, opgaven kræver.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-70b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00144 / 1K tokens Output · Outputtokens $0.00144 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00144 / 1K tokens Output · Outputtokens $0.00144 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Brug metodestierne vist ovenfor.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct er Metas tekstmodel til flersproget dialog, dokumentræsonnement og kode. Den instruktionsfinjusterede 70B-udgave bruger grouped-query attention, en producentangivet kontekst på 128k og dokumenterede samtaleformater til værktøjskald med tekst- og kodeoutput.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.1 70B Instruct er Metas tekstmodel med 70 milliarder parametre, optimeret til flersproget dialog og assistentlignende anmodninger. Den er et instruktionsfinjusteret checkpoint i en familie, der også omfatter størrelserne 8B og 405B samt særskilte fortrænede modeller. Den modtager tekst og returnerer flersproget tekst eller kode; den navngivne 70B-udgave bevarer sin egen størrelse og identitet.
Modeloplysninger og træning
Udgivelsen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterede modeller tilpasses gennem superviseret finjustering og forstærkningslæring med menneskelig feedback. Dette er træningsfaser til hjælpsom samtaleadfærd og ikke en navngiven driftsindstilling mellem særskilte tilstande med og uden ræsonnement.
Producenten dokumenterer en kontekst på 128k for tekstmodellerne og understøtter officielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Træningen omfatter en bredere sprogsamling, hvilket ikke gør alle sprog lige understøttede. Angiv outputsprog, terminologi og læser, før du beder om et flersproget artefakt.
Familiens fortræningskorpus beskrives som cirka femten billioner tokens med skæringsdato i december 2023. Finjusteringen omfatter instruktionsdatasæt og mere end femogtyve millioner syntetiske eksempler. Skæringsdatoen er en grænse for træningsdata; et spørgsmål, der afhænger af nyere eller private oplysninger, kræver disse oplysninger vedlagt opgaven eller returneret af en tilsluttet kilde.
Assistentlignende chat og kildeanalyse
Instruct-udgaven er beregnet til at besvare en samtaleanmodning, mens den fortrænede version er et fundament, der kan tilpasses til andre genereringsopgaver. Ved et kildebaseret svar skal du vedlægge spørgsmålet og de passager, der bestemmer resultatet. Mærk kilderne, og bed om det understøttende afsnit eller udsagn ved siden af hvert fund.
En praktisk sammenligning kan vedlægge to procedurer og bede om fælles betingelser, forskelle og uafklarede konflikter. En resulterende vejledning kan bevare den oprindelige rækkefølge og de betingelser, hvorunder hver handling gælder. En dokumentredigeringsopgave kan angive målgruppen, de fakta, der skal bevares, og om slutresultatet skal være en revideret passage alene eller en passage med forklaring.
Ved et længere svar skal du navngive de krævede afsnit og formålet med hvert. En stor kontekst kan holde beslægtet materiale samlet, mens slutresultatet stadig er en kortfattet matrix eller forklaring. Kildeidentiteter og et veldefineret spørgsmål er vigtigere end blot at medtage alle tilgængelige dokumenter.
Kode og genererede eksempler
Det dokumenterede output omfatter kode. Ved en foreslået implementering skal du angive sproget, inputtyperne, det forventede resultat og den grænseflade, der fortsat skal være kompatibel. Medtag det eksisterende fragment og relevante deklarationer, når opgaven er en rettelse. Bed om koden adskilt fra dens antagelser og eksempler, så næste udviklingstrin kan undersøge den.
Ved en kodeforklaring skal du angive det input, der skal spores, og spørge, hvordan den vedlagte funktion når frem til returværdien. Ved en matematisk forklaring skal du definere symboler og antagelser og angive, om resultatet skal være eksakt, tilnærmet eller et bevis. Kodegenerering og skriftligt ræsonnement kompilerer ikke i sig selv et program eller udfører en beregning.
Producenten angiver også syntetisk datagenerering og destillation som anvendelser for familien. En tekstopgave kan bede om varierede eksempler i et bestemt format, hvor de angivne regler bevares. Om disse eksempler egner sig til yderligere træning, er en særskilt applikationsbeslutning; tekstoutputtet alene er ikke en uafhængig verifikation af deres korrekthed.
Samtaleformat og værktøjer
Kortet demonstrerer særskilte system- og brugerbeskeder med den tilhørende chatskabelon. Brug systeminstruktionen til rolle, tone og varige svarregler, mens brugerens anmodning indeholder det faktiske problem og kilderne. Bevar relevante tidligere beskeder, når du beder om en opfølgning, der bygger på et tidligere svar.
Llama 3.1 understøtter flere dokumenterede formater til værktøjsbrug. Applikationen stiller funktionerne og parametrene til rådighed, modellen forbereder et foreslået kald, og applikationen udfører det og føjer resultatet til samtalen. En efterfølgende generering kan bruge resultatet. Kortets korte eksempel viser udtrykkeligt, at assistentens kald tilføjes og derefter værktøjsresultatet; at vælge en funktion er noget andet end at fuldføre dens operation.
Ved et opslag skal du angive, hvilke oplysninger der kræves, og definere den funktion, der returnerer dem. Bevar den faktisk returnerede værdi sammen med det oprindelige kald, før du beder om den endelige forklaring. Ved en beregning skal du skelne mellem modellens foreslåede operation og resultatet, lommeregneren returnerer. Det indbyggede værktøjsformat og en wrappergrænseflades synlige repræsentation bør bevare deres egne dokumenterede konventioner.
Udgave og praktiske grænser
Det læste korts genereringsindstilling på 256 tokens er et brugseksempel frem for en særskilt angivet maksimal outputkapacitet. Konteksten på 128k vedrører materialet og den genererede samtale inden for den konfigurerede udgave. Erstat den ikke med Llama 4s kontekst eller visuelle evner eller størrelsen på et andet Llama 3.1-checkpoint.
Dette er en Instruct-model kun til tekst. Et billede, en optagelse eller en video kræver, at det relevante indhold forberedes gennem en anden komponent. Ekstern søgning, programkørsel og filændringer tilhører tilsvarende den applikation, der er forbundet med assistenten. Bevar den præcise 70B Instruct-udgave, og bed om den kildeforbundne forklaring, det reviderede dokument, den kode eller strukturerede tekst, opgaven kræver.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-70b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00144 / 1K tokens Output · Outputtokens $0.00144 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00144 / 1K tokens Output · Outputtokens $0.00144 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.