Llama 3.1 70B Instruct er Metas tekstmodell med 70 milliarder parametere, optimalisert for flerspråklig dialog og assistentlignende forespørsler. Det er et instruksjonsjustert kontrollpunkt i en familie som også omfatter størrelsene 8B og 405B samt separate forhåndstrente modeller. Den tar imot tekst og returnerer flerspråklig tekst eller kode; den navngitte 70B-utgaven beholder sin egen størrelse og identitet.
Modellinformasjon og trening
Utgaven bruker en autoregressiv Transformer-arkitektur med grouped-query attention. De justerte modellene tilpasses gjennom veiledet finjustering og forsterkningslæring med menneskelig tilbakemelding. Dette er treningstrinn for nyttig samtaleatferd, ikke en navngitt bryter under kjøring mellom separate moduser med og uten resonnering.
Produsenten dokumenterer en kontekst på 128k for tekstmodellene og støtter offisielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Treningen omfatter et bredere språkutvalg, noe som ikke gjør alle språk like godt støttet. Angi svarspråk, terminologi og leser før du ber om et flerspråklig artefakt.
Familiens forhåndstreningskorpus beskrives som omtrent femten billioner tokener, med skjæringsdato i desember 2023. Finjusteringen omfatter instruksjonsdatasett og mer enn tjuefem millioner syntetiske eksempler. Skjæringsdatoen er en grense for treningsdataene; et spørsmål som avhenger av nyere eller privat informasjon, krever at informasjonen legges ved oppgaven eller returneres av en tilkoblet kilde.
Assistentlignende chat og kildeanalyse
Instruct-utgaven er beregnet på å svare på en forespørsel i en samtale, mens den forhåndstrente versjonen er et grunnlag som kan tilpasses andre genereringsoppgaver. For et kildebasert svar legger du ved spørsmålet og utdragene som bestemmer resultatet. Merk kildene og be om støttende avsnitt eller utsagn ved siden av hvert funn.
En praktisk sammenligning kan legge ved to prosedyrer og be om felles vilkår, forskjeller og uavklarte konflikter. En resulterende veiledning kan bevare den opprinnelige rekkefølgen og vilkårene som gjelder for hver handling. En dokumentredigeringsoppgave kan angi målgruppe, fakta som må beholdes, og om sluttartefaktet skal være bare et revidert utdrag eller et utdrag med en forklaring.
For et lengre svar angir du nødvendige deler og formålet med hver av dem. En stor kontekst kan holde beslektet materiale samlet, mens sluttresultatet fortsatt er en kortfattet matrise eller forklaring. Kildenes identitet og et tydelig definert spørsmål er viktigere enn bare å ta med alle tilgjengelige dokumenter.
Kode og genererte eksempler
De dokumenterte utdataene omfatter kode. For et implementeringsforslag oppgir du språk, inndatatyper, forventet resultat og grensesnittet som må være kompatibelt. Ta med det eksisterende fragmentet og relevante deklarasjoner når oppgaven gjelder en rettelse. Be om koden atskilt fra forutsetningene og eksemplene, slik at den kan undersøkes i neste utviklingstrinn.
For en kodeforklaring legger du ved inndataene som skal spores, og spør hvordan den vedlagte funksjonen kommer frem til returverdien. For en matematisk forklaring definerer du symboler og forutsetninger og angir om resultatet skal være eksakt, omtrentlig eller et bevis. Kodegenerering og skriftlig resonnering kompilerer ikke i seg selv et program eller utfører en beregning.
Produsenten nevner også generering av syntetiske data og destillasjon som bruksområder for familien. En tekstoppgave kan be om varierte eksempler i et angitt format, med de oppgitte reglene bevart. Om eksemplene egner seg til videre trening, er en separat avgjørelse for applikasjonen; tekstresultatet alene er ingen uavhengig bekreftelse på at de er korrekte.
Samtaleformat og verktøy
Kortet viser separate system- og brukermeldinger med den tilhørende chatmalen. Bruk systeminstruksjonen til rolle, tone og varige svarregler, mens brukerforespørselen inneholder selve problemet og kildene. Behold relevante tidligere meldinger når du ber om en oppfølging som bygger på et tidligere svar.
Llama 3.1 støtter flere dokumenterte formater for verktøybruk. Applikasjonen leverer funksjonene og parameterne, modellen forbereder et foreslått kall, applikasjonen utfører det og legger resultatet til i samtalen. En påfølgende generering kan bruke resultatet. Kortets korte eksempel viser uttrykkelig at assistentens kall legges til først, og deretter verktøyresultatet; å velge en funksjon er forskjellig fra å fullføre operasjonen.
For et oppslag angir du hvilken informasjon som kreves, og definerer funksjonen som returnerer den. Behold den faktisk returnerte verdien sammen med det opprinnelige kallet før du ber om den endelige forklaringen. For en beregning skiller du mellom modellens foreslåtte operasjon og resultatet som kalkulatoren returnerer. Verktøyets native formatering og den synlige representasjonen i et innpakningsgrensesnitt bør beholde sine egne dokumenterte konvensjoner.
Utgave og praktiske grenser
Genereringsinnstillingen på 256 tokener i det leste kortet er et brukseksempel, ikke en særskilt angitt maksimal utdatakapasitet. Konteksten på 128k gjelder materialet og den genererte samtalen innenfor den konfigurerte utgaven. Ikke erstatt dette med konteksten eller de visuelle funksjonene til Llama 4 eller størrelsen til et annet Llama 3.1-kontrollpunkt.
Dette er en Instruct-modell som bare bruker tekst. Et bilde, opptak eller en video trenger at det relevante innholdet forberedes gjennom en annen komponent. Ekstern informasjonsgjenfinning, programkjøring og filendringer tilhører på samme måte applikasjonen som er koblet til assistenten. Behold den nøyaktige 70B Instruct-utgaven og be om den kildeknyttede forklaringen, det reviderte dokumentet, koden eller den strukturerte teksten oppgaven trenger.
", "aboutText": "Llama 3.1 70B Instruct er Metas tekstmodell med 70 milliarder parametere, optimalisert for flerspråklig dialog og assistentlignende forespørsler. Det er et instruksjonsjustert kontrollpunkt i en familie som også omfatter størrelsene 8B og 405B samt separate forhåndstrente modeller. Den tar imot tekst og returnerer flerspråklig tekst eller kode; den navngitte 70B-utgaven beholder sin egen størrelse og identitet.\n\nModellinformasjon og trening\n\nUtgaven bruker en autoregressiv Transformer-arkitektur med grouped-query attention. De justerte modellene tilpasses gjennom veiledet finjustering og forsterkningslæring med menneskelig tilbakemelding. Dette er treningstrinn for nyttig samtaleatferd, ikke en navngitt bryter under kjøring mellom separate moduser med og uten resonnering.\n\nProdusenten dokumenterer en kontekst på 128k for tekstmodellene og støtter offisielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Treningen omfatter et bredere språkutvalg, noe som ikke gjør alle språk like godt støttet. Angi svarspråk, terminologi og leser før du ber om et flerspråklig artefakt.\n\nFamiliens forhåndstreningskorpus beskrives som omtrent femten billioner tokener, med skjæringsdato i desember 2023. Finjusteringen omfatter instruksjonsdatasett og mer enn tjuefem millioner syntetiske eksempler. Skjæringsdatoen er en grense for treningsdataene; et spørsmål som avhenger av nyere eller privat informasjon, krever at informasjonen legges ved oppgaven eller returneres av en tilkoblet kilde.\n\nAssistentlignende chat og kildeanalyse\n\nInstruct-utgaven er beregnet på å svare på en forespørsel i en samtale, mens den forhåndstrente versjonen er et grunnlag som kan tilpasses andre genereringsoppgaver. For et kildebasert svar legger du ved spørsmålet og utdragene som bestemmer resultatet. Merk kildene og be om støttende avsnitt eller utsagn ved siden av hvert funn.\n\nEn praktisk sammenligning kan legge ved to prosedyrer og be om felles vilkår, forskjeller og uavklarte konflikter. En resulterende veiledning kan bevare den opprinnelige rekkefølgen og vilkårene som gjelder for hver handling. En dokumentredigeringsoppgave kan angi målgruppe, fakta som må beholdes, og om sluttartefaktet skal være bare et revidert utdrag eller et utdrag med en forklaring.\n\nFor et lengre svar angir du nødvendige deler og formålet med hver av dem. En stor kontekst kan holde beslektet materiale samlet, mens sluttresultatet fortsatt er en kortfattet matrise eller forklaring. Kildenes identitet og et tydelig definert spørsmål er viktigere enn bare å ta med alle tilgjengelige dokumenter.\n\nKode og genererte eksempler\n\nDe dokumenterte utdataene omfatter kode. For et implementeringsforslag oppgir du språk, inndatatyper, forventet resultat og grensesnittet som må være kompatibelt. Ta med det eksisterende fragmentet og relevante deklarasjoner når oppgaven gjelder en rettelse. Be om koden atskilt fra forutsetningene og eksemplene, slik at den kan undersøkes i neste utviklingstrinn.\n\nFor en kodeforklaring legger du ved inndataene som skal spores, og spør hvordan den vedlagte funksjonen kommer frem til returverdien. For en matematisk forklaring definerer du symboler og forutsetninger og angir om resultatet skal være eksakt, omtrentlig eller et bevis. Kodegenerering og skriftlig resonnering kompilerer ikke i seg selv et program eller utfører en beregning.\n\nProdusenten nevner også generering av syntetiske data og destillasjon som bruksområder for familien. En tekstoppgave kan be om varierte eksempler i et angitt format, med de oppgitte reglene bevart. Om eksemplene egner seg til videre trening, er en separat avgjørelse for applikasjonen; tekstresultatet alene er ingen uavhengig bekreftelse på at de er korrekte.\n\nSamtaleformat og verktøy\n\nKortet viser separate system- og brukermeldinger med den tilhørende chatmalen. Bruk systeminstruksjonen til rolle, tone og varige svarregler, mens brukerforespørselen inneholder selve problemet og kildene. Behold relevante tidligere meldinger når du ber om en oppfølging som bygger på et tidligere svar.\n\nLlama 3.1 støtter flere dokumenterte formater for verktøybruk. Applikasjonen leverer funksjonene og parameterne, modellen forbereder et foreslått kall, applikasjonen utfører det og legger resultatet til i samtalen. En påfølgende generering kan bruke resultatet. Kortets korte eksempel viser uttrykkelig at assistentens kall legges til først, og deretter verktøyresultatet; å velge en funksjon er forskjellig fra å fullføre operasjonen.\n\nFor et oppslag angir du hvilken informasjon som kreves, og definerer funksjonen som returnerer den. Behold den faktisk returnerte verdien sammen med det opprinnelige kallet før du ber om den endelige forklaringen. For en beregning skiller du mellom modellens foreslåtte operasjon og resultatet som kalkulatoren returnerer. Verktøyets native formatering og den synlige representasjonen i et innpakningsgrensesnitt bør beholde sine egne dokumenterte konvensjoner.\n\nUtgave og praktiske grenser\n\nGenereringsinnstillingen på 256 tokener i det leste kortet er et brukseksempel, ikke en særskilt angitt maksimal utdatakapasitet. Konteksten på 128k gjelder materialet og den genererte samtalen innenfor den konfigurerte utgaven. Ikke erstatt dette med konteksten eller de visuelle funksjonene til Llama 4 eller størrelsen til et annet Llama 3.1-kontrollpunkt.\n\nDette er en Instruct-modell som bare bruker tekst. Et bilde, opptak eller en video trenger at det relevante innholdet forberedes gjennom en annen komponent. Ekstern informasjonsgjenfinning, programkjøring og filendringer tilhører på samme måte applikasjonen som er koblet til assistenten. Behold den nøyaktige 70B Instruct-utgaven og be om den kildeknyttede forklaringen, det reviderte dokumentet, koden eller den strukturerte teksten oppgaven trenger.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct er Metas tekstmodell for flerspråklig dialog, resonnering over dokumenter og kode. Den instruksjonsjusterte 70B-utgaven bruker grouped-query attention, en produsentangitt kontekst på 128k og dokumenterte samtaleformater for verktøykall, med tekst og kode som utdata.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Llama 3.1 70B Instruct er Metas tekstmodell med 70 milliarder parametere, optimalisert for flerspråklig dialog og assistentlignende forespørsler. Det er et instruksjonsjustert kontrollpunkt i en familie som også omfatter størrelsene 8B og 405B samt separate forhåndstrente modeller. Den tar imot tekst og returnerer flerspråklig tekst eller kode; den navngitte 70B-utgaven beholder sin egen størrelse og identitet.
Modellinformasjon og trening
Utgaven bruker en autoregressiv Transformer-arkitektur med grouped-query attention. De justerte modellene tilpasses gjennom veiledet finjustering og forsterkningslæring med menneskelig tilbakemelding. Dette er treningstrinn for nyttig samtaleatferd, ikke en navngitt bryter under kjøring mellom separate moduser med og uten resonnering.
Produsenten dokumenterer en kontekst på 128k for tekstmodellene og støtter offisielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Treningen omfatter et bredere språkutvalg, noe som ikke gjør alle språk like godt støttet. Angi svarspråk, terminologi og leser før du ber om et flerspråklig artefakt.
Familiens forhåndstreningskorpus beskrives som omtrent femten billioner tokener, med skjæringsdato i desember 2023. Finjusteringen omfatter instruksjonsdatasett og mer enn tjuefem millioner syntetiske eksempler. Skjæringsdatoen er en grense for treningsdataene; et spørsmål som avhenger av nyere eller privat informasjon, krever at informasjonen legges ved oppgaven eller returneres av en tilkoblet kilde.
Assistentlignende chat og kildeanalyse
Instruct-utgaven er beregnet på å svare på en forespørsel i en samtale, mens den forhåndstrente versjonen er et grunnlag som kan tilpasses andre genereringsoppgaver. For et kildebasert svar legger du ved spørsmålet og utdragene som bestemmer resultatet. Merk kildene og be om støttende avsnitt eller utsagn ved siden av hvert funn.
En praktisk sammenligning kan legge ved to prosedyrer og be om felles vilkår, forskjeller og uavklarte konflikter. En resulterende veiledning kan bevare den opprinnelige rekkefølgen og vilkårene som gjelder for hver handling. En dokumentredigeringsoppgave kan angi målgruppe, fakta som må beholdes, og om sluttartefaktet skal være bare et revidert utdrag eller et utdrag med en forklaring.
For et lengre svar angir du nødvendige deler og formålet med hver av dem. En stor kontekst kan holde beslektet materiale samlet, mens sluttresultatet fortsatt er en kortfattet matrise eller forklaring. Kildenes identitet og et tydelig definert spørsmål er viktigere enn bare å ta med alle tilgjengelige dokumenter.
Kode og genererte eksempler
De dokumenterte utdataene omfatter kode. For et implementeringsforslag oppgir du språk, inndatatyper, forventet resultat og grensesnittet som må være kompatibelt. Ta med det eksisterende fragmentet og relevante deklarasjoner når oppgaven gjelder en rettelse. Be om koden atskilt fra forutsetningene og eksemplene, slik at den kan undersøkes i neste utviklingstrinn.
For en kodeforklaring legger du ved inndataene som skal spores, og spør hvordan den vedlagte funksjonen kommer frem til returverdien. For en matematisk forklaring definerer du symboler og forutsetninger og angir om resultatet skal være eksakt, omtrentlig eller et bevis. Kodegenerering og skriftlig resonnering kompilerer ikke i seg selv et program eller utfører en beregning.
Produsenten nevner også generering av syntetiske data og destillasjon som bruksområder for familien. En tekstoppgave kan be om varierte eksempler i et angitt format, med de oppgitte reglene bevart. Om eksemplene egner seg til videre trening, er en separat avgjørelse for applikasjonen; tekstresultatet alene er ingen uavhengig bekreftelse på at de er korrekte.
Samtaleformat og verktøy
Kortet viser separate system- og brukermeldinger med den tilhørende chatmalen. Bruk systeminstruksjonen til rolle, tone og varige svarregler, mens brukerforespørselen inneholder selve problemet og kildene. Behold relevante tidligere meldinger når du ber om en oppfølging som bygger på et tidligere svar.
Llama 3.1 støtter flere dokumenterte formater for verktøybruk. Applikasjonen leverer funksjonene og parameterne, modellen forbereder et foreslått kall, applikasjonen utfører det og legger resultatet til i samtalen. En påfølgende generering kan bruke resultatet. Kortets korte eksempel viser uttrykkelig at assistentens kall legges til først, og deretter verktøyresultatet; å velge en funksjon er forskjellig fra å fullføre operasjonen.
For et oppslag angir du hvilken informasjon som kreves, og definerer funksjonen som returnerer den. Behold den faktisk returnerte verdien sammen med det opprinnelige kallet før du ber om den endelige forklaringen. For en beregning skiller du mellom modellens foreslåtte operasjon og resultatet som kalkulatoren returnerer. Verktøyets native formatering og den synlige representasjonen i et innpakningsgrensesnitt bør beholde sine egne dokumenterte konvensjoner.
Utgave og praktiske grenser
Genereringsinnstillingen på 256 tokener i det leste kortet er et brukseksempel, ikke en særskilt angitt maksimal utdatakapasitet. Konteksten på 128k gjelder materialet og den genererte samtalen innenfor den konfigurerte utgaven. Ikke erstatt dette med konteksten eller de visuelle funksjonene til Llama 4 eller størrelsen til et annet Llama 3.1-kontrollpunkt.
Dette er en Instruct-modell som bare bruker tekst. Et bilde, opptak eller en video trenger at det relevante innholdet forberedes gjennom en annen komponent. Ekstern informasjonsgjenfinning, programkjøring og filendringer tilhører på samme måte applikasjonen som er koblet til assistenten. Behold den nøyaktige 70B Instruct-utgaven og be om den kildeknyttede forklaringen, det reviderte dokumentet, koden eller den strukturerte teksten oppgaven trenger.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser meta-llama/llama-3.1-70b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser Eksempler: system, user, assistant, tool, function Vilkår: Disse rollene representeres eksplisitt av kompatibilitetstyper i kildekoden; det eksakte rollesettet for modellen er fortsatt modellspesifikt. Avhenger av modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfritt | Verdier & grenser Gjelder når: role=tool; bruk faktisk returnert ID | Standard— |
Feltmessages[].name | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfritt | Verdier & grenser Gjelder når: Send den faktisk returnerte resonneringen tilbake der denne modellen bruker den | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttemperature | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttop_p | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools[].type | Typestring | KravValgfritt | Verdier & grenser function Avhenger av modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrevd | Verdier & grenser Gjelder når: funksjonsverktøy oppgitt | Standard— |
Felttools[].function.description | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfritt | Verdier & grenser | Standard— |
Felttool_choice | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltservice_tier | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltinstructions | Typestring | KravValgfritt | Verdier & grenser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfritt | Verdier & grenser text | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises på denne Ultra-tekstruten | Standard— |
Feltcache_control.ttl | Typestring | KravValgfritt | Verdier & grenser Vilkår: 1h avvises på faktiske steder for mellomlagring av ledetekster | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages |
Parametermaterial_types | Avtaletext |
Parametermessages | Avtalemeldingstabell med role/content-struktur |
Parameterfile_material | Avtalefaktisk UTF-8-dokument satt inn som bokstavelig tekst; ingen fil-ID utledes |
Parameteroptional_controls | Avtalestream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalemodellspesifikt; brukerens funksjonsverktøy skiller seg fra driftede verktøy |
Parameteroutput_modalities | Avtaletext |
Parameterhosted_operations | Avtalefalse |
Parametermultimodal_input_binding | Avtalenull |
Livssyklus: synchronous_or_streamed
Send eksakt modell-ID sammen med messages.
Kontekstlengde er ikke en outputgrense.
En tekstfil kan levere bokstavelig tekst; bilde-, lyd- og filobjektinput trenger eksakt binding.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00144 / 1K tokener Utdata · Utgående tokener $0.00144 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00144 / 1K tokener Utdata · Utgående tokener $0.00144 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold hvert svaralternativ med innhold, verktøykall og resonnering. Sett sammen endringer i SSE etter svaralternativets/verktøyets indeks, og behold endelig avslutningsgrunn og bruksdata.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Bruk metodestiene som vises ovenfor.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct er Metas tekstmodell for flerspråklig dialog, resonnering over dokumenter og kode. Den instruksjonsjusterte 70B-utgaven bruker grouped-query attention, en produsentangitt kontekst på 128k og dokumenterte samtaleformater for verktøykall, med tekst og kode som utdata.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Llama 3.1 70B Instruct er Metas tekstmodell med 70 milliarder parametere, optimalisert for flerspråklig dialog og assistentlignende forespørsler. Det er et instruksjonsjustert kontrollpunkt i en familie som også omfatter størrelsene 8B og 405B samt separate forhåndstrente modeller. Den tar imot tekst og returnerer flerspråklig tekst eller kode; den navngitte 70B-utgaven beholder sin egen størrelse og identitet.
Modellinformasjon og trening
Utgaven bruker en autoregressiv Transformer-arkitektur med grouped-query attention. De justerte modellene tilpasses gjennom veiledet finjustering og forsterkningslæring med menneskelig tilbakemelding. Dette er treningstrinn for nyttig samtaleatferd, ikke en navngitt bryter under kjøring mellom separate moduser med og uten resonnering.
Produsenten dokumenterer en kontekst på 128k for tekstmodellene og støtter offisielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Treningen omfatter et bredere språkutvalg, noe som ikke gjør alle språk like godt støttet. Angi svarspråk, terminologi og leser før du ber om et flerspråklig artefakt.
Familiens forhåndstreningskorpus beskrives som omtrent femten billioner tokener, med skjæringsdato i desember 2023. Finjusteringen omfatter instruksjonsdatasett og mer enn tjuefem millioner syntetiske eksempler. Skjæringsdatoen er en grense for treningsdataene; et spørsmål som avhenger av nyere eller privat informasjon, krever at informasjonen legges ved oppgaven eller returneres av en tilkoblet kilde.
Assistentlignende chat og kildeanalyse
Instruct-utgaven er beregnet på å svare på en forespørsel i en samtale, mens den forhåndstrente versjonen er et grunnlag som kan tilpasses andre genereringsoppgaver. For et kildebasert svar legger du ved spørsmålet og utdragene som bestemmer resultatet. Merk kildene og be om støttende avsnitt eller utsagn ved siden av hvert funn.
En praktisk sammenligning kan legge ved to prosedyrer og be om felles vilkår, forskjeller og uavklarte konflikter. En resulterende veiledning kan bevare den opprinnelige rekkefølgen og vilkårene som gjelder for hver handling. En dokumentredigeringsoppgave kan angi målgruppe, fakta som må beholdes, og om sluttartefaktet skal være bare et revidert utdrag eller et utdrag med en forklaring.
For et lengre svar angir du nødvendige deler og formålet med hver av dem. En stor kontekst kan holde beslektet materiale samlet, mens sluttresultatet fortsatt er en kortfattet matrise eller forklaring. Kildenes identitet og et tydelig definert spørsmål er viktigere enn bare å ta med alle tilgjengelige dokumenter.
Kode og genererte eksempler
De dokumenterte utdataene omfatter kode. For et implementeringsforslag oppgir du språk, inndatatyper, forventet resultat og grensesnittet som må være kompatibelt. Ta med det eksisterende fragmentet og relevante deklarasjoner når oppgaven gjelder en rettelse. Be om koden atskilt fra forutsetningene og eksemplene, slik at den kan undersøkes i neste utviklingstrinn.
For en kodeforklaring legger du ved inndataene som skal spores, og spør hvordan den vedlagte funksjonen kommer frem til returverdien. For en matematisk forklaring definerer du symboler og forutsetninger og angir om resultatet skal være eksakt, omtrentlig eller et bevis. Kodegenerering og skriftlig resonnering kompilerer ikke i seg selv et program eller utfører en beregning.
Produsenten nevner også generering av syntetiske data og destillasjon som bruksområder for familien. En tekstoppgave kan be om varierte eksempler i et angitt format, med de oppgitte reglene bevart. Om eksemplene egner seg til videre trening, er en separat avgjørelse for applikasjonen; tekstresultatet alene er ingen uavhengig bekreftelse på at de er korrekte.
Samtaleformat og verktøy
Kortet viser separate system- og brukermeldinger med den tilhørende chatmalen. Bruk systeminstruksjonen til rolle, tone og varige svarregler, mens brukerforespørselen inneholder selve problemet og kildene. Behold relevante tidligere meldinger når du ber om en oppfølging som bygger på et tidligere svar.
Llama 3.1 støtter flere dokumenterte formater for verktøybruk. Applikasjonen leverer funksjonene og parameterne, modellen forbereder et foreslått kall, applikasjonen utfører det og legger resultatet til i samtalen. En påfølgende generering kan bruke resultatet. Kortets korte eksempel viser uttrykkelig at assistentens kall legges til først, og deretter verktøyresultatet; å velge en funksjon er forskjellig fra å fullføre operasjonen.
For et oppslag angir du hvilken informasjon som kreves, og definerer funksjonen som returnerer den. Behold den faktisk returnerte verdien sammen med det opprinnelige kallet før du ber om den endelige forklaringen. For en beregning skiller du mellom modellens foreslåtte operasjon og resultatet som kalkulatoren returnerer. Verktøyets native formatering og den synlige representasjonen i et innpakningsgrensesnitt bør beholde sine egne dokumenterte konvensjoner.
Utgave og praktiske grenser
Genereringsinnstillingen på 256 tokener i det leste kortet er et brukseksempel, ikke en særskilt angitt maksimal utdatakapasitet. Konteksten på 128k gjelder materialet og den genererte samtalen innenfor den konfigurerte utgaven. Ikke erstatt dette med konteksten eller de visuelle funksjonene til Llama 4 eller størrelsen til et annet Llama 3.1-kontrollpunkt.
Dette er en Instruct-modell som bare bruker tekst. Et bilde, opptak eller en video trenger at det relevante innholdet forberedes gjennom en annen komponent. Ekstern informasjonsgjenfinning, programkjøring og filendringer tilhører på samme måte applikasjonen som er koblet til assistenten. Behold den nøyaktige 70B Instruct-utgaven og be om den kildeknyttede forklaringen, det reviderte dokumentet, koden eller den strukturerte teksten oppgaven trenger.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser meta-llama/llama-3.1-70b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrevd | Verdier & grenser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrevd | Verdier & grenser | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content-streng
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages, max_tokens |
Parameteroptional_controls | Avtalestream |
Parametermaterial_types | Avtaletext |
Parametertext_file_material | AvtaleLes det faktiske UTF-8-dokumentet og legg teksten i den angitte input- eller meldingsinnholdsstrengen. |
Livssyklus: synchronous_or_streamed
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00144 / 1K tokener Utdata · Utgående tokener $0.00144 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00144 / 1K tokener Utdata · Utgående tokener $0.00144 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold alle innholdsblokker, resonneringssignaturer og faktiske ID-er for verktøybruk. Sett sammen alle SSE-blokkendringer; den første tekstblokken er ikke hele resultatet.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Bruk metodestiene som vises ovenfor.
Teknisk eksempel på engelsk
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.