Source: https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/ Canonical: https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/ Language: da # Meta: Llama 3.1 70B Instruct [Markdown](https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/index.md) · [JSON](https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/facts.json) ## [Meta: Llama 3.1 70B Instruct](https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/) Llama 3.1 70B Instruct er Metas tekstmodel til flersproget dialog, dokumentræsonnement og kode. Den instruktionsfinjusterede 70B-udgave bruger grouped-query attention, en producentangivet kontekst på 128k og dokumenterede samtaleformater til værktøjskald med tekst- og kodeoutput. - [**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/#method-0) - [**Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/meta-llama-llama-3-1-70b-instruct/#method-1) Om modellen Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode. Llama 3.1 70B Instruct er Metas tekstmodel med 70 milliarder parametre, optimeret til flersproget dialog og assistentlignende anmodninger. Den er et instruktionsfinjusteret checkpoint i en familie, der også omfatter størrelserne 8B og 405B samt særskilte fortrænede modeller. Den modtager tekst og returnerer flersproget tekst eller kode; den navngivne 70B-udgave bevarer sin egen størrelse og identitet. Modeloplysninger og træning Udgivelsen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. De finjusterede modeller tilpasses gennem superviseret finjustering og forstærkningslæring med menneskelig feedback. Dette er træningsfaser til hjælpsom samtaleadfærd og ikke en navngiven driftsindstilling mellem særskilte tilstande med og uden ræsonnement. Producenten dokumenterer en kontekst på 128k for tekstmodellerne og understøtter officielt engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Træningen omfatter en bredere sprogsamling, hvilket ikke gør alle sprog lige understøttede. Angiv outputsprog, terminologi og læser, før du beder om et flersproget artefakt. Familiens fortræningskorpus beskrives som cirka femten billioner tokens med skæringsdato i december 2023. Finjusteringen omfatter instruktionsdatasæt og mere end femogtyve millioner syntetiske eksempler. Skæringsdatoen er en grænse for træningsdata; et spørgsmål, der afhænger af nyere eller private oplysninger, kræver disse oplysninger vedlagt opgaven eller returneret af en tilsluttet kilde. Assistentlignende chat og kildeanalyse Instruct-udgaven er beregnet til at besvare en samtaleanmodning, mens den fortrænede version er et fundament, der kan tilpasses til andre genereringsopgaver. Ved et kildebaseret svar skal du vedlægge spørgsmålet og de passager, der bestemmer resultatet. Mærk kilderne, og bed om det understøttende afsnit eller udsagn ved siden af hvert fund. En praktisk sammenligning kan vedlægge to procedurer og bede om fælles betingelser, forskelle og uafklarede konflikter. En resulterende vejledning kan bevare den oprindelige rækkefølge og de betingelser, hvorunder hver handling gælder. En dokumentredigeringsopgave kan angive målgruppen, de fakta, der skal bevares, og om slutresultatet skal være en revideret passage alene eller en passage med forklaring. Ved et længere svar skal du navngive de krævede afsnit og formålet med hvert. En stor kontekst kan holde beslægtet materiale samlet, mens slutresultatet stadig er en kortfattet matrix eller forklaring. Kildeidentiteter og et veldefineret spørgsmål er vigtigere end blot at medtage alle tilgængelige dokumenter. Kode og genererede eksempler Det dokumenterede output omfatter kode. Ved en foreslået implementering skal du angive sproget, inputtyperne, det forventede resultat og den grænseflade, der fortsat skal være kompatibel. Medtag det eksisterende fragment og relevante deklarationer, når opgaven er en rettelse. Bed om koden adskilt fra dens antagelser og eksempler, så næste udviklingstrin kan undersøge den. Ved en kodeforklaring skal du angive det input, der skal spores, og spørge, hvordan den vedlagte funktion når frem til returværdien. Ved en matematisk forklaring skal du definere symboler og antagelser og angive, om resultatet skal være eksakt, tilnærmet eller et bevis. Kodegenerering og skriftligt ræsonnement kompilerer ikke i sig selv et program eller udfører en beregning. Producenten angiver også syntetisk datagenerering og destillation som anvendelser for familien. En tekstopgave kan bede om varierede eksempler i et bestemt format, hvor de angivne regler bevares. Om disse eksempler egner sig til yderligere træning, er en særskilt applikationsbeslutning; tekstoutputtet alene er ikke en uafhængig verifikation af deres korrekthed. Samtaleformat og værktøjer Kortet demonstrerer særskilte system- og brugerbeskeder med den tilhørende chatskabelon. Brug systeminstruktionen til rolle, tone og varige svarregler, mens brugerens anmodning indeholder det faktiske problem og kilderne. Bevar relevante tidligere beskeder, når du beder om en opfølgning, der bygger på et tidligere svar. Llama 3.1 understøtter flere dokumenterede formater til værktøjsbrug. Applikationen stiller funktionerne og parametrene til rådighed, modellen forbereder et foreslået kald, og applikationen udfører det og føjer resultatet til samtalen. En efterfølgende generering kan bruge resultatet. Kortets korte eksempel viser udtrykkeligt, at assistentens kald tilføjes og derefter værktøjsresultatet; at vælge en funktion er noget andet end at fuldføre dens operation. Ved et opslag skal du angive, hvilke oplysninger der kræves, og definere den funktion, der returnerer dem. Bevar den faktisk returnerede værdi sammen med det oprindelige kald, før du beder om den endelige forklaring. Ved en beregning skal du skelne mellem modellens foreslåede operation og resultatet, lommeregneren returnerer. Det indbyggede værktøjsformat og en wrappergrænseflades synlige repræsentation bør bevare deres egne dokumenterede konventioner. Udgave og praktiske grænser Det læste korts genereringsindstilling på 256 tokens er et brugseksempel frem for en særskilt angivet maksimal outputkapacitet. Konteksten på 128k vedrører materialet og den genererede samtale inden for den konfigurerede udgave. Erstat den ikke med Llama 4s kontekst eller visuelle evner eller størrelsen på et andet Llama 3.1-checkpoint. Dette er en Instruct-model kun til tekst. Et billede, en optagelse eller en video kræver, at det relevante indhold forberedes gennem en anden komponent. Ekstern søgning, programkørsel og filændringer tilhører tilsvarende den applikation, der er forbundet med assistenten. Bevar den præcise 70B Instruct-udgave, og bed om den kildeforbundne forklaring, det reviderede dokument, den kode eller strukturerede tekst, opgaven kræver. Praktisk opgave ### Praktisk opgave Teknisk eksempel på engelsk ``` Produce a bilingual maintenance notice Write a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access. ``` #### Forventet resultat ``` Two labelled language blocks with equivalent three-sentence notices. ``` #### Kontrollér resultatet ``` Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access. ``` **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct` [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) Meta /`meta-llama/llama-3.1-70b-instruct` ### Start Llama 3.1 70B Instruct er Metas tekstmodel til flersproget dialog, dokumentræsonnement og kode. Den instruktionsfinjusterede 70B-udgave bruger grouped-query attention, en producentangivet kontekst på 128k og dokumenterede samtaleformater til værktøjskald med tekst- og kodeoutput. Accepterede input Tekst Resultater Tekst ### Tilgængelig i Ailoot · input og metoder **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` Inputtyper `text` Outputtyper `text` Outputformat json eller SSE | Felt | Type | Krav | Værdier og grænser | Standard | | --- | --- | --- | --- | --- | | Felt`model` | Type`string` | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-70b-instruct | Standard— | | Felt`messages` | Type`message[]` | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— | | Felt`messages[].role` | Type`string` | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— | | Felt`messages[].content` | Type`string\|content_part[]\|null` | KravValgfrit | Værdier og grænser | Standard— | | Felt`messages[].tool_calls` | Type`tool_call[]` | KravValgfrit | Værdier og grænser | Standard— | | Felt`messages[].tool_call_id` | Type`string` | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— | | Felt`messages[].name` | Type`string` | KravValgfrit | Værdier og grænser | Standard— | | Felt`messages[].reasoning_content` | Type`string` | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— | | Felt`messages[].reasoning_details` | Type`object\|array` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`max_tokens` | Type`integer` | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— | | Felt`max_completion_tokens` | Type`integer` | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— | | Felt`stream` | Type`boolean` | KravValgfrit | Værdier og grænser | Standardfalse | | Felt`stream_options.include_usage` | Type`boolean` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`temperature` | Type`number` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`top_p` | Type`number` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`stop` | Type`string\|string[]` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`tools` | Type`function_tool[]` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`tools[].type` | Type`string` | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— | | Felt`tools[].function.name` | Type`string` | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— | | Felt`tools[].function.description` | Type`string` | KravValgfrit | Værdier og grænser | Standard— | | Felt`tools[].function.parameters` | Type`JSON_schema` | KravValgfrit | Værdier og grænser | Standard— | | Felt`tool_choice` | Type`string\|object` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`parallel_tool_calls` | Type`boolean` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`response_format` | Type`object` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`reasoning_effort` | Type`string` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`reasoning` | Type`object` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`service_tier` | Type`string` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`instructions` | Type`string` | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— | | Felt`functions` | Type`function[]` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`function_call` | Type`string\|object` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`prompt_cache_options` | Type`object` | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— | | Felt`modalities` | Type`string[]` | KravValgfrit | Værdier og grænser text | Standard— | | Felt`provider` | Type`object` | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— | | Felt`cache_control.ttl` | Type`string` | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— | Kombinationer af inputmaterialer **Tekst** · UTF8-tekst `messages[].content` Metodeparametre og livscyklus | Parameter | Kontrakt | | --- | --- | | Parameter`content_type` | Kontraktapplication/json | | Parameter`required` | Kontraktmodel, messages | | Parameter`material_types` | Kontrakttext | | Parameter`messages` | Kontraktbeskedarray med strukturen role/content | | Parameter`file_material` | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes | | Parameter`optional_controls` | Kontraktstream, temperature, top\_p, stop, max\_tokens, max\_completion\_tokens, reasoning, response\_format, tools, tool\_choice | | Parameter`control_scope` | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer | | Parameter`output_modalities` | Kontrakttext | | Parameter`hosted_operations` | Kontraktfalse | | Parameter`multimodal_input_binding` | Kontraktnull | Livscyklus: `synchronous_or_streamed` Send det præcise model-ID med messages. Kontekstlængde er ikke et outputloft. En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding. ### Priser Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode. Hurtig tilstand Standardpris Når hurtig tilstand er valgt flex-tilstand Standardpris Når flex-tilstanden er valgt Maksimal ræsonneringsindsats Standardpris Når default-justeringen anvendes ved maksimal ræsonneringsindsats #### Ailoot-takster #### Priser efter konfiguration Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer. | Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb | | --- | --- | --- | --- | --- | | KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens **$0.00144** / 1K tokens Output · Outputtokens **$0.00144** / 1K tokens Input · Cachelæsning **—** / 1K tokens Input · Cacheskrivning **—** / 1K tokens Input · Cacheskrivning, 1 time **—** / 1K tokens | | KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens **$0.00144** / 1K tokens Output · Outputtokens **$0.00144** / 1K tokens Input · Cachelæsning **—** / 1K tokens Input · Cacheskrivning **—** / 1K tokens Input · Cacheskrivning, 1 time **—** / 1K tokens | Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. [Sådan fungerer reservation og afregning →](https://ailoot.ai/docs/da/billing/reserve/) ### Eksempelanmodninger #### Ailoot Ultra · OpenAI Chat curlPython SDKPython-stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}') Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path r=json.loads(Path("result.json").read_text()) for x in r.get("choices",[]): if x.get("message",{}).get("content"): print(x["message"]["content"]) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) result=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(result.to_dict(mode="json")) ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Hent og gem resultater #### Ailoot Ultra · OpenAI Chat json eller SSE ##### Behold alle færdige resultater Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel. Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne. ##### Hvis det oprindelige svar skal kontrolleres Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob. Svarfelter | Felt | Type | | --- | --- | | Felt`choices[].index` | Typeinteger | | Felt`choices[].message.content` | Typestring\|null | | Felt`choices[].message.tool_calls` | Typetool\_call\[\] | | Felt`choices[].message.reasoning_content` | Typestring | | Felt`choices[].message.reasoning_details` | Typeobject\|array | | Felt`choices[].finish_reason` | Typestring\|null | | Felt`usage` | Typeobject | Fejl og næste trin | Svar | Betingelse | Næste trin | | --- | --- | --- | | Svar400 · `invalid_request_error` | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. | ### Aliaser #### Modelaliaser **Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) #### Aliaser for metodestier Brug metodestierne vist ovenfor. #### Relaterede kalder-ID’er [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct` [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) Meta /`meta-llama/llama-3.1-70b-instruct` ### Start Llama 3.1 70B Instruct er Metas tekstmodel til flersproget dialog, dokumentræsonnement og kode. Den instruktionsfinjusterede 70B-udgave bruger grouped-query attention, en producentangivet kontekst på 128k og dokumenterede samtaleformater til værktøjskald med tekst- og kodeoutput. Accepterede input Tekst Resultater json · sse ### Tilgængelig i Ailoot · input og metoder **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` Inputtyper `text` Outputtyper `json`, `sse` Outputformat JSON eller SSE | Felt | Type | Krav | Værdier og grænser | Standard | | --- | --- | --- | --- | --- | | Felt`model` | Type`string` | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-70b-instruct | Standard— | | Felt`messages` | Type`message[]` | KravPåkrævet | Værdier og grænser | Standard— | | Felt`messages[].role` | Type`string` | KravPåkrævet | Værdier og grænser user, assistant | Standard— | | Felt`messages[].content` | Type`string` | KravPåkrævet | Værdier og grænser | Standard— | | Felt`max_tokens` | Type`integer` | KravPåkrævet | Værdier og grænser | Standard— | | Felt`stream` | Type`boolean` | KravValgfrit | Værdier og grænser | Standardfalse | Kombinationer af inputmaterialer **Tekst** · UTF-8-tekst `messages[].content som streng` Metodeparametre og livscyklus | Parameter | Kontrakt | | --- | --- | | Parameter`content_type` | Kontraktapplication/json | | Parameter`required` | Kontraktmodel, messages, max\_tokens | | Parameter`optional_controls` | Kontraktstream | | Parameter`material_types` | Kontrakttext | | Parameter`text_file_material` | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. | Livscyklus: `synchronous_or_streamed` ### Priser Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode. Hurtig tilstand Standardpris Når hurtig tilstand er valgt flex-tilstand Standardpris Når flex-tilstanden er valgt Maksimal ræsonneringsindsats Standardpris Når default-justeringen anvendes ved maksimal ræsonneringsindsats #### Ailoot-takster #### Priser efter konfiguration Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer. | Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb | | --- | --- | --- | --- | --- | | KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens **$0.00144** / 1K tokens Output · Outputtokens **$0.00144** / 1K tokens Input · Cachelæsning **—** / 1K tokens Input · Cacheskrivning **—** / 1K tokens Input · Cacheskrivning, 1 time **—** / 1K tokens | | KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens **$0.00144** / 1K tokens Output · Outputtokens **$0.00144** / 1K tokens Input · Cachelæsning **—** / 1K tokens Input · Cacheskrivning **—** / 1K tokens Input · Cacheskrivning, 1 time **—** / 1K tokens | Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. [Sådan fungerer reservation og afregning →](https://ailoot.ai/docs/da/billing/reserve/) ### Eksempelanmodninger #### Ailoot Ultra · Anthropic Messages Komplet minimalt requestbody i JSONcurl · brug dit UTF-8-dokumentPython · gem hele resultatet ```json { "model": "meta-llama/llama-3.1-70b-instruct", "max_tokens": 128, "messages": [ { "role": "user", "content": "Summarize the incident report." } ], "stream": false } ``` ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text Path('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8') PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \ -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) PY_RESULT ``` ```python import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text from urllib.request import Request, urlopen from urllib.error import HTTPError api_key = os.environ['AILOOT_API_KEY'] if not api_key.strip(): raise SystemExit('Set AILOOT_API_KEY before making a request') headers = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'} headers['x-api-key'] = api_key request = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST') try: with urlopen(request, timeout=120) as response: raw = response.read() Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8') except HTTPError as error: Path('result.json').write_bytes(error.read()) Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8') raise Path('result.json').write_bytes(raw) import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) ``` ### Hent og gem resultater #### Ailoot Ultra · Anthropic Messages JSON eller SSE ##### Behold alle færdige resultater Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel. Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet. ##### Hvis det oprindelige svar skal kontrolleres Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob. Svarfelter | Felt | Type | | --- | --- | | Felt`id` | Typestring | | Felt`model` | Typestring | | Felt`content[]` | Typetext\|thinking\|tool\_use\|other content block | | Felt`stop_reason` | Typestring\|null | | Felt`usage` | Typeobject | Fejl og næste trin | Svar | Betingelse | Næste trin | | --- | --- | --- | | Svar400 · `invalid_request_error` | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. | ### Aliaser #### Modelaliaser **Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) #### Aliaser for metodestier Brug metodestierne vist ovenfor. #### Relaterede kalder-ID’er [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/da/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) FAQ · Meta: Llama 3.1 70B Instruct Hvilke input og resultater er tilgængelige? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `text` → `text` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `text` → `json`, `sse` Hvilke felter bruger anmodningen? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `stream`, `modalities`, `provider` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `max_tokens`, `stream` Hvilke grænser gælder? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `messages.min_items`: `1` Tilslut Ailoot til Claude Code, OpenCode, Hermes eller din egen applikation. ## Virksomheden og dens projektportefølje Virksomheden og dens projektportefølje: millioner af kunder; månedligt salg for milliarder. ## Køb tokens med rabat. Abonnementsrabat til regelmæssigt arbejde. Rabatkoder giver op til 50% på tokenkøb. Abonnement Vælg et abonnement med rabat til dine regelmæssige anmodninger. Rabatkode på op til 50% Indtast koden ved købet. Prisen genberegnes efter den aktuelle kampagne. Udgifter i historikken Model, tokens og beløb gemmes for hver anmodning. [Vælg abonnement](https://ailoot.ai/docs/da/billing/subscriptions/) · [Se modelpriser](https://ailoot.ai/models/da/) ## Tilslut API’et til produktet, du sælger. SaaS, apps og bots efter Ailoots tilbudsvilkår og licensaftale. Anmod om en forhandlerlicens til videresalg. Kommerciel applikation Byg generering af tekst, billeder, video og lyd ind i tjenestens betalte funktioner. Licens til forhandlere Send projektbeskrivelse og adgangsmodel. Bed om skriftlige vilkår for anvendelse og videresalg. Dokumenter på websitet Tilbudsvilkår, licensaftale og politik for behandling af data kan læses før tilslutning. [Anmod om forhandlerlicens](mailto:support@ailoot.ai) · [Tilbudsvilkår og licensaftale](https://ailoot.ai/legal/offer?lang=da) ## Ailoot · Virksomheden og dens projektportefølje Ailoot bygger på solid driftserfaring, en stor kundebase, stabil service og løbende kontrol af KPI. Virksomheden og dens projektportefølje: millioner af kunder; månedligt salg for milliarder. Ailoot bruger denne driftserfaring til API-adgang til AI-funktioner i kundernes produkter, agenter, applikationer og automatiseringer.