Source: https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/
Canonical: https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/
Language: sk

# Meta: Llama 3.1 70B Instruct

[Markdown](https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/index.md) · [JSON](https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/facts.json)

## [Meta: Llama 3.1 70B Instruct](https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/)

Llama 3.1 70B Instruct je textový model spoločnosti Meta na viacjazyčný dialóg, uvažovanie nad dokumentmi a kód. Jeho vydanie 70B doladené na pokyny využíva pozornosť so zoskupenými dopytmi, výrobcom uvedený kontext 128k a zdokumentované konverzačné formáty volania nástrojov, s výstupom v podobe textu a kódu.

- [**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/#method-0)
- [**Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/meta-llama-llama-3-1-70b-instruct/#method-1)

O modeli

Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.

Llama 3.1 70B Instruct je textový model spoločnosti Meta so 70 miliardami parametrov optimalizovaný na viacjazyčný dialóg a požiadavky podobné úlohám asistenta. Ide o checkpoint doladený na pokyny v rodine, ktorá zahŕňa aj veľkosti 8B a 405B a samostatné predtrénované modely. Prijíma text a vracia viacjazyčný text alebo kód; pomenovaná edícia 70B si zachováva vlastnú veľkosť a identitu.

Informácie o modeli a tréning

Vydanie používa autoregresívnu architektúru Transformer s pozornosťou so zoskupenými dopytmi. Doladené modely sa zosúlaďujú pomocou doladenia s učiteľom a posilňovaného učenia s ľudskou spätnou väzbou. Sú to tréningové fázy na dosiahnutie užitočného konverzačného správania, nie pomenovaný prepínač za behu medzi samostatnými režimami s uvažovaním a bez uvažovania.

Výrobca dokumentuje pre textové modely kontext 128k a oficiálne podporuje angličtinu, nemčinu, francúzštinu, taliančinu, portugalčinu, hindčinu, španielčinu a thajčinu. Tréning zahŕňa širšiu zbierku jazykov, čo neznamená rovnakú podporu každého jazyka. Pred požiadavkou na viacjazyčný artefakt určte jazyk výstupu, terminológiu a čitateľa.

Korpus predtrénovania rodiny je opísaný ako približne pätnásť biliónov tokenov, s časovou hranicou v decembri 2023. Doladenie zahŕňa datasety s pokynmi a viac než dvadsaťpäť miliónov syntetických príkladov. Táto hranica sa týka tréningových dát; otázka závislá od novších alebo súkromných informácií potrebuje tieto informácie dodané v úlohe alebo vrátené pripojeným zdrojom.

Chat podobný rozhovoru s asistentom a analýza zdrojov

Edícia Instruct je určená na odpovedanie na konverzačnú požiadavku, zatiaľ čo predtrénovaná verzia je základom, ktorý možno prispôsobiť iným generatívnym úlohám. Pri odpovedi založenej na zdrojoch dodajte otázku a pasáže, ktoré určujú výsledok. Označte zdroje a pri každom zistení žiadajte podpornú časť alebo tvrdenie.

Praktické porovnanie môže dodať dva postupy a žiadať spoločné podmienky, rozdiely a nevyriešené rozpory. Výsledná príručka môže zachovať pôvodné poradie a podmienky, za ktorých sa každá činnosť uplatňuje. Úloha úpravy dokumentu môže určiť publikum, fakty, ktoré musia zostať zachované, aj to, či má konečný artefakt obsahovať iba upravenú pasáž alebo pasáž s vysvetlením.

Pri dlhšej odpovedi pomenujte požadované časti a účel každej z nich. Veľký kontext môže udržať súvisiaci materiál pohromade, zatiaľ čo konečný výsledok zostane stručnou maticou alebo vysvetlením. Identita zdrojov a dobre definovaná otázka sú dôležitejšie než samotné zahrnutie každého dostupného dokumentu.

Kód a generované príklady

Zdokumentovaný výstup zahŕňa kód. Pri návrhu implementácie dodajte jazyk, vstupné typy, očakávaný výsledok a rozhranie, ktoré musí zostať kompatibilné. Ak je úlohou oprava, zahrňte existujúci úsek a relevantné deklarácie. Kód žiadajte oddelene od jeho predpokladov a príkladov, aby ho ďalší vývojový krok mohol skontrolovať.

Pri vysvetlení kódu poskytnite vstup na sledovanie a pýtajte sa, ako dodaná funkcia dospeje k vrátenej hodnote. Pri matematickom vysvetlení definujte symboly a predpoklady a uveďte, či má byť výsledok presný, približný alebo dôkazom. Generovanie kódu a písomné uvažovanie samy osebe nekompilujú program ani nevykonávajú výpočet.

Výrobca tiež uvádza generovanie syntetických dát a destiláciu medzi použitiami rodiny. Textová úloha môže žiadať rozmanité príklady v určenom formáte pri zachovaní dodaných pravidiel. Vhodnosť týchto príkladov na ďalší tréning je samostatným rozhodnutím aplikácie; samotný textový výstup nie je nezávislým overením ich správnosti.

Formát rozhovoru a nástroje

Karta ukazuje samostatné systémové a používateľské správy so zodpovedajúcou šablónou chatu. Systémový pokyn použite na rolu, tón a trvalé pravidlá odpovedania, zatiaľ čo používateľská požiadavka obsahuje skutočný problém a zdroje. Zachovajte relevantné skoršie správy pri nadväzujúcej požiadavke, ktorá vychádza z predchádzajúcej odpovede.

Llama 3.1 podporuje viacero zdokumentovaných formátov používania nástrojov. Aplikácia dodá funkcie a parametre, model pripraví navrhované volanie, aplikácia ho vykoná a pridá jeho výsledok do rozhovoru. Následné generovanie môže tento výsledok použiť. Stručný príklad v karte výslovne ukazuje pridanie volania asistenta a následne výsledku nástroja; výber funkcie sa odlišuje od dokončenia jej operácie.

Pri vyhľadaní uveďte, aká informácia je potrebná, a definujte funkciu, ktorá ju vracia. Pred požiadavkou na konečné vysvetlenie uchovajte skutočnú vrátenú hodnotu spolu s pôvodným volaním. Pri výpočte odlíšte operáciu navrhnutú modelom od výsledku vráteného kalkulačkou. Natívne formátovanie nástrojov a viditeľná reprezentácia v obalovom rozhraní majú zachovať svoje vlastné zdokumentované konvencie.

Edícia a praktické limity

Nastavenie generovania 256 tokenov v prečítanej karte je príkladom použitia, nie samostatne uvedenou maximálnou výstupnou kapacitou. Kontext 128k sa týka materiálu a generovaného rozhovoru v nakonfigurovanom vydaní. Nenahrádzajte ho kontextom či vizuálnymi schopnosťami Llama 4 ani veľkosťou iného checkpointu Llama 3.1.

Ide o výlučne textový model Instruct. Relevantný obsah obrázka, nahrávky alebo videa musí pripraviť iný komponent. Externé vyhľadávanie, spúšťanie programov a zmeny súborov rovnako patria aplikácii pripojenej k asistentovi. Zachovajte presnú edíciu 70B Instruct a žiadajte vysvetlenie prepojené so zdrojmi, upravený dokument, kód alebo štruktúrovaný text, ktorý úloha potrebuje.

Praktická úloha

### Praktická úloha

Technický príklad v angličtine

```
Produce a bilingual maintenance notice

Write a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.
```

#### Očakávaný výsledok

```
Two labelled language blocks with equivalent three-sentence notices.
```

#### Overenie výsledku

```
Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.
```

**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct`

[`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat)

Meta /`meta-llama/llama-3.1-70b-instruct`

### Úvod

Llama 3.1 70B Instruct je textový model spoločnosti Meta na viacjazyčný dialóg, uvažovanie nad dokumentmi a kód. Jeho vydanie 70B doladené na pokyny využíva pozornosť so zoskupenými dopytmi, výrobcom uvedený kontext 128k a zdokumentované konverzačné formáty volania nástrojov, s výstupom v podobe textu a kódu.

Povolené vstupy

Text

Výsledky

Text

### Dostupné v Ailoot · vstupy a metódy

**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions`

Vstup

`text`

Výstup

`text`

Výstupný formát

json alebo SSE

| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
| --- | --- | --- | --- | --- |
| Pole`model` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity meta-llama/llama-3.1-70b-instruct | Predvolené— |
| Pole`messages` | Typ`message[]` | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 | Predvolené— |
| Pole`messages[].role` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity Príklady: system, user, assistant, tool, function Podmienky: Tieto roly sú výslovne zastúpené typmi kompatibility v zdrojovom kóde; presný súbor rolí zostáva závislý od modelu. Závisí od modelu | Predvolené— |
| Pole`messages[].content` | Typ`string\|content_part[]\|null` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
| Pole`messages[].tool_calls` | Typ`tool_call[]` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
| Pole`messages[].tool_call_id` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: role=tool; použite skutočne vrátené ID | Predvolené— |
| Pole`messages[].name` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
| Pole`messages[].reasoning_content` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Platí, keď: Posielajte späť skutočne vrátené uvažovanie, ak ho tento model používa | Predvolené— |
| Pole`messages[].reasoning_details` | Typ`object\|array` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`max_tokens` | Typ`integer` | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
| Pole`max_completion_tokens` | Typ`integer` | PožiadavkaVoliteľné | Hodnoty a limity Minimum: 1 Závisí od modelu | Predvolené— |
| Pole`stream` | Typ`boolean` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |
| Pole`stream_options.include_usage` | Typ`boolean` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`temperature` | Typ`number` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`top_p` | Typ`number` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`stop` | Typ`string\|string[]` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`tools` | Typ`function_tool[]` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`tools[].type` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity function Závisí od modelu | Predvolené— |
| Pole`tools[].function.name` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity Platí, keď: poskytnutý nástroj typu funkcia | Predvolené— |
| Pole`tools[].function.description` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
| Pole`tools[].function.parameters` | Typ`JSON_schema` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolené— |
| Pole`tool_choice` | Typ`string\|object` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`parallel_tool_calls` | Typ`boolean` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`response_format` | Typ`object` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`reasoning_effort` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`reasoning` | Typ`object` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`service_tier` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`instructions` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Pole kompatibility | Predvolené— |
| Pole`functions` | Typ`function[]` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`function_call` | Typ`string\|object` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`prompt_cache_options` | Typ`object` | PožiadavkaVoliteľné | Hodnoty a limity Závisí od modelu | Predvolené— |
| Pole`modalities` | Typ`string[]` | PožiadavkaVoliteľné | Hodnoty a limity text | Predvolené— |
| Pole`provider` | Typ`object` | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa na tejto textovej trase Ultra odmieta | Predvolené— |
| Pole`cache_control.ttl` | Typ`string` | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Hodnota 1h sa v skutočne používaných poliach cache promptov odmieta | Predvolené— |

Kombinácie vstupných podkladov

**Text** · Text UTF8

`messages[].content`

Parametre a životný cyklus metódy

| Parameter | Špecifikácia |
| --- | --- |
| Parameter`content_type` | Špecifikáciaapplication/json |
| Parameter`required` | Špecifikáciamodel, messages |
| Parameter`material_types` | Špecifikáciatext |
| Parameter`messages` | Špecifikáciapole správ so štruktúrou role/content |
| Parameter`file_material` | Špecifikáciaskutočný dokument UTF-8 vložený ako doslovný text; ID súboru sa neodvodzuje |
| Parameter`optional_controls` | Špecifikáciastream, temperature, top\_p, stop, max\_tokens, max\_completion\_tokens, reasoning, response\_format, tools, tool\_choice |
| Parameter`control_scope` | Špecifikáciazávisí od modelu; používateľské nástroje typu funkcia sa líšia od nástrojov prevádzkovaných službou |
| Parameter`output_modalities` | Špecifikáciatext |
| Parameter`hosted_operations` | Špecifikáciafalse |
| Parameter`multimodal_input_binding` | Špecifikácianull |

Životný cyklus: `synchronous_or_streamed`

Pošlite presné ID modelu spolu s messages.

Dĺžka kontextu nie je horná hranica výstupu.

Textový súbor môže poskytnúť doslovný text; obrazové a zvukové vstupy a vstupy so súborovými objektmi potrebujú presné naviazanie.

### Cenník

Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.

Rýchly režim

Štandardná sadzba Keď je zvolený rýchly režim

Režim Flex

Štandardná sadzba Keď je zvolený režim flex

Maximálna úroveň uvažovania

Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)

#### Sadzby Ailoot

#### Ceny podľa konfigurácie

Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.

| Konfigurácia | Sadzobník | Počet tokenov kontextu väčší než | Tokeny kontextu, najviac (vrátane hranice) | Poplatok |
| --- | --- | --- | --- | --- |
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Počet tokenov kontextu väčší než— | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny **$0.00144** / 1K tokenov Výstup · Výstupné tokeny **$0.00144** / 1K tokenov Vstup · Čítanie cache **—** / 1K tokenov Vstup · Zápis do cache **—** / 1K tokenov Vstup · Zápis do cache, 1 hod **—** / 1K tokenov |
| KonfiguráciaPásmo dĺžky požiadavky 1 | Sadzobník— | Počet tokenov kontextu väčší než0 | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny **$0.00144** / 1K tokenov Výstup · Výstupné tokeny **$0.00144** / 1K tokenov Vstup · Čítanie cache **—** / 1K tokenov Vstup · Zápis do cache **—** / 1K tokenov Vstup · Zápis do cache, 1 hod **—** / 1K tokenov |

Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. [Ako funguje rezervácia a vyúčtovanie →](https://ailoot.ai/docs/sk/billing/reserve/)

### Príklady požiadaviek

#### Ailoot Ultra · OpenAI Chat

curlPython SDKStreamovanie v jazyku Python

```bash
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("choices",[]):
    if x.get("message",{}).get("content"): print(x["message"]["content"])
PY_RESULT
```

```python
from openai import OpenAI
import os

if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])
import base64, json
from pathlib import Path

def save_result(data, stem="result"):
    # Keep every field, including usage, IDs, reasoning and tool requests.
    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
    print(json.dumps(data, ensure_ascii=False, indent=2))
    def save_blob(encoded, suffix, label):
        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
        ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
        file = Path(stem + "-" + label + "." + ext)
        file.write_bytes(raw)
        print("Saved", file)
    for index, block in enumerate(data.get("content") or []):
        print("Content", index, json.dumps(block, ensure_ascii=False))
    for choice in data.get("choices") or []:
        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
    for index, item in enumerate(data.get("output") or []):
        print("Output", index, json.dumps(item, ensure_ascii=False))
        if item.get("type") == "image_generation_call" and item.get("result"):
            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
    for ci, candidate in enumerate(data.get("candidates") or []):
        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
            blob = part.get("inlineData") or part.get("inline_data")
            if blob and blob.get("data"):
                mime = blob.get("mimeType") or blob.get("mime_type")
                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))

save_result(result.to_dict(mode="json"))
```

```python
from openai import OpenAI
import os
from pathlib import Path

if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
import base64, json
from pathlib import Path

def save_result(data, stem="result"):
    # Keep every field, including usage, IDs, reasoning and tool requests.
    Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
    print(json.dumps(data, ensure_ascii=False, indent=2))
    def save_blob(encoded, suffix, label):
        raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
        ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
        file = Path(stem + "-" + label + "." + ext)
        file.write_bytes(raw)
        print("Saved", file)
    for index, block in enumerate(data.get("content") or []):
        print("Content", index, json.dumps(block, ensure_ascii=False))
    for choice in data.get("choices") or []:
        print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
    for index, item in enumerate(data.get("output") or []):
        print("Output", index, json.dumps(item, ensure_ascii=False))
        if item.get("type") == "image_generation_call" and item.get("result"):
            save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
    for ci, candidate in enumerate(data.get("candidates") or []):
        for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
            print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
            blob = part.get("inlineData") or part.get("inline_data")
            if blob and blob.get("data"):
                mime = blob.get("mimeType") or blob.get("mime_type")
                suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
                save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))

with client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:
    with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:
        for event in stream:
            payload=event.to_dict(mode="json")
            log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush()
            print(json.dumps(payload,ensure_ascii=False))
    final=stream.get_final_completion()
    save_result(final.to_dict(mode="json"),"stream-result")
```

### Prijať a uložiť výsledky

#### Ailoot Ultra · OpenAI Chat

json alebo SSE

##### Uchovať všetky dokončené výsledky

Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.

Zachovajte každý variant odpovede a jeho obsah, volania nástrojov a uvažovanie. V SSE zostavujte čiastkové zmeny podľa indexu variantu/nástroja a zachovajte konečný dôvod ukončenia aj údaje o spotrebe.

##### Ak treba overiť pôvodnú odpoveď

Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.

Polia odpovede

| Pole | Typ |
| --- | --- |
| Pole`choices[].index` | Typinteger |
| Pole`choices[].message.content` | Typstring\|null |
| Pole`choices[].message.tool_calls` | Typtool\_call\[\] |
| Pole`choices[].message.reasoning_content` | Typstring |
| Pole`choices[].message.reasoning_details` | Typobject\|array |
| Pole`choices[].finish_reason` | Typstring\|null |
| Pole`usage` | Typobject |

Chyby a ďalšie kroky

| Odpoveď | Podmienka | Ďalší krok |
| --- | --- | --- |
| Odpoveď400 · `invalid_request_error` | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |

### Aliasy

#### Aliasy modelov

**Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat)

#### Aliasy ciest metód

Použite cesty metód uvedené vyššie.

#### Súvisiace ID na volanie

[`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat)

**Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct`

[`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages)

Meta /`meta-llama/llama-3.1-70b-instruct`

### Úvod

Llama 3.1 70B Instruct je textový model spoločnosti Meta na viacjazyčný dialóg, uvažovanie nad dokumentmi a kód. Jeho vydanie 70B doladené na pokyny využíva pozornosť so zoskupenými dopytmi, výrobcom uvedený kontext 128k a zdokumentované konverzačné formáty volania nástrojov, s výstupom v podobe textu a kódu.

Povolené vstupy

Text

Výsledky

json · sse

### Dostupné v Ailoot · vstupy a metódy

**Ailoot Ultra · Anthropic Messages** `POST /v1/messages`

Vstup

`text`

Výstup

`json`, `sse`

Výstupný formát

JSON alebo SSE

| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
| --- | --- | --- | --- | --- |
| Pole`model` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity meta-llama/llama-3.1-70b-instruct | Predvolené— |
| Pole`messages` | Typ`message[]` | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
| Pole`messages[].role` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity user, assistant | Predvolené— |
| Pole`messages[].content` | Typ`string` | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
| Pole`max_tokens` | Typ`integer` | PožiadavkaPovinné | Hodnoty a limity | Predvolené— |
| Pole`stream` | Typ`boolean` | PožiadavkaVoliteľné | Hodnoty a limity | Predvolenéfalse |

Kombinácie vstupných podkladov

**Text** · Text UTF-8

`reťazec messages[].content`

Parametre a životný cyklus metódy

| Parameter | Špecifikácia |
| --- | --- |
| Parameter`content_type` | Špecifikáciaapplication/json |
| Parameter`required` | Špecifikáciamodel, messages, max\_tokens |
| Parameter`optional_controls` | Špecifikáciastream |
| Parameter`material_types` | Špecifikáciatext |
| Parameter`text_file_material` | ŠpecifikáciaPrečítajte skutočný dokument UTF-8 a vložte jeho text do uvedeného vstupného reťazca alebo reťazca obsahu správy. |

Životný cyklus: `synchronous_or_streamed`

### Cenník

Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.

Rýchly režim

Štandardná sadzba Keď je zvolený rýchly režim

Režim Flex

Štandardná sadzba Keď je zvolený režim flex

Maximálna úroveň uvažovania

Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)

#### Sadzby Ailoot

#### Ceny podľa konfigurácie

Každý poplatok priraďte k zobrazeným podmienkam. Pre každú skupinu alternatívnych konfigurácií použite jednu sadzbu.

| Konfigurácia | Sadzobník | Počet tokenov kontextu väčší než | Tokeny kontextu, najviac (vrátane hranice) | Poplatok |
| --- | --- | --- | --- | --- |
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Počet tokenov kontextu väčší než— | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny **$0.00144** / 1K tokenov Výstup · Výstupné tokeny **$0.00144** / 1K tokenov Vstup · Čítanie cache **—** / 1K tokenov Vstup · Zápis do cache **—** / 1K tokenov Vstup · Zápis do cache, 1 hod **—** / 1K tokenov |
| KonfiguráciaPásmo dĺžky požiadavky 1 | Sadzobník— | Počet tokenov kontextu väčší než0 | Tokeny kontextu, najviac (vrátane hranice)Bez hornej hranice | Poplatok Vstup · Vstupné tokeny **$0.00144** / 1K tokenov Výstup · Výstupné tokeny **$0.00144** / 1K tokenov Vstup · Čítanie cache **—** / 1K tokenov Vstup · Zápis do cache **—** / 1K tokenov Vstup · Zápis do cache, 1 hod **—** / 1K tokenov |

Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. [Ako funguje rezervácia a vyúčtovanie →](https://ailoot.ai/docs/sk/billing/reserve/)

### Príklady požiadaviek

#### Ailoot Ultra · Anthropic Messages

Úplné minimálne telo požiadavky vo formáte JSONcurl · použite svoj dokument UTF-8Python · uložte úplný výsledok

```json
{
  "model": "meta-llama/llama-3.1-70b-instruct",
  "max_tokens": 128,
  "messages": [
    {
      "role": "user",
      "content": "Summarize the incident report."
    }
  ],
  "stream": false
}
```

```bash
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"
export AILOOT_TEXT_FILE
python3 - <<'PY_REQUEST'
import json, os
from pathlib import Path

source_file = Path(os.environ['AILOOT_TEXT_FILE'])
if not source_file.is_file():
    raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')
text = source_file.read_text(encoding='utf-8')
if not text.strip():
    raise SystemExit('Choose a document containing text')
payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}
payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text
Path('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \
  -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path

result = json.loads(Path('result.json').read_text(encoding='utf-8'))
print(json.dumps(result, ensure_ascii=False, indent=2))
PY_RESULT
```

```python
import json, os
from pathlib import Path

source_file = Path(os.environ['AILOOT_TEXT_FILE'])
if not source_file.is_file():
    raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')
text = source_file.read_text(encoding='utf-8')
if not text.strip():
    raise SystemExit('Choose a document containing text')
payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}
payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text
from urllib.request import Request, urlopen
from urllib.error import HTTPError

api_key = os.environ['AILOOT_API_KEY']
if not api_key.strip():
    raise SystemExit('Set AILOOT_API_KEY before making a request')
headers = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}
headers['x-api-key'] = api_key
request = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')
try:
    with urlopen(request, timeout=120) as response:
        raw = response.read()
        Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')
except HTTPError as error:
    Path('result.json').write_bytes(error.read())
    Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')
    raise
Path('result.json').write_bytes(raw)
import json
from pathlib import Path

result = json.loads(Path('result.json').read_text(encoding='utf-8'))
print(json.dumps(result, ensure_ascii=False, indent=2))
```

### Prijať a uložiť výsledky

#### Ailoot Ultra · Anthropic Messages

JSON alebo SSE

##### Uchovať všetky dokončené výsledky

Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.

Zachovajte všetky bloky obsahu, podpisy uvažovania a skutočné ID volaní nástrojov. Zostavte všetky čiastkové zmeny blokov SSE; prvý textový blok nie je celý výstup.

##### Ak treba overiť pôvodnú odpoveď

Zachovajte ID požiadaviek/odpovedí aj hlavičky. Všeobecná URL na načítanie textovej úlohy nie je poskytnutá.

Polia odpovede

| Pole | Typ |
| --- | --- |
| Pole`id` | Typstring |
| Pole`model` | Typstring |
| Pole`content[]` | Typtext\|thinking\|tool\_use\|other content block |
| Pole`stop_reason` | Typstring\|null |
| Pole`usage` | Typobject |

Chyby a ďalšie kroky

| Odpoveď | Podmienka | Ďalší krok |
| --- | --- | --- |
| Odpoveď400 · `invalid_request_error` | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |

### Aliasy

#### Aliasy modelov

**Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages)

#### Aliasy ciest metód

Použite cesty metód uvedené vyššie.

#### Súvisiace ID na volanie

[`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/sk/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages)

FAQ · Meta: Llama 3.1 70B Instruct

Aké vstupy a výsledky sú dostupné?

`POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `text` → `text` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `text` → `json`, `sse`

Aké polia používa požiadavka?

`POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `stream`, `modalities`, `provider` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `max_tokens`, `stream`

Aké limity platia?

`POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `messages.min_items`: `1`

Pripojte Ailoot k Claude Code, OpenCode, Hermes alebo vlastnej aplikácii.

## Spoločnosť a jej portfólio projektov

Spoločnosť a jej portfólio projektov: milióny zákazníkov; mesačné tržby v miliardách.

## Nakupujte tokeny so zľavou.

Zľava predplatného na pravidelnú prácu. Promo kódy až 50% na nákup tokenov.

Predplatné

Na pravidelné požiadavky vyberte tarifu so zľavou.

Promo kód až 50%

Pri nákupe zadajte kód. Cena sa prepočíta podľa prebiehajúcej akcie.

Výdavky v histórii

Pri každej požiadavke sa uloží model, tokeny a suma.

[Vybrať predplatné](https://ailoot.ai/docs/sk/billing/subscriptions/) · [Zobraziť ceny modelov](https://ailoot.ai/models/sk/)

## Pripojte API k produktu, ktorý predávate.

SaaS, aplikácie a boti podľa ponuky a licenčnej zmluvy Ailoot. Na ďalší predaj požiadajte o licenciu predajcu.

Komerčná aplikácia

Začleňte generovanie textu, obrázkov, videa a zvuku do platených funkcií svojej služby.

Licencia pre predajcu

Pošlite popis projektu a spôsob poskytovania prístupu. Vyžiadajte písomné podmienky použitia a ďalšieho predaja.

Dokumenty na webe

Ponuka, licenčná zmluva a zásady spracovania dát sú dostupné pred pripojením.

[Požiadať o licenciu predajcu](mailto:support@ailoot.ai) · [Ponuka a licenčná zmluva](https://ailoot.ai/legal/offer?lang=sk)

## Ailoot · Spoločnosť a jej portfólio projektov





Ailoot stavia na dlhodobých prevádzkových skúsenostiach, širokej klientskej základni, stabilných službách a priebežnom sledovaní KPI.





Spoločnosť a jej portfólio projektov: milióny zákazníkov; mesačné tržby v miliardách.





Ailoot využíva tieto prevádzkové skúsenosti na poskytovanie prístupu cez API k funkciám AI v produktoch zákazníkov, agentoch, aplikáciách a automatizáciách.