Source: https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/ Canonical: https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/ Language: cs # Meta: Llama 3.1 70B Instruct [Markdown](https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/index.md) · [JSON](https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/facts.json) ## [Meta: Llama 3.1 70B Instruct](https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/) Llama 3.1 70B Instruct je textový model společnosti Meta pro vícejazyčný dialog, uvažování nad dokumenty a kód. Jeho vydání se 70 miliardami parametrů doladěné na pokyny používá pozornost grouped-query, kontext výrobce 128k a zdokumentované konverzační formáty volání nástrojů s textovým a kódovým výstupem. - [**Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/#method-0) - [**Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/meta-llama-llama-3-1-70b-instruct/#method-1) O modelu Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu. Llama 3.1 70B Instruct je textový model společnosti Meta se 70 miliardami parametrů optimalizovaný pro vícejazyčný dialog a požadavky podobné komunikaci s asistentem. Jde o checkpoint doladěný na pokyny v rodině, která zahrnuje také velikosti 8B a 405B a samostatné předtrénované modely. Přijímá text a vrací vícejazyčný text nebo kód; pojmenovaná edice 70B zachovává vlastní velikost a identitu. Informace o modelu a trénink Vydání používá autoregresivní architekturu Transformer s pozorností grouped-query. Doladěné modely se slaďují pomocí doladění s učitelem a posilovaného učení s lidskou zpětnou vazbou. Jde o tréninkové fáze pro užitečné konverzační chování, nikoli o pojmenovaný přepínač za běhu mezi samostatnými režimy s uvažováním a bez něj. Výrobce dokumentuje pro textové modely kontext 128k a oficiálně podporuje angličtinu, němčinu, francouzštinu, italštinu, portugalštinu, hindštinu, španělštinu a thajštinu. Trénink zahrnuje širší kolekci jazyků, což neznamená stejnou podporu všech jazyků. Před požadavkem na vícejazyčný artefakt určete jazyk výstupu, terminologii a čtenáře. Předtrénovací korpus rodiny je popsán jako přibližně patnáct bilionů tokenů s hranicí dat v prosinci 2023. Doladění zahrnuje instrukční datasety a více než dvacet pět milionů syntetických příkladů. Tato hranice se týká tréninkových dat; otázka závislá na novějších nebo soukromých informacích potřebuje tyto informace dodat v úloze nebo vrátit z připojeného zdroje. Chat s asistentem a analýza zdrojů Edice Instruct je určena k odpovědím na konverzační požadavky, zatímco předtrénovaná verze je základem přizpůsobitelným dalším generačním úlohám. Pro odpověď založenou na zdrojích poskytněte otázku a pasáže určující výsledek. Označte zdroje a vedle každého zjištění požadujte podpůrnou část nebo tvrzení. Praktické porovnání může dodat dva postupy a žádat společné podmínky, rozdíly a nevyřešené rozpory. Výsledná příručka může zachovat původní posloupnost i podmínky platnosti jednotlivých akcí. Zadání editace dokumentu může určit publikum, fakta k zachování a to, zda má konečný artefakt tvořit pouze upravená pasáž, nebo pasáž s vysvětlením. U delší odpovědi pojmenujte požadované části a účel každé z nich. Velký kontext může uchovat související materiály společně, zatímco konečný výsledek zůstane stručnou maticí nebo vysvětlením. Identita zdrojů a dobře definovaná otázka jsou důležitější než prosté zahrnutí všech dostupných dokumentů. Kód a generované příklady Zdokumentovaný výstup zahrnuje kód. Pro navrhovanou implementaci dodejte jazyk, vstupní typy, očekávaný výsledek a rozhraní, které musí zůstat kompatibilní. Pokud jde o opravu, přiložte stávající úsek a příslušné deklarace. Kód požadujte odděleně od jeho předpokladů a příkladů, aby jej mohl další vývojový krok zkontrolovat. Při vysvětlení kódu poskytněte vstup ke sledování a zeptejte se, jak dodaná funkce dospěje k návratové hodnotě. U matematického vysvětlení definujte symboly a předpoklady a uveďte, zda má být výsledek přesný, přibližný, nebo důkazem. Generování kódu a písemné uvažování samy o sobě program nekompilují ani neprovádějí výpočet. Výrobce mezi využitími rodiny uvádí také generování syntetických dat a destilaci. Textová úloha může požadovat rozmanité příklady v určeném formátu se zachováním dodaných pravidel. Vhodnost těchto příkladů pro další trénink je samostatným rozhodnutím aplikace; samotný textový výstup není nezávislým ověřením jejich správnosti. Formát konverzace a nástroje Karta ukazuje samostatné systémové a uživatelské zprávy s odpovídající chatovou šablonou. Systémový pokyn použijte pro roli, tón a trvalá pravidla odpovědí, zatímco uživatelský požadavek obsahuje skutečný problém a zdroje. Příslušné dřívější zprávy zachovejte při navazujícím dotazu vycházejícím z předchozí odpovědi. Llama 3.1 podporuje několik zdokumentovaných formátů používání nástrojů. Aplikace poskytne funkce a parametry, model připraví návrh volání, aplikace je vykoná a připojí výsledek ke konverzaci. Následující generování může tento výsledek využít. Stručný příklad na kartě výslovně ukazuje přidání volání asistenta a poté výsledku nástroje; výběr funkce se liší od dokončení její operace. Při vyhledání uveďte požadované informace a definujte funkci, která je vrací. Než požádáte o závěrečné vysvětlení, uchovejte skutečně vrácenou hodnotu s původním voláním. Při výpočtu odlišujte operaci navrženou modelem od výsledku vráceného kalkulátorem. Nativní formátování nástrojů a viditelné znázornění obalového rozhraní by měly zachovat své vlastní zdokumentované konvence. Edice a praktická omezení Nastavení generování 256 tokenů na prostudované kartě je ukázkou použití, nikoli samostatně stanovenou maximální výstupní kapacitou. Kontext 128k se vztahuje k materiálu a generované konverzaci v rámci nastaveného vydání. Nenahrazujte jej kontextem nebo vizuálními schopnostmi Llama 4 ani velikostí jiného checkpointu Llama 3.1. Jde o čistě textový model Instruct. Obrázek, nahrávka nebo video potřebují příslušný obsah připravit pomocí jiné komponenty. Externí vyhledávání, spouštění programů a změny souborů také patří aplikaci připojené k asistentovi. Zachovejte přesnou edici 70B Instruct a požadujte vysvětlení propojené se zdroji, upravený dokument, kód nebo strukturovaný text potřebný pro úlohu. Praktická úloha ### Praktická úloha Technický příklad v angličtině ``` Produce a bilingual maintenance notice Write a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access. ``` #### Očekávaný výsledek ``` Two labelled language blocks with equivalent three-sentence notices. ``` #### Ověření výsledku ``` Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access. ``` **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` `meta-llama/llama-3.1-70b-instruct` [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) Meta /`meta-llama/llama-3.1-70b-instruct` ### Úvod Llama 3.1 70B Instruct je textový model společnosti Meta pro vícejazyčný dialog, uvažování nad dokumenty a kód. Jeho vydání se 70 miliardami parametrů doladěné na pokyny používá pozornost grouped-query, kontext výrobce 128k a zdokumentované konverzační formáty volání nástrojů s textovým a kódovým výstupem. Přijímané vstupy Text Výsledky Text ### Dostupné v Ailoot · vstupy a metody **Ailoot Ultra · OpenAI Chat** `POST /v1/chat/completions` Vstup `text` Výstup `text` Výstupní formát json nebo SSE | Pole | Typ | Požadavek | Hodnoty a limity | Výchozí | | --- | --- | --- | --- | --- | | Pole`model` | Typ`string` | PožadavekPovinné | Hodnoty a limity meta-llama/llama-3.1-70b-instruct | Výchozí— | | Pole`messages` | Typ`message[]` | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— | | Pole`messages[].role` | Typ`string` | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— | | Pole`messages[].content` | Typ`string\|content_part[]\|null` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_calls` | Typ`tool_call[]` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_call_id` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— | | Pole`messages[].name` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].reasoning_content` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— | | Pole`messages[].reasoning_details` | Typ`object\|array` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`max_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`max_completion_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`stream` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity | Výchozífalse | | Pole`stream_options.include_usage` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`temperature` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`top_p` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`stop` | Typ`string\|string[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools` | Typ`function_tool[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].type` | Typ`string` | PožadavekVolitelné | Hodnoty a limity function Závisí na modelu | Výchozí— | | Pole`tools[].function.name` | Typ`string` | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— | | Pole`tools[].function.description` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tools[].function.parameters` | Typ`JSON_schema` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tool_choice` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`parallel_tool_calls` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`response_format` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning_effort` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`service_tier` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`instructions` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— | | Pole`functions` | Typ`function[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`function_call` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`prompt_cache_options` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`modalities` | Typ`string[]` | PožadavekVolitelné | Hodnoty a limity text | Výchozí— | | Pole`provider` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Podmínky: provider.options je na této textové trase Ultra odmítáno | Výchozí— | | Pole`cache_control.ttl` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Podmínky: Hodnota 1h je ve skutečných umístěních mezipaměti promptů odmítána | Výchozí— | Kombinace vstupních materiálů **Text** · text UTF8 `messages[].content` Parametry a životní cyklus metody | Parametr | Kontrakt | | --- | --- | | Parametr`content_type` | Kontraktapplication/json | | Parametr`required` | Kontraktmodel, messages | | Parametr`material_types` | Kontrakttext | | Parametr`messages` | Kontraktpole zpráv se strukturou role/content | | Parametr`file_material` | Kontraktskutečný dokument UTF-8 vložený jako doslovný text; ID souboru se neodvozuje | | Parametr`optional_controls` | Kontraktstream, temperature, top\_p, stop, max\_tokens, max\_completion\_tokens, reasoning, response\_format, tools, tool\_choice | | Parametr`control_scope` | Kontraktspecifické pro model; nástroje uživatelských funkcí se liší od hostovaných nástrojů | | Parametr`output_modalities` | Kontrakttext | | Parametr`hosted_operations` | Kontraktfalse | | Parametr`multimodal_input_binding` | Kontraktnull | Životní cyklus: `synchronous_or_streamed` Odešlete přesné ID modelu spolu s messages. Délka kontextu není limitem výstupu. Textový soubor může dodat doslovný text; obrazové/zvukové vstupy a vstupy v podobě souborových objektů vyžadují přesnou vazbu. ### Tarify Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody. Rychlý režim Standardní sazba Při výběru rychlého režimu Režim flex Standardní sazba Při výběru režimu flex Maximální intenzita uvažování Standardní sazba Když se při maximální intenzitě uvažování použije výchozí úprava (default) #### Sazby Ailoot #### Ceny podle konfigurace Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu. | Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek | | --- | --- | --- | --- | --- | | KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny **$0.00144** / 1K tokenů Výstup · Výstupní tokeny **$0.00144** / 1K tokenů Vstup · Čtení z mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina **—** / 1K tokenů | | KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny **$0.00144** / 1K tokenů Výstup · Výstupní tokeny **$0.00144** / 1K tokenů Vstup · Čtení z mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina **—** / 1K tokenů | Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. [Jak funguje rezervace a vyúčtování →](https://ailoot.ai/docs/cs/billing/reserve/) ### Příklady požadavků #### Ailoot Ultra · OpenAI Chat curlPython SDKStreamování v Pythonu ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}') Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path r=json.loads(Path("result.json").read_text()) for x in r.get("choices",[]): if x.get("message",{}).get("content"): print(x["message"]["content"]) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) result=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(result.to_dict(mode="json")) ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Přijímání a ukládání výsledků #### Ailoot Ultra · OpenAI Chat json nebo SSE ##### Uchovejte všechny dokončené výsledky Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu. Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití. ##### Pokud je nutné ověřit původní odpověď Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy. Pole odpovědi | Pole | Typ | | --- | --- | | Pole`choices[].index` | Typinteger | | Pole`choices[].message.content` | Typstring\|null | | Pole`choices[].message.tool_calls` | Typtool\_call\[\] | | Pole`choices[].message.reasoning_content` | Typstring | | Pole`choices[].message.reasoning_details` | Typobject\|array | | Pole`choices[].finish_reason` | Typstring\|null | | Pole`usage` | Typobject | Chyby a další kroky | Odpověď | Podmínka | Další krok | | --- | --- | --- | | Odpověď400 · `invalid_request_error` | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. | ### Aliasy #### Aliasy modelu **Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) #### Aliasy cest metod Použijte cesty metod uvedené výše. #### Související ID modelů [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=chat) **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` `meta-llama/llama-3.1-70b-instruct` [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) Meta /`meta-llama/llama-3.1-70b-instruct` ### Úvod Llama 3.1 70B Instruct je textový model společnosti Meta pro vícejazyčný dialog, uvažování nad dokumenty a kód. Jeho vydání se 70 miliardami parametrů doladěné na pokyny používá pozornost grouped-query, kontext výrobce 128k a zdokumentované konverzační formáty volání nástrojů s textovým a kódovým výstupem. Přijímané vstupy Text Výsledky json · sse ### Dostupné v Ailoot · vstupy a metody **Ailoot Ultra · Anthropic Messages** `POST /v1/messages` Vstup `text` Výstup `json`, `sse` Výstupní formát JSON nebo SSE | Pole | Typ | Požadavek | Hodnoty a limity | Výchozí | | --- | --- | --- | --- | --- | | Pole`model` | Typ`string` | PožadavekPovinné | Hodnoty a limity meta-llama/llama-3.1-70b-instruct | Výchozí— | | Pole`messages` | Typ`message[]` | PožadavekPovinné | Hodnoty a limity | Výchozí— | | Pole`messages[].role` | Typ`string` | PožadavekPovinné | Hodnoty a limity user, assistant | Výchozí— | | Pole`messages[].content` | Typ`string` | PožadavekPovinné | Hodnoty a limity | Výchozí— | | Pole`max_tokens` | Typ`integer` | PožadavekPovinné | Hodnoty a limity | Výchozí— | | Pole`stream` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity | Výchozífalse | Kombinace vstupních materiálů **Text** · text UTF-8 `řetězec messages[].content` Parametry a životní cyklus metody | Parametr | Kontrakt | | --- | --- | | Parametr`content_type` | Kontraktapplication/json | | Parametr`required` | Kontraktmodel, messages, max\_tokens | | Parametr`optional_controls` | Kontraktstream | | Parametr`material_types` | Kontrakttext | | Parametr`text_file_material` | KontraktPřečtěte skutečný dokument UTF-8 a vložte jeho text do uvedeného pole input nebo do řetězce obsahu zprávy. | Životní cyklus: `synchronous_or_streamed` ### Tarify Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody. Rychlý režim Standardní sazba Při výběru rychlého režimu Režim flex Standardní sazba Při výběru režimu flex Maximální intenzita uvažování Standardní sazba Když se při maximální intenzitě uvažování použije výchozí úprava (default) #### Sazby Ailoot #### Ceny podle konfigurace Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu. | Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek | | --- | --- | --- | --- | --- | | KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny **$0.00144** / 1K tokenů Výstup · Výstupní tokeny **$0.00144** / 1K tokenů Vstup · Čtení z mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina **—** / 1K tokenů | | KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny **$0.00144** / 1K tokenů Výstup · Výstupní tokeny **$0.00144** / 1K tokenů Vstup · Čtení z mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti **—** / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina **—** / 1K tokenů | Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. [Jak funguje rezervace a vyúčtování →](https://ailoot.ai/docs/cs/billing/reserve/) ### Příklady požadavků #### Ailoot Ultra · Anthropic Messages Úplné minimální tělo požadavku JSONcurl · použijte svůj dokument UTF-8Python · uložte úplný výsledek ```json { "model": "meta-llama/llama-3.1-70b-instruct", "max_tokens": 128, "messages": [ { "role": "user", "content": "Summarize the incident report." } ], "stream": false } ``` ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text Path('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8') PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \ -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) PY_RESULT ``` ```python import json, os from pathlib import Path source_file = Path(os.environ['AILOOT_TEXT_FILE']) if not source_file.is_file(): raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document') text = source_file.read_text(encoding='utf-8') if not text.strip(): raise SystemExit('Choose a document containing text') payload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]} payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text from urllib.request import Request, urlopen from urllib.error import HTTPError api_key = os.environ['AILOOT_API_KEY'] if not api_key.strip(): raise SystemExit('Set AILOOT_API_KEY before making a request') headers = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'} headers['x-api-key'] = api_key request = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST') try: with urlopen(request, timeout=120) as response: raw = response.read() Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8') except HTTPError as error: Path('result.json').write_bytes(error.read()) Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8') raise Path('result.json').write_bytes(raw) import json from pathlib import Path result = json.loads(Path('result.json').read_text(encoding='utf-8')) print(json.dumps(result, ensure_ascii=False, indent=2)) ``` ### Přijímání a ukládání výsledků #### Ailoot Ultra · Anthropic Messages JSON nebo SSE ##### Uchovejte všechny dokončené výsledky Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu. Zachovejte všechny bloky obsahu, podpisy uvažování a skutečná ID použití nástrojů. Sestavte všechny přírůstky bloků SSE; první textový blok není úplný výstup. ##### Pokud je nutné ověřit původní odpověď Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy. Pole odpovědi | Pole | Typ | | --- | --- | | Pole`id` | Typstring | | Pole`model` | Typstring | | Pole`content[]` | Typtext\|thinking\|tool\_use\|other content block | | Pole`stop_reason` | Typstring\|null | | Pole`usage` | Typobject | Chyby a další kroky | Odpověď | Podmínka | Další krok | | --- | --- | --- | | Odpověď400 · `invalid_request_error` | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. | ### Aliasy #### Aliasy modelu **Ailoot Ultra** [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) #### Aliasy cest metod Použijte cesty metod uvedené výše. #### Související ID modelů [`meta-llama/llama-3.1-70b-instruct`](https://ailoot.ai/models/cs/#m=meta-llama%2Fllama-3.1-70b-instruct&route=Ultra&caller=meta-llama%2Fllama-3.1-70b-instruct&fmt=messages) FAQ · Meta: Llama 3.1 70B Instruct Jaké vstupy a výsledky jsou dostupné? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `text` → `text` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `text` → `json`, `sse` Jaká pole požadavek používá? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `stream`, `modalities`, `provider` `POST /v1/messages` · `meta-llama/llama-3.1-70b-instruct`: `model`, `messages`, `max_tokens`, `stream` Jaké limity platí? `POST /v1/chat/completions` · `meta-llama/llama-3.1-70b-instruct`: `messages.min_items`: `1` Připojte Ailoot k Claude Code, OpenCode, Hermes nebo vlastní aplikaci. ## Společnost a její portfolio projektů Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách. ## Nakupujte tokeny se slevou. Sleva předplatného pro pravidelnou práci. Promo kódy až 50% na nákup tokenů. Předplatné Pro pravidelné požadavky vyberte tarif se slevou. Promo kód až 50% Při nákupu zadejte kód. Cena se přepočítá podle probíhající akce. Výdaje v historii U každého požadavku se uloží model, tokeny a částka. [Vybrat předplatné](https://ailoot.ai/docs/cs/billing/subscriptions/) · [Zobrazit ceny modelů](https://ailoot.ai/models/cs/) ## Připojte API k produktu, který prodáváte. SaaS, aplikace a boti podle nabídky a licenční smlouvy Ailoot. Pro přeprodej požádejte o licenci přeprodejce. Komerční aplikace Začleňte generování textu, obrázků, videa a zvuku do placených funkcí své služby. Licence pro přeprodejce Pošlete popis projektu a způsob poskytování přístupu. Vyžádejte písemné podmínky použití a přeprodeje. Dokumenty na webu Nabídka, licenční smlouva a zásady zpracování dat jsou dostupné před připojením. [Požádat o licenci přeprodejce](mailto:support@ailoot.ai) · [Nabídka a licenční smlouva](https://ailoot.ai/legal/offer?lang=cs) ## Ailoot · Společnost a její portfolio projektů Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI. Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách. Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.