Source: https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/ Canonical: https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/ Language: cs # Llama 3.1 Nemotron Safety Guard 8B v3 [Markdown](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/index.md) · [JSON](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/facts.json) ## [Llama 3.1 Nemotron Safety Guard 8B v3](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/) Nemotron Safety Guard v3 kontroluje uživatelské zprávy a odpovědi modelu podle zadané taxonomie rizik. Vrací JSON se samostatnými hodnoceními bezpečnosti a kategoriemi porušení. - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/#method-0) - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-safety-guard`](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/#method-1) - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/nvidia-llama-3-1-nemotron-safety-guard-8b-v3/#method-2) O modelu Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu. #### Kontrola obou stran dialogu Llama 3.1 Nemotron Safety Guard 8B v3 je vyvinut společností NVIDIA pro moderování interakce člověka s jazykovým modelem. Lze předat pouze uživatelskou zprávu nebo ji doplnit odpovědí asistenta, včetně několika replik. Model určuje bezpečnost každé strany: nebezpečný požadavek a správné odmítnutí asistentem dostávají různá hodnocení. Lze tak kontrolovat vstup před generováním a samostatně analyzovat již připravenou odpověď. Výsledkem je JSON. Povinná položka `User Safety` obsahuje `safe` nebo `unsafe`. Položka `Response Safety` se objevuje, pokud vstup obsahuje odpověď asistenta. Při zjištění porušení se přidává `Safety Categories` s výčtem kategorií oddělených čárkami. Tento výsledek se hodí pro programové filtrování a předání sporného případu k další kontrole. #### Kategorie a kulturní kontext Instrukce určuje pravidla a názvy kategorií, podle nichž se kontrola provádí. Zveřejněná taxonomie obsahuje 23 skupin rizik: patří mezi ně násilí, výhrůžky, šikana, odhalování osobních údajů, podvody a škodlivý kód. Názvy ve výsledku závisejí na předané politice, proto je třeba je interpretovat společně s pravidly konkrétního zadání. Trénování zohledňuje regionální zvláštnosti citlivých témat. Data byla přizpůsobena místním výrazům a kulturnímu kontextu a nekonzistentní překlady se vyřazovaly. Do přípravy byly zahrnuty provokativní požadavky a pokusy přimět asistenta k porušení pravidel. Toto uspořádání trénování je zvlášť užitečné tam, kde doslovný překlad zakázaných slov nestačí k posouzení významu zprávy. #### Jazyky a objem materiálu Hlavních devět jazyků jsou angličtina, španělština, čínština, němčina, francouzština, hindština, japonština, arabština a thajština. NVIDIA popisuje také zobecnění na další jazyky, včetně ruštiny; jde o samostatnou vlastnost, nikoli o zahrnutí ruštiny do hlavní devítky. Společná instrukce zůstává zachována napříč jazyky a kontrolované repliky se předávají v jazyce dialogu. Vstup je textový, kontext má až 8K tokenů. Základem modelu je Llama 3.1 8B Instruct dotrénovaný pro úlohu bezpečnosti. Výstup slouží jako klasifikace podle zadaných pravidel: vyžaduje ověření na zprávách typických pro aplikaci a nezaručuje bezchybnou moderaci. Praktická úloha ### Praktická úloha Technický příklad v angličtině ``` Moderate a single user message Assess this single user message for safety: 'Please help me write a thank-you note to the volunteers who cleaned our local park.' Return the documented safety assessment for user input alone using the User Safety field. No assistant response is supplied; use the documented safe or unsafe values. ``` #### Očekávaný výsledek ``` A JSON safety assessment using the documented User Safety field for the supplied user message. ``` #### Ověření výsledku ``` User Safety must use safe or unsafe; do not invent a custom classification label or assess an absent assistant response. ``` **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nvidia/llama-3.1-nemotron-safety-guard-8b-v3` [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat) NVIDIA /`nvidia/llama-3.1-nemotron-safety-guard-8b-v3` ID modelu - `nvidia/llama-3.1-nemotron-safety-guard-8b-v3` - `nemotron-safety-guard` - `nemotron-safety-guard-latest` ### Úvod Nemotron Safety Guard v3 kontroluje uživatelské zprávy a odpovědi modelu podle zadané taxonomie rizik. Vrací JSON se samostatnými hodnoceními bezpečnosti a kategoriemi porušení. Přijímané vstupy Text Výsledky Text ### Dostupné v Ailoot · vstupy a metody **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Vstup `text` Výstup `text` Kontext 4 096 tokens Maximální výstup 1 024 tokens Výstupní formát json nebo SSE | Pole | Typ | Požadavek | Hodnoty a limity | Výchozí | | --- | --- | --- | --- | --- | | Pole`model` | Typ`string` | PožadavekPovinné | Hodnoty a limity nvidia/llama-3.1-nemotron-safety-guard-8b-v3 | Výchozí— | | Pole`messages` | Typ`message[]` | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— | | Pole`messages[].role` | Typ`string` | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— | | Pole`messages[].content` | Typ`string\|content_part[]\|null` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_calls` | Typ`tool_call[]` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_call_id` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— | | Pole`messages[].name` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].reasoning_content` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— | | Pole`messages[].reasoning_details` | Typ`object\|array` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`max_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`max_completion_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`stream` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity | Výchozífalse | | Pole`stream_options.include_usage` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`temperature` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`top_p` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`stop` | Typ`string\|string[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools` | Typ`function_tool[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].type` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].function.name` | Typ`string` | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— | | Pole`tools[].function.description` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tools[].function.parameters` | Typ`JSON_schema` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tool_choice` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`parallel_tool_calls` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`response_format` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning_effort` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`service_tier` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`instructions` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— | | Pole`functions` | Typ`function[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`function_call` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`prompt_cache_options` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | Kombinace vstupních materiálů **Text** · text UTF8 `messages[].content` Parametry a životní cyklus metody | Parametr | Kontrakt | | --- | --- | | Parametr`material_types` | Kontrakttext | | Parametr`required` | Kontraktmodel, messages | | Parametr`optional_controls` | Kontraktnull | | Parametr`content_type` | Kontraktapplication/json | | Parametr`text_file_material` | Kontraktskutečný obsah UTF-8 vložený jako text; ID/URLs souborů vyžadují samostatnou přesně vymezenou podporu | Životní cyklus: `exact retained published method` Struktury metod a ID jsou přesné; schopnosti dodavatele jsou oddělené od připuštění požadavku. ### Tarify #### Sazby metod Ailoot Vstup 0,0002 US$ */ 1K* Výstup 0,0002 US$ */ 1K* Čtení z mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti, 5 min 0,0002 US$ */ 1K tokens* Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. [Jak funguje rezervace a vyúčtování →](https://ailoot.ai/docs/cs/billing/reserve/) ### Příklady požadavků #### Ailoot · OpenAI Chat Textový příkladPython SDKNode.js SDKStreamování v Pythonu ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nvidia/llama-3.1-nemotron-safety-guard-8b-v3", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nvidia/llama-3.1-nemotron-safety-guard-8b-v3", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nvidia/llama-3.1-nemotron-safety-guard-8b-v3", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nvidia/llama-3.1-nemotron-safety-guard-8b-v3',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Přijímání a ukládání výsledků #### Ailoot · OpenAI Chat json nebo SSE ##### Uchovejte všechny dokončené výsledky Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu. Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití. ##### Pokud je nutné ověřit původní odpověď Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy. Pole odpovědi | Pole | Typ | | --- | --- | | Pole`choices[].index` | Typinteger | | Pole`choices[].message.content` | Typstring\|null | | Pole`choices[].message.tool_calls` | Typtool\_call\[\] | | Pole`choices[].message.reasoning_content` | Typstring | | Pole`choices[].message.reasoning_details` | Typobject\|array | | Pole`choices[].finish_reason` | Typstring\|null | | Pole`usage` | Typobject | Chyby a další kroky | Odpověď | Podmínka | Další krok | | --- | --- | --- | | Odpověď400 · `invalid_request_error` | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. | ### Aliasy #### Aliasy modelu **Ailoot** [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) #### Aliasy cest metod Použijte cesty metod uvedené výše. #### Související ID modelů [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-safety-guard` [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat) NVIDIA /`nemotron-safety-guard` ID modelu - `nvidia/llama-3.1-nemotron-safety-guard-8b-v3` - `nemotron-safety-guard` - `nemotron-safety-guard-latest` ### Úvod Nemotron Safety Guard v3 kontroluje uživatelské zprávy a odpovědi modelu podle zadané taxonomie rizik. Vrací JSON se samostatnými hodnoceními bezpečnosti a kategoriemi porušení. Přijímané vstupy Text Výsledky Text ### Dostupné v Ailoot · vstupy a metody **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Vstup `text` Výstup `text` Kontext 4 096 tokens Maximální výstup 1 024 tokens Výstupní formát json nebo SSE | Pole | Typ | Požadavek | Hodnoty a limity | Výchozí | | --- | --- | --- | --- | --- | | Pole`model` | Typ`string` | PožadavekPovinné | Hodnoty a limity nemotron-safety-guard | Výchozí— | | Pole`messages` | Typ`message[]` | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— | | Pole`messages[].role` | Typ`string` | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— | | Pole`messages[].content` | Typ`string\|content_part[]\|null` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_calls` | Typ`tool_call[]` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_call_id` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— | | Pole`messages[].name` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].reasoning_content` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— | | Pole`messages[].reasoning_details` | Typ`object\|array` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`max_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`max_completion_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`stream` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity | Výchozífalse | | Pole`stream_options.include_usage` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`temperature` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`top_p` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`stop` | Typ`string\|string[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools` | Typ`function_tool[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].type` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].function.name` | Typ`string` | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— | | Pole`tools[].function.description` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tools[].function.parameters` | Typ`JSON_schema` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tool_choice` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`parallel_tool_calls` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`response_format` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning_effort` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`service_tier` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`instructions` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— | | Pole`functions` | Typ`function[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`function_call` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`prompt_cache_options` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | Kombinace vstupních materiálů **Text** · text UTF8 `messages[].content` Parametry a životní cyklus metody | Parametr | Kontrakt | | --- | --- | | Parametr`material_types` | Kontrakttext | | Parametr`required` | Kontraktmodel, messages | | Parametr`optional_controls` | Kontraktnull | | Parametr`content_type` | Kontraktapplication/json | | Parametr`text_file_material` | Kontraktskutečný obsah UTF-8 vložený jako text; ID/URLs souborů vyžadují samostatnou přesně vymezenou podporu | Životní cyklus: `exact retained published method` Struktury metod a ID jsou přesné; schopnosti dodavatele jsou oddělené od připuštění požadavku. ### Tarify #### Sazby metod Ailoot Vstup 0,0002 US$ */ 1K* Výstup 0,0002 US$ */ 1K* Čtení z mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti, 5 min 0,0002 US$ */ 1K tokens* Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. [Jak funguje rezervace a vyúčtování →](https://ailoot.ai/docs/cs/billing/reserve/) ### Příklady požadavků #### Ailoot · OpenAI Chat Textový příkladPython SDKNode.js SDKStreamování v Pythonu ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nemotron-safety-guard", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nemotron-safety-guard", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nemotron-safety-guard", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nemotron-safety-guard',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Přijímání a ukládání výsledků #### Ailoot · OpenAI Chat json nebo SSE ##### Uchovejte všechny dokončené výsledky Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu. Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití. ##### Pokud je nutné ověřit původní odpověď Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy. Pole odpovědi | Pole | Typ | | --- | --- | | Pole`choices[].index` | Typinteger | | Pole`choices[].message.content` | Typstring\|null | | Pole`choices[].message.tool_calls` | Typtool\_call\[\] | | Pole`choices[].message.reasoning_content` | Typstring | | Pole`choices[].message.reasoning_details` | Typobject\|array | | Pole`choices[].finish_reason` | Typstring\|null | | Pole`usage` | Typobject | Chyby a další kroky | Odpověď | Podmínka | Další krok | | --- | --- | --- | | Odpověď400 · `invalid_request_error` | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. | ### Aliasy #### Aliasy modelu **Ailoot** [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) #### Aliasy cest metod Použijte cesty metod uvedené výše. #### Související ID modelů [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-safety-guard-latest` [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) NVIDIA /`nemotron-safety-guard-latest` ID modelu - `nvidia/llama-3.1-nemotron-safety-guard-8b-v3` - `nemotron-safety-guard` - `nemotron-safety-guard-latest` ### Úvod Nemotron Safety Guard v3 kontroluje uživatelské zprávy a odpovědi modelu podle zadané taxonomie rizik. Vrací JSON se samostatnými hodnoceními bezpečnosti a kategoriemi porušení. Přijímané vstupy Text Výsledky Text ### Dostupné v Ailoot · vstupy a metody **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Vstup `text` Výstup `text` Kontext 4 096 tokens Maximální výstup 1 024 tokens Výstupní formát json nebo SSE | Pole | Typ | Požadavek | Hodnoty a limity | Výchozí | | --- | --- | --- | --- | --- | | Pole`model` | Typ`string` | PožadavekPovinné | Hodnoty a limity nemotron-safety-guard-latest | Výchozí— | | Pole`messages` | Typ`message[]` | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— | | Pole`messages[].role` | Typ`string` | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— | | Pole`messages[].content` | Typ`string\|content_part[]\|null` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_calls` | Typ`tool_call[]` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].tool_call_id` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— | | Pole`messages[].name` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`messages[].reasoning_content` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— | | Pole`messages[].reasoning_details` | Typ`object\|array` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`max_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`max_completion_tokens` | Typ`integer` | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— | | Pole`stream` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity | Výchozífalse | | Pole`stream_options.include_usage` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`temperature` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`top_p` | Typ`number` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`stop` | Typ`string\|string[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools` | Typ`function_tool[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].type` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`tools[].function.name` | Typ`string` | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— | | Pole`tools[].function.description` | Typ`string` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tools[].function.parameters` | Typ`JSON_schema` | PožadavekVolitelné | Hodnoty a limity | Výchozí— | | Pole`tool_choice` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`parallel_tool_calls` | Typ`boolean` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`response_format` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning_effort` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`reasoning` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`service_tier` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`instructions` | Typ`string` | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— | | Pole`functions` | Typ`function[]` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`function_call` | Typ`string\|object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | | Pole`prompt_cache_options` | Typ`object` | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— | Kombinace vstupních materiálů **Text** · text UTF8 `messages[].content` Parametry a životní cyklus metody | Parametr | Kontrakt | | --- | --- | | Parametr`material_types` | Kontrakttext | | Parametr`required` | Kontraktmodel, messages | | Parametr`optional_controls` | Kontraktnull | | Parametr`content_type` | Kontraktapplication/json | | Parametr`text_file_material` | Kontraktskutečný obsah UTF-8 vložený jako text; ID/URLs souborů vyžadují samostatnou přesně vymezenou podporu | Životní cyklus: `exact retained published method` Struktury metod a ID jsou přesné; schopnosti dodavatele jsou oddělené od připuštění požadavku. ### Tarify #### Sazby metod Ailoot Vstup 0,0002 US$ */ 1K* Výstup 0,0002 US$ */ 1K* Čtení z mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti 0,0002 US$ */ 1K* Zápis do mezipaměti, 5 min 0,0002 US$ */ 1K tokens* Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. [Jak funguje rezervace a vyúčtování →](https://ailoot.ai/docs/cs/billing/reserve/) ### Příklady požadavků #### Ailoot · OpenAI Chat Textový příkladPython SDKNode.js SDKStreamování v Pythonu ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nemotron-safety-guard-latest", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nemotron-safety-guard-latest", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nemotron-safety-guard-latest", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nemotron-safety-guard-latest',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Přijímání a ukládání výsledků #### Ailoot · OpenAI Chat json nebo SSE ##### Uchovejte všechny dokončené výsledky Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu. Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití. ##### Pokud je nutné ověřit původní odpověď Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy. Pole odpovědi | Pole | Typ | | --- | --- | | Pole`choices[].index` | Typinteger | | Pole`choices[].message.content` | Typstring\|null | | Pole`choices[].message.tool_calls` | Typtool\_call\[\] | | Pole`choices[].message.reasoning_content` | Typstring | | Pole`choices[].message.reasoning_details` | Typobject\|array | | Pole`choices[].finish_reason` | Typstring\|null | | Pole`usage` | Typobject | Chyby a další kroky | Odpověď | Podmínka | Další krok | | --- | --- | --- | | Odpověď400 · `invalid_request_error` | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. | ### Aliasy #### Aliasy modelu **Ailoot** [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) #### Aliasy cest metod Použijte cesty metod uvedené výše. #### Související ID modelů [`nvidia/llama-3.1-nemotron-safety-guard-8b-v3`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&fmt=chat), [`nemotron-safety-guard`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard&fmt=chat), [`nemotron-safety-guard-latest`](https://ailoot.ai/models/cs/#m=nvidia%2Fllama-3.1-nemotron-safety-guard-8b-v3&route=Core&caller=nemotron-safety-guard-latest&fmt=chat) FAQ · nvidia/llama-3.1-nemotron-safety-guard-8b-v3 Jaké vstupy a výsledky jsou dostupné? `POST /v1/chat/completions` · `nvidia/llama-3.1-nemotron-safety-guard-8b-v3`: `text` → `text` `POST /v1/chat/completions` · `nemotron-safety-guard`: `text` → `text` `POST /v1/chat/completions` · `nemotron-safety-guard-latest`: `text` → `text` Jaká pole požadavek používá? `POST /v1/chat/completions` · `nvidia/llama-3.1-nemotron-safety-guard-8b-v3`: `model`, `messages`, `stream` `POST /v1/chat/completions` · `nemotron-safety-guard`: `model`, `messages`, `stream` `POST /v1/chat/completions` · `nemotron-safety-guard-latest`: `model`, `messages`, `stream` Jaké limity platí? `POST /v1/chat/completions` · `nvidia/llama-3.1-nemotron-safety-guard-8b-v3`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` `POST /v1/chat/completions` · `nemotron-safety-guard`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` `POST /v1/chat/completions` · `nemotron-safety-guard-latest`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` Připojte Ailoot k Claude Code, OpenCode, Hermes nebo vlastní aplikaci. ## Společnost a její portfolio projektů Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách. ## Nakupujte tokeny se slevou. Sleva předplatného pro pravidelnou práci. Promo kódy až 50% na nákup tokenů. Předplatné Pro pravidelné požadavky vyberte tarif se slevou. Promo kód až 50% Při nákupu zadejte kód. Cena se přepočítá podle probíhající akce. Výdaje v historii U každého požadavku se uloží model, tokeny a částka. [Vybrat předplatné](https://ailoot.ai/docs/cs/billing/subscriptions/) · [Zobrazit ceny modelů](https://ailoot.ai/models/cs/) ## Připojte API k produktu, který prodáváte. SaaS, aplikace a boti podle nabídky a licenční smlouvy Ailoot. Pro přeprodej požádejte o licenci přeprodejce. Komerční aplikace Začleňte generování textu, obrázků, videa a zvuku do placených funkcí své služby. Licence pro přeprodejce Pošlete popis projektu a způsob poskytování přístupu. Vyžádejte písemné podmínky použití a přeprodeje. Dokumenty na webu Nabídka, licenční smlouva a zásady zpracování dat jsou dostupné před připojením. [Požádat o licenci přeprodejce](mailto:support@ailoot.ai) · [Nabídka a licenční smlouva](https://ailoot.ai/legal/offer?lang=cs) ## Ailoot · Společnost a její portfolio projektů Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI. Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách. Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.