Source: https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/ Canonical: https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/ Language: de-at # Nemotron 3.5 Lightning 30B A3B [Markdown](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/index.md) · [JSON](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/facts.json) ## [Nemotron 3.5 Lightning 30B A3B](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/) Nemotron 3.5 Lightning ist ein Textmodell von NVIDIA für längere Agentenaufgaben, Programmierung, dokumentgestützte Suche und Dialog. - [**Ailoot · Anthropic Messages** `POST /v1/messages` `nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/#method-0) - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/#method-1) - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-lightning`](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/#method-2) - [**Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-lightning-latest`](https://ailoot.ai/models/de-at/nvidia-nemotron-3-5-lightning-30b-a3b/#method-3) Über das Modell Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt. #### Ein Arbeitsmodell für längere Abläufe Nemotron 3.5 Lightning ist für autonome Agenten und Aktionsfolgen vorgesehen, die sich über mehrere Schritte erstrecken. Es wird auch in Dialogassistenten, dokumentgestützter Suche und Anweisungsbefolgung eingesetzt. Eingabe und Ausgabe sind Text. #### Architektur und Kontext Die hybride Mixture-of-Experts-Architektur verbindet Mamba-2 mit eigenen Aufmerksamkeitsschichten. Das Modell enthält insgesamt 30 Milliarden Parameter, davon 3 Milliarden aktive Parameter pro Token. Der Kontext erreicht eine Million Tokens. Schichten zur Vorhersage mehrerer nächster Tokens werden zusätzlich darauf trainiert, ihre Vorschläge mit der Verteilung des Hauptmodells abzustimmen. Mit der Version werden auch Verfahren zur spekulativen Dekodierung vorgestellt. Sie helfen bei der Organisation der Generierung, legen aber keine garantierte Anfragegeschwindigkeit fest. #### Fünf Vorbereitungsstufen 1. Vortraining mit mehr als 20 Billionen Tokens aus Code, Mathematik, Wissenschaft und allgemeinem Wissen, mit Vorbereitung im NVFP4-Format. 2. Fortsetzung des Vortrainings für Schichten zur Vorhersage mehrerer zukünftiger Tokens; ihre Vorschläge werden mit der Verteilung des Hauptmodells abgestimmt. 3. Lernen anhand von Beispielen, darunter Anweisungen, Werkzeugaufrufe, strukturierte Ergebnisse, die Suche nach entfernten Abschnitten und das Verbinden von Dokumenten. 4. Reinforcement Learning in mehreren Umgebungen für Reasoning, Code, Wissenschaft, mehrstufige Werkzeugaufgaben und Dialog. 5. Anschließende numerische Komprimierung der veröffentlichten Variante. Die letzte Stufe kennzeichnet eine konkrete Herstellerversion und legt nicht die Rechengenauigkeit einer bedienten Anfrage fest. Im externen Ablauf schlägt das Modell Aktionen und ein Textresultat vor; die Anwendung führt Werkzeuge aus. #### Sprachen und Versionen Offiziell genannt werden Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch sowie Programmiersprachen. Für das Vortraining ist ein Datenstand bis September 2025 angegeben, für das anschließende Training bis Mai 2026. Die Eigenschaften der veröffentlichten numerisch komprimierten Version beschreiben genau diese Variante. Aus dem Modellnamen lässt sich die Rechengenauigkeit einer konkreten Ausführung nicht ableiten. Eine Million Tokens bezeichnet den Gesamtkontext, kein eigenes Versprechen für die Ausgabelänge. Praktische Aufgabe ### Praktische Aufgabe Technisches Beispiel auf Englisch ``` Apply a document-grounded procedure Use these procedure excerpts to draft the next action for case C-09. [Rule 1] Packages with a damaged seal go to inspection. [Rule 2] Only inspection-cleared packages enter stock. [Record] C-09 has a damaged seal and no inspection result. Return the current permitted step, blocked step and supporting rule labels. ``` #### Erwartetes Ergebnis ``` Three concise fields covering the permitted inspection step, blocked stocking and source evidence. ``` #### Ergebnis prüfen ``` Check that missing inspection clearance prevents stocking and does not become an assumed failed inspection. ``` **Ailoot · Anthropic Messages** `POST /v1/messages` `nvidia/nemotron-3.5-lightning-30b-a3b` [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=messages) NVIDIA /`nvidia/nemotron-3.5-lightning-30b-a3b` ### Einstieg Nemotron 3.5 Lightning ist ein Textmodell von NVIDIA für längere Agentenaufgaben, Programmierung, dokumentgestützte Suche und Dialog. Zulässige Eingaben Text Ergebnisse Text ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot · Anthropic Messages** `POST /v1/messages` Eingabe `text` Ausgabe `text` Kontext 262 144 tokens Maximale Ausgabe 32 768 tokens Ausgabeformat json oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning-30b-a3b | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits user, assistant | Standard— | | Feld`messages[].content` | Typ`string\|content_block[]` | AnforderungErforderlich | Werte und Limits | Standard— | | Feld`system` | Typ`string\|content_block[]` | AnforderungOptional | Werte und Limits | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungErforderlich | Werte und Limits Minimum: 1 Limit gilt für: Genaue Obergrenze des ausgewählten Modells bzw. seiner Modellkarte | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | | Feld`temperature` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`top_p` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`stop_sequences` | Typ`string[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools` | Typ`tool[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].name` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: Werkzeug bereitgestellt | Standard— | | Feld`tools[].description` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tools[].input_schema` | Typ`JSON_schema` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tool_choice` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`thinking.type` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`thinking.budget_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`output_config.effort` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`metadata` | Typ`object` | AnforderungOptional | Werte und Limits | Standard— | | Feld`cache_control` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | Kombinationen von Eingabematerialien **Text** · UTF8-Text `messages[].content oder Block mit type=text` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`material_types` | Vertragtext | | Parameter`required` | Vertragmodel, messages, max\_tokens | | Parameter`optional_controls` | Vertragnull | | Parameter`content_type` | Vertragapplication/json | | Parameter`text_file_material` | VertragTatsächlicher UTF-8-Inhalt wird als Text eingefügt; Datei-IDs/URLs müssen separat und exakt unterstützt werden | Lebenszyklus: `exact retained published method` Methodenstrukturen und IDs sind exakt; die Fähigkeiten des Anbieters sind von der Zulassung einer Anfrage zu unterscheiden. ### Tarife #### Ailoot-Methodentarife Eingabe $ 0,00008 */ 1K* Ausgabe $ 0,0002 */ 1K* Cache lesen $ 0,00008 */ 1K* In Cache schreiben $ 0,00008 */ 1K* In Cache schreiben, 5 Min. $ 0,00008 */ 1K tokens* Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot · Anthropic Messages TextbeispielPython SDKNode.js SDKPython-Stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nvidia/nemotron-3.5-lightning-30b-a3b", "max_tokens": 1024, "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \ -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python import anthropic import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = anthropic.Anthropic(base_url="https://api.ailoot.ai", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) msg = client.messages.create( model="nvidia/nemotron-3.5-lightning-30b-a3b", max_tokens=1024, messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(msg.to_dict(mode="json")) ``` ```js import Anthropic from "@anthropic-ai/sdk"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new Anthropic({ baseURL: "https://api.ailoot.ai", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const msg = await client.messages.create({ model: "nvidia/nemotron-3.5-lightning-30b-a3b", max_tokens: 1024, messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(msg); ``` ```python import anthropic,os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=anthropic.Anthropic(base_url="https://api.ailoot.ai",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.messages.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',max_tokens=1024,messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_message() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Ergebnisse abrufen und speichern #### Ailoot · Anthropic Messages json oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`id` | Typstring | | Feld`model` | Typstring | | Feld`content[]` | Typtext\|thinking\|tool\_use\|other content block | | Feld`stop_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot** [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=messages), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=messages), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest) **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nvidia/nemotron-3.5-lightning-30b-a3b` [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat) NVIDIA /`nvidia/nemotron-3.5-lightning-30b-a3b` Modell-ID - `nvidia/nemotron-3.5-lightning-30b-a3b` - `nemotron-lightning` - `nemotron-lightning-latest` ### Einstieg Nemotron 3.5 Lightning ist ein Textmodell von NVIDIA für längere Agentenaufgaben, Programmierung, dokumentgestützte Suche und Dialog. Zulässige Eingaben Text Ergebnisse Text ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Eingabe `text` Ausgabe `text` Kontext 4 096 tokens Maximale Ausgabe 1 024 tokens Ausgabeformat json oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning-30b-a3b | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— | | Feld`messages[].content` | Typ`string\|content_part[]\|null` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_calls` | Typ`tool_call[]` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_call_id` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— | | Feld`messages[].name` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].reasoning_content` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— | | Feld`messages[].reasoning_details` | Typ`object\|array` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`max_completion_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | | Feld`stream_options.include_usage` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`temperature` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`top_p` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`stop` | Typ`string\|string[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools` | Typ`function_tool[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].type` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].function.name` | Typ`string` | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— | | Feld`tools[].function.description` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tools[].function.parameters` | Typ`JSON_schema` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tool_choice` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`parallel_tool_calls` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`response_format` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning_effort` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`service_tier` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`instructions` | Typ`string` | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— | | Feld`functions` | Typ`function[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`function_call` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`prompt_cache_options` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | Kombinationen von Eingabematerialien **Text** · UTF8-Text `messages[].content` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`material_types` | Vertragtext | | Parameter`required` | Vertragmodel, messages | | Parameter`optional_controls` | Vertragnull | | Parameter`content_type` | Vertragapplication/json | | Parameter`text_file_material` | VertragTatsächlicher UTF-8-Inhalt wird als Text eingefügt; Datei-IDs/URLs müssen separat und exakt unterstützt werden | Lebenszyklus: `exact retained published method` Methodenstrukturen und IDs sind exakt; die Fähigkeiten des Anbieters sind von der Zulassung einer Anfrage zu unterscheiden. ### Tarife #### Ailoot-Methodentarife Eingabe $ 0,00008 */ 1K* Ausgabe $ 0,0002 */ 1K* Cache lesen $ 0,00008 */ 1K* In Cache schreiben $ 0,00008 */ 1K* In Cache schreiben, 5 Min. $ 0,00008 */ 1K tokens* Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot · OpenAI Chat TextbeispielPython SDKNode.js SDKPython-Stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nvidia/nemotron-3.5-lightning-30b-a3b", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nvidia/nemotron-3.5-lightning-30b-a3b", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nvidia/nemotron-3.5-lightning-30b-a3b", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning-30b-a3b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Ergebnisse abrufen und speichern #### Ailoot · OpenAI Chat json oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`choices[].index` | Typinteger | | Feld`choices[].message.content` | Typstring\|null | | Feld`choices[].message.tool_calls` | Typtool\_call\[\] | | Feld`choices[].message.reasoning_content` | Typstring | | Feld`choices[].message.reasoning_details` | Typobject\|array | | Feld`choices[].finish_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot** [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-lightning` [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat) NVIDIA /`nemotron-lightning` Modell-ID - `nvidia/nemotron-3.5-lightning-30b-a3b` - `nemotron-lightning` - `nemotron-lightning-latest` ### Einstieg Nemotron 3.5 Lightning ist ein Textmodell von NVIDIA für längere Agentenaufgaben, Programmierung, dokumentgestützte Suche und Dialog. Zulässige Eingaben Text Ergebnisse Text ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Eingabe `text` Ausgabe `text` Kontext 4 096 tokens Maximale Ausgabe 1 024 tokens Ausgabeformat json oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits nemotron-lightning | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— | | Feld`messages[].content` | Typ`string\|content_part[]\|null` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_calls` | Typ`tool_call[]` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_call_id` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— | | Feld`messages[].name` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].reasoning_content` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— | | Feld`messages[].reasoning_details` | Typ`object\|array` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`max_completion_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | | Feld`stream_options.include_usage` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`temperature` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`top_p` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`stop` | Typ`string\|string[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools` | Typ`function_tool[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].type` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].function.name` | Typ`string` | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— | | Feld`tools[].function.description` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tools[].function.parameters` | Typ`JSON_schema` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tool_choice` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`parallel_tool_calls` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`response_format` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning_effort` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`service_tier` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`instructions` | Typ`string` | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— | | Feld`functions` | Typ`function[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`function_call` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`prompt_cache_options` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | Kombinationen von Eingabematerialien **Text** · UTF8-Text `messages[].content` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`material_types` | Vertragtext | | Parameter`required` | Vertragmodel, messages | | Parameter`optional_controls` | Vertragnull | | Parameter`content_type` | Vertragapplication/json | | Parameter`text_file_material` | VertragTatsächlicher UTF-8-Inhalt wird als Text eingefügt; Datei-IDs/URLs müssen separat und exakt unterstützt werden | Lebenszyklus: `exact retained published method` Methodenstrukturen und IDs sind exakt; die Fähigkeiten des Anbieters sind von der Zulassung einer Anfrage zu unterscheiden. ### Tarife #### Ailoot-Methodentarife Eingabe $ 0,00008 */ 1K* Ausgabe $ 0,0002 */ 1K* Cache lesen $ 0,00008 */ 1K* In Cache schreiben $ 0,00008 */ 1K* In Cache schreiben, 5 Min. $ 0,00008 */ 1K tokens* Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot · OpenAI Chat TextbeispielPython SDKNode.js SDKPython-Stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nemotron-lightning", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nemotron-lightning", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nemotron-lightning", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nemotron-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Ergebnisse abrufen und speichern #### Ailoot · OpenAI Chat json oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`choices[].index` | Typinteger | | Feld`choices[].message.content` | Typstring\|null | | Feld`choices[].message.tool_calls` | Typtool\_call\[\] | | Feld`choices[].message.reasoning_content` | Typstring | | Feld`choices[].message.reasoning_details` | Typobject\|array | | Feld`choices[].finish_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot** [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) **Ailoot · OpenAI Chat** `POST /v1/chat/completions` `nemotron-lightning-latest` [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) NVIDIA /`nemotron-lightning-latest` Modell-ID - `nvidia/nemotron-3.5-lightning-30b-a3b` - `nemotron-lightning` - `nemotron-lightning-latest` ### Einstieg Nemotron 3.5 Lightning ist ein Textmodell von NVIDIA für längere Agentenaufgaben, Programmierung, dokumentgestützte Suche und Dialog. Zulässige Eingaben Text Ergebnisse Text ### In Ailoot verfügbar · Eingaben und Methoden **Ailoot · OpenAI Chat** `POST /v1/chat/completions` Eingabe `text` Ausgabe `text` Kontext 4 096 tokens Maximale Ausgabe 1 024 tokens Ausgabeformat json oder SSE | Feld | Typ | Anforderung | Werte und Limits | Standard | | --- | --- | --- | --- | --- | | Feld`model` | Typ`string` | AnforderungErforderlich | Werte und Limits nemotron-lightning-latest | Standard— | | Feld`messages` | Typ`message[]` | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— | | Feld`messages[].role` | Typ`string` | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— | | Feld`messages[].content` | Typ`string\|content_part[]\|null` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_calls` | Typ`tool_call[]` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].tool_call_id` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— | | Feld`messages[].name` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`messages[].reasoning_content` | Typ`string` | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— | | Feld`messages[].reasoning_details` | Typ`object\|array` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`max_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`max_completion_tokens` | Typ`integer` | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— | | Feld`stream` | Typ`boolean` | AnforderungOptional | Werte und Limits | Standardfalse | | Feld`stream_options.include_usage` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`temperature` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`top_p` | Typ`number` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`stop` | Typ`string\|string[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools` | Typ`function_tool[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].type` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`tools[].function.name` | Typ`string` | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— | | Feld`tools[].function.description` | Typ`string` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tools[].function.parameters` | Typ`JSON_schema` | AnforderungOptional | Werte und Limits | Standard— | | Feld`tool_choice` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`parallel_tool_calls` | Typ`boolean` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`response_format` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning_effort` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`reasoning` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`service_tier` | Typ`string` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`instructions` | Typ`string` | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— | | Feld`functions` | Typ`function[]` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`function_call` | Typ`string\|object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | | Feld`prompt_cache_options` | Typ`object` | AnforderungOptional | Werte und Limits Modellabhängig | Standard— | Kombinationen von Eingabematerialien **Text** · UTF8-Text `messages[].content` Methodenparameter und Lebenszyklus | Parameter | Vertrag | | --- | --- | | Parameter`material_types` | Vertragtext | | Parameter`required` | Vertragmodel, messages | | Parameter`optional_controls` | Vertragnull | | Parameter`content_type` | Vertragapplication/json | | Parameter`text_file_material` | VertragTatsächlicher UTF-8-Inhalt wird als Text eingefügt; Datei-IDs/URLs müssen separat und exakt unterstützt werden | Lebenszyklus: `exact retained published method` Methodenstrukturen und IDs sind exakt; die Fähigkeiten des Anbieters sind von der Zulassung einer Anfrage zu unterscheiden. ### Tarife #### Ailoot-Methodentarife Eingabe $ 0,00008 */ 1K* Ausgabe $ 0,0002 */ 1K* Cache lesen $ 0,00008 */ 1K* In Cache schreiben $ 0,00008 */ 1K* In Cache schreiben, 5 Min. $ 0,00008 */ 1K tokens* Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. [So funktionieren Reservierung und Abrechnung →](https://ailoot.ai/docs/de-at/billing/reserve/) ### Beispielanfragen #### Ailoot · OpenAI Chat TextbeispielPython SDKNode.js SDKPython-Stream ```bash set -eu : "${AILOOT_API_KEY:?Set your Ailoot API key}" : "${AILOOT_TEXT_FILE:?Set your actual UTF-8 source-material file}" export AILOOT_TEXT_FILE python3 - <<'PY_REQUEST' import json,os from pathlib import Path p=json.loads('{"model": "nemotron-lightning-latest", "messages": []}') f=Path(os.environ["AILOOT_TEXT_FILE"]) if not f.is_file():raise SystemExit("Choose your actual UTF-8 source material") text=f.read_text(encoding="utf-8") if not text.strip():raise SystemExit("Source material must contain text") p["messages"]=[{"role":"user","content":"Summarize this material and quote supporting source passages.\n\n"+text}] Path("request.json").write_text(json.dumps(p,ensure_ascii=False)) PY_REQUEST curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \ -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \ --data-binary @request.json -D response-headers.txt -o result.json python3 - <<'PY_RESULT' import json from pathlib import Path print(json.dumps(json.loads(Path("result.json").read_text()),ensure_ascii=False,indent=2)) PY_RESULT ``` ```python from openai import OpenAI import os if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client = OpenAI(base_url="https://api.ailoot.ai/v1", api_key=os.environ["AILOOT_API_KEY"], max_retries=0) resp = client.chat.completions.create( model="nemotron-lightning-latest", messages=[{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}], ) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) save_result(resp.to_dict(mode="json")) ``` ```js import OpenAI from "openai"; if (!process.env.AILOOT_API_KEY?.trim()) throw new Error("Set AILOOT_API_KEY before making a request"); const client = new OpenAI({ baseURL: "https://api.ailoot.ai/v1", apiKey: process.env.AILOOT_API_KEY, maxRetries: 0 }); const resp = await client.chat.completions.create({ model: "nemotron-lightning-latest", messages: [{ role: "user", content: "Explain the difference between an observation and a hypothesis in three sentences." }], }); import { writeFileSync } from "node:fs"; function saveResult(data, stem = "result") { writeFileSync(stem + ".json", JSON.stringify(data, null, 2)); console.log(JSON.stringify(data, null, 2)); const saveBlob = (encoded, suffix, label) => { const raw = Buffer.from(encoded, "base64"); const ext = raw.subarray(0,8).equals(Buffer.from([137,80,78,71,13,10,26,10])) ? "png" : raw[0]===255 && raw[1]===216 ? "jpg" : raw.subarray(0,4).toString()==="RIFF" && raw.subarray(8,12).toString()==="WEBP" ? "webp" : suffix; const file = `${stem}-${label}.${ext}`; writeFileSync(file, raw); console.log("Saved", file); }; for (const [i, block] of (data.content || []).entries()) console.log("Content", i, JSON.stringify(block)); for (const choice of data.choices || []) console.log("Choice", choice.index, JSON.stringify(choice.message || choice.delta || {})); for (const [i, item] of (data.output || []).entries()) { console.log("Output", i, JSON.stringify(item)); if (item.type === "image_generation_call" && item.result) saveBlob(item.result, item.output_format || "bin", `output-${i}`); } for (const [ci, candidate] of (data.candidates || []).entries()) { for (const [pi, part] of (candidate.content?.parts || []).entries()) { console.log("Candidate/part", ci, pi, JSON.stringify(part)); const blob = part.inlineData || part.inline_data; if (blob?.data) { const mime = blob.mimeType || blob.mime_type; const suffix = ({"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"})[mime] || "bin"; saveBlob(blob.data, suffix, `candidate-${ci}-part-${pi}`); } } } } saveResult(resp); ``` ```python from openai import OpenAI import os from pathlib import Path if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request") client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0) import base64, json from pathlib import Path def save_result(data, stem="result"): # Keep every field, including usage, IDs, reasoning and tool requests. Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8") print(json.dumps(data, ensure_ascii=False, indent=2)) def save_blob(encoded, suffix, label): raw = base64.b64decode(encoded, altchars=b"-_", validate=True) ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix file = Path(stem + "-" + label + "." + ext) file.write_bytes(raw) print("Saved", file) for index, block in enumerate(data.get("content") or []): print("Content", index, json.dumps(block, ensure_ascii=False)) for choice in data.get("choices") or []: print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False)) for index, item in enumerate(data.get("output") or []): print("Output", index, json.dumps(item, ensure_ascii=False)) if item.get("type") == "image_generation_call" and item.get("result"): save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index)) for ci, candidate in enumerate(data.get("candidates") or []): for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []): print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False)) blob = part.get("inlineData") or part.get("inline_data") if blob and blob.get("data"): mime = blob.get("mimeType") or blob.get("mime_type") suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin") save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi)) with client.chat.completions.stream(model='nemotron-lightning-latest',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream: with Path("stream-events.jsonl").open("w",encoding="utf-8") as log: for event in stream: payload=event.to_dict(mode="json") log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush() print(json.dumps(payload,ensure_ascii=False)) final=stream.get_final_completion() save_result(final.to_dict(mode="json"),"stream-result") ``` ### Ergebnisse abrufen und speichern #### Ailoot · OpenAI Chat json oder SSE ##### Alle fertiggestellten Ergebnisse aufbewahren Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf. Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten. ##### Wenn die ursprüngliche Antwort geprüft werden muss Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben. Antwortfelder | Feld | Typ | | --- | --- | | Feld`choices[].index` | Typinteger | | Feld`choices[].message.content` | Typstring\|null | | Feld`choices[].message.tool_calls` | Typtool\_call\[\] | | Feld`choices[].message.reasoning_content` | Typstring | | Feld`choices[].message.reasoning_details` | Typobject\|array | | Feld`choices[].finish_reason` | Typstring\|null | | Feld`usage` | Typobject | Fehler und nächste Schritte | Antwort | Bedingung | Nächster Schritt | | --- | --- | --- | | Antwort400 · `invalid_request_error` | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. | ### Aliasnamen #### Modellaliasnamen **Ailoot** [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) #### Aliasnamen für Methodenpfade Verwenden Sie die oben angezeigten Methodenpfade. #### Zugehörige Aufrufer-IDs [`nvidia/nemotron-3.5-lightning-30b-a3b`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nvidia%2Fnemotron-3.5-lightning-30b-a3b&fmt=chat), [`nemotron-lightning`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning&fmt=chat), [`nemotron-lightning-latest`](https://ailoot.ai/models/de-at/#m=nvidia%2Fnemotron-3.5-lightning-30b-a3b&route=Core&caller=nemotron-lightning-latest&fmt=chat) FAQ · nvidia/nemotron-3.5-lightning-30b-a3b Welche Eingaben und Ergebnisse sind verfügbar? `POST /v1/messages` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `text` → `text` `POST /v1/chat/completions` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `text` → `text` `POST /v1/chat/completions` · `nemotron-lightning`: `text` → `text` `POST /v1/chat/completions` · `nemotron-lightning-latest`: `text` → `text` Welche Felder verwendet die Anfrage? `POST /v1/messages` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `model`, `messages`, `system`, `max_tokens`, `stream`, `metadata` `POST /v1/chat/completions` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `model`, `messages`, `stream` `POST /v1/chat/completions` · `nemotron-lightning`: `model`, `messages`, `stream` `POST /v1/chat/completions` · `nemotron-lightning-latest`: `model`, `messages`, `stream` Welche Grenzen gelten? `POST /v1/messages` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `ctx`: `262144`; `max_out`: `32768`; `messages.min_items`: `1`; `max_tokens.minimum`: `1` `POST /v1/chat/completions` · `nvidia/nemotron-3.5-lightning-30b-a3b`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` `POST /v1/chat/completions` · `nemotron-lightning`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` `POST /v1/chat/completions` · `nemotron-lightning-latest`: `ctx`: `4096`; `max_out`: `1024`; `messages.min_items`: `1` Verbinden Sie Ailoot mit Claude Code, OpenCode, Hermes oder Ihrer eigenen Anwendung. ## Das Unternehmen und sein Projektportfolio Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe. ## Tokens mit Rabatt kaufen. Aborabatt für regelmäßige Arbeit. Aktionscodes bieten bis 50% beim Tokenkauf. Abo Wählen Sie einen Tarif mit Rabatt für Ihre regelmäßigen Anfragen. Aktionscode bis 50% Geben Sie den Code beim Kauf ein. Der Preis wird nach den gültigen Aktionsbedingungen berechnet. Ausgaben in der Historie Modell, Tokens und Betrag werden für jede Anfrage gespeichert. [Abo wählen](https://ailoot.ai/docs/de-at/billing/subscriptions/) · [Modellpreise ansehen](https://ailoot.ai/models/de-at/) ## Verbinden Sie die API mit dem Produkt, das Sie verkaufen. SaaS, Anwendungen und Bots nach dem offiziellen Angebot und Lizenzvertrag von Ailoot. Fordern Sie für den Weiterverkauf eine Reseller-Lizenz an. Kommerzielle Anwendung Integrieren Sie Text-, Bild-, Video- und Audioerzeugung in kostenpflichtige Funktionen Ihres Dienstes. Reseller-Lizenz Senden Sie Projektbeschreibung und Zugangsmodell. Fordern Sie schriftliche Nutzungs- und Weiterverkaufsbedingungen an. Dokumente auf der Website Offizielles Angebot, Lizenzvertrag und Datenschutzerklärung sind vor der Verbindung zugänglich. [Reseller-Lizenz anfordern](mailto:support@ailoot.ai) · [Offizielles Angebot und Lizenzvertrag](https://ailoot.ai/legal/offer?lang=de-at) ## Ailoot · Das Unternehmen und sein Projektportfolio Ailoot baut auf bewährte Betriebserfahrung, einen großen Kundenstamm, stabilen Service und kontinuierliche KPI-Kontrolle. Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe. Ailoot nutzt diese Betriebserfahrung für den API-Zugang zu KI-Funktionen in Kundenprodukten, Agenten, Anwendungen und Automatisierungen.