Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Reasoning und Textaufgaben mit direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden Parameter und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die referenzierte BF16-Ausgabe ist das Modellmaterial des Herstellers mit voller Präzision und von seinen optimierten Ausgaben mit niedriger Präzision getrennt.
Der Hersteller beschreibt ein Vortraining mit mehr als zwanzig Billionen Token, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Instruktions- und Reinforcement-Learning-Aufgaben umfassen Code, Mathematik, Wissenschaft, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Gesprächsrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audiogenerierung.
Das Modell akzeptiert Text und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen gehören Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Geben Sie die Ausgabesprache an und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Das Chat-Template des Herstellers kann Thinking aktivieren oder deaktivieren. Bei einer Reasoning-Aufgabe entsteht vor der endgültigen Antwort eine Zwischenanalyse; bei einer direkten Aufgabe kann die Antwort ohne diesen Verlauf angefordert werden. Der Hersteller empfiehlt für sein Referenzprofil Temperature 1.0 und top-p 0.95. Legen Sie das erforderliche endgültige Artefakt unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine praktische Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und benenne die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen an den Belegen ausgerichteten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs Nachtraining umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Operationen aus und liefert Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein generierter Argumentdatensatz führt die Operation nicht eigenständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Bei einer fortlaufenden Aufgabe sollten die Beobachtungen erhalten bleiben, die Fortschritt belegen, sowie das abschließende Kriterium für ihre Erledigung.
Das Modell unterstützt im dokumentierten Profil einen Kontext von bis zu einer Million Token. Der Hersteller zeigt außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Speicher; das Maximalprofil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Historie, Werkzeugergebnisse, Reasoning und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung der Modellkarte zum Ausgabekontext begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Token.
Die BF16-Referenz, die Herstellerveröffentlichungen mit niedriger Präzision und das frühere Nemotron 3 Nano haben jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für quellenabhängige Aussagen und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nutzbare Ergebnis ist eine überprüfbare textliche Lösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und Belege klar bleiben.
", "aboutText": "Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Reasoning und Textaufgaben mit direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden Parameter und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die referenzierte BF16-Ausgabe ist das Modellmaterial des Herstellers mit voller Präzision und von seinen optimierten Ausgaben mit niedriger Präzision getrennt.\n\n### Training und Gestaltung der Modellversion\n\nDer Hersteller beschreibt ein Vortraining mit mehr als zwanzig Billionen Token, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Instruktions- und Reinforcement-Learning-Aufgaben umfassen Code, Mathematik, Wissenschaft, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Gesprächsrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audiogenerierung.\n\nDas Modell akzeptiert Text und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen gehören Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Geben Sie die Ausgabesprache an und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.\n\n### Reasoning oder direkte Antwort\n\nDas Chat-Template des Herstellers kann Thinking aktivieren oder deaktivieren. Bei einer Reasoning-Aufgabe entsteht vor der endgültigen Antwort eine Zwischenanalyse; bei einer direkten Aufgabe kann die Antwort ohne diesen Verlauf angefordert werden. Der Hersteller empfiehlt für sein Referenzprofil Temperature 1.0 und top-p 0.95. Legen Sie das erforderliche endgültige Artefakt unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.\n\nEine praktische Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und benenne die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen an den Belegen ausgerichteten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.\n\n### Werkzeuge und strukturiertes Arbeiten\n\nNVIDIAs Nachtraining umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Operationen aus und liefert Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein generierter Argumentdatensatz führt die Operation nicht eigenständig aus.\n\nDefinieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Bei einer fortlaufenden Aufgabe sollten die Beobachtungen erhalten bleiben, die Fortschritt belegen, sowie das abschließende Kriterium für ihre Erledigung.\n\n### Kontext und Herstellerkonfiguration\n\nDas Modell unterstützt im dokumentierten Profil einen Kontext von bis zu einer Million Token. Der Hersteller zeigt außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Speicher; das Maximalprofil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Historie, Werkzeugergebnisse, Reasoning und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung der Modellkarte zum Ausgabekontext begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Token.\n\nDie BF16-Referenz, die Herstellerveröffentlichungen mit niedriger Präzision und das frühere Nemotron 3 Nano haben jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für quellenabhängige Aussagen und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nutzbare Ergebnis ist eine überprüfbare textliche Lösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und Belege klar bleiben.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Textmodell für Reasoning, Programmierung und werkzeuggesteuerte Aufgaben. Das dokumentierte Herstellerprofil 30B/A3B ergänzt Multi-Token Prediction, konfigurierbares Thinking und einen Kontext von bis zu einer Million Token; dazu gehört eine eigenständige BF16-Referenzausgabe.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Reasoning und Textaufgaben mit direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden Parameter und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die referenzierte BF16-Ausgabe ist das Modellmaterial des Herstellers mit voller Präzision und von seinen optimierten Ausgaben mit niedriger Präzision getrennt.
Der Hersteller beschreibt ein Vortraining mit mehr als zwanzig Billionen Token, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Instruktions- und Reinforcement-Learning-Aufgaben umfassen Code, Mathematik, Wissenschaft, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Gesprächsrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audiogenerierung.
Das Modell akzeptiert Text und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen gehören Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Geben Sie die Ausgabesprache an und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Das Chat-Template des Herstellers kann Thinking aktivieren oder deaktivieren. Bei einer Reasoning-Aufgabe entsteht vor der endgültigen Antwort eine Zwischenanalyse; bei einer direkten Aufgabe kann die Antwort ohne diesen Verlauf angefordert werden. Der Hersteller empfiehlt für sein Referenzprofil Temperature 1.0 und top-p 0.95. Legen Sie das erforderliche endgültige Artefakt unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine praktische Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und benenne die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen an den Belegen ausgerichteten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs Nachtraining umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Operationen aus und liefert Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein generierter Argumentdatensatz führt die Operation nicht eigenständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Bei einer fortlaufenden Aufgabe sollten die Beobachtungen erhalten bleiben, die Fortschritt belegen, sowie das abschließende Kriterium für ihre Erledigung.
Das Modell unterstützt im dokumentierten Profil einen Kontext von bis zu einer Million Token. Der Hersteller zeigt außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Speicher; das Maximalprofil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Historie, Werkzeugergebnisse, Reasoning und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung der Modellkarte zum Ausgabekontext begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Token.
Die BF16-Referenz, die Herstellerveröffentlichungen mit niedriger Präzision und das frühere Nemotron 3 Nano haben jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für quellenabhängige Aussagen und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nutzbare Ergebnis ist eine überprüfbare textliche Lösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und Belege klar bleiben.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.00008 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.00008 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Verwenden Sie die oben angezeigten Methodenpfade.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Textmodell für Reasoning, Programmierung und werkzeuggesteuerte Aufgaben. Das dokumentierte Herstellerprofil 30B/A3B ergänzt Multi-Token Prediction, konfigurierbares Thinking und einen Kontext von bis zu einer Million Token; dazu gehört eine eigenständige BF16-Referenzausgabe.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Reasoning und Textaufgaben mit direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden Parameter und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die referenzierte BF16-Ausgabe ist das Modellmaterial des Herstellers mit voller Präzision und von seinen optimierten Ausgaben mit niedriger Präzision getrennt.
Der Hersteller beschreibt ein Vortraining mit mehr als zwanzig Billionen Token, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Instruktions- und Reinforcement-Learning-Aufgaben umfassen Code, Mathematik, Wissenschaft, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Gesprächsrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audiogenerierung.
Das Modell akzeptiert Text und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen gehören Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Geben Sie die Ausgabesprache an und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Das Chat-Template des Herstellers kann Thinking aktivieren oder deaktivieren. Bei einer Reasoning-Aufgabe entsteht vor der endgültigen Antwort eine Zwischenanalyse; bei einer direkten Aufgabe kann die Antwort ohne diesen Verlauf angefordert werden. Der Hersteller empfiehlt für sein Referenzprofil Temperature 1.0 und top-p 0.95. Legen Sie das erforderliche endgültige Artefakt unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine praktische Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und benenne die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen an den Belegen ausgerichteten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs Nachtraining umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Operationen aus und liefert Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein generierter Argumentdatensatz führt die Operation nicht eigenständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Bei einer fortlaufenden Aufgabe sollten die Beobachtungen erhalten bleiben, die Fortschritt belegen, sowie das abschließende Kriterium für ihre Erledigung.
Das Modell unterstützt im dokumentierten Profil einen Kontext von bis zu einer Million Token. Der Hersteller zeigt außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Speicher; das Maximalprofil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Historie, Werkzeugergebnisse, Reasoning und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung der Modellkarte zum Ausgabekontext begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Token.
Die BF16-Referenz, die Herstellerveröffentlichungen mit niedriger Präzision und das frühere Nemotron 3 Nano haben jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für quellenabhängige Aussagen und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nutzbare Ergebnis ist eine überprüfbare textliche Lösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und Belege klar bleiben.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.00008 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Token Ausgabe · Ausgabetoken $0.0004 / 1K Token Eingabe · Cache-Lesen $0.00008 / 1K Token Eingabe · Cache-Schreiben — / 1K Token Eingabe · Cache-Schreiben, 1 Stunde — / 1K Token |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.