Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Textaufgaben mit Denkprozess oder direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die angeführte BF16-Version ist das Modellmaterial des Herstellers mit voller Präzision, getrennt von seinen optimierten Modellversionen mit niedriger Präzision.
Der Hersteller beschreibt Vortraining mit mehr als zwanzig Billionen Tokens, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Aufgaben für Anweisungsbefolgung und Reinforcement Learning umfassen Code, Mathematik, Naturwissenschaften, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Dialogrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audioerzeugung.
Das Modell nimmt Text entgegen und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen zählen Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Legen Sie die Ausgabesprache fest und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Die Chatvorlage des Herstellers kann den Denkmodus aktivieren oder deaktivieren. Eine Aufgabe mit Denkprozess entwickelt vor der endgültigen Antwort eine zwischenzeitliche Analyse; eine direkte Aufgabe kann die Antwort ohne diesen Verlauf anfordern. Der Hersteller empfiehlt für sein Referenzprofil temperature 1.0 und top-p 0.95. Legen Sie das erforderliche Endergebnis unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine zweckmäßige Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und ermittle die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen durch die Belege begründeten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs nachgelagertes Training umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Vorgänge aus und gibt Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein erzeugter Argumentdatensatz führt den Vorgang nicht selbstständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Eine fortlaufende Aufgabe sollte die Beobachtungen bewahren, die Fortschritt belegen, ebenso wie das abschließende Kriterium, das ihre Erfüllung kennzeichnet.
Das Modell unterstützt im dokumentierten Profil Kontext bis zu einer Million Tokens. Der Hersteller demonstriert außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Arbeitsspeicher; das maximale Profil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Verlauf, Werkzeugergebnisse, Denkprozess und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung zum Ausgabekontext auf der Modellkarte begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Tokens.
Die BF16-Referenz, die Herstellerversionen mit niedriger Präzision und das frühere Nemotron 3 Nano besitzen jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für Aussagen, bei denen es auf die genaue Quelle ankommt, und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nützliche Ergebnis ist eine prüfbare Textlösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und stützende Belege klar bleiben.
", "aboutText": "Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Textaufgaben mit Denkprozess oder direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die angeführte BF16-Version ist das Modellmaterial des Herstellers mit voller Präzision, getrennt von seinen optimierten Modellversionen mit niedriger Präzision.\n\n### Training und Gestaltung der Modellversion\n\nDer Hersteller beschreibt Vortraining mit mehr als zwanzig Billionen Tokens, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Aufgaben für Anweisungsbefolgung und Reinforcement Learning umfassen Code, Mathematik, Naturwissenschaften, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Dialogrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audioerzeugung.\n\nDas Modell nimmt Text entgegen und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen zählen Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Legen Sie die Ausgabesprache fest und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.\n\n### Denkprozess oder direkte Antwort\n\nDie Chatvorlage des Herstellers kann den Denkmodus aktivieren oder deaktivieren. Eine Aufgabe mit Denkprozess entwickelt vor der endgültigen Antwort eine zwischenzeitliche Analyse; eine direkte Aufgabe kann die Antwort ohne diesen Verlauf anfordern. Der Hersteller empfiehlt für sein Referenzprofil temperature 1.0 und top-p 0.95. Legen Sie das erforderliche Endergebnis unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.\n\nEine zweckmäßige Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und ermittle die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen durch die Belege begründeten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.\n\n### Werkzeuge und strukturierte Arbeit\n\nNVIDIAs nachgelagertes Training umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Vorgänge aus und gibt Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein erzeugter Argumentdatensatz führt den Vorgang nicht selbstständig aus.\n\nDefinieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Eine fortlaufende Aufgabe sollte die Beobachtungen bewahren, die Fortschritt belegen, ebenso wie das abschließende Kriterium, das ihre Erfüllung kennzeichnet.\n\n### Kontext und Herstellerkonfiguration\n\nDas Modell unterstützt im dokumentierten Profil Kontext bis zu einer Million Tokens. Der Hersteller demonstriert außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Arbeitsspeicher; das maximale Profil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Verlauf, Werkzeugergebnisse, Denkprozess und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung zum Ausgabekontext auf der Modellkarte begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Tokens.\n\nDie BF16-Referenz, die Herstellerversionen mit niedriger Präzision und das frühere Nemotron 3 Nano besitzen jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für Aussagen, bei denen es auf die genaue Quelle ankommt, und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nützliche Ergebnis ist eine prüfbare Textlösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und stützende Belege klar bleiben.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Textmodell für logisches Schlussfolgern, Programmieraufgaben und werkzeuggestützte Aufgaben. Das dokumentierte Herstellerprofil 30B/A3B ergänzt Multi-Token Prediction, einen konfigurierbaren Denkmodus und Kontext bis zu einer Million Tokens sowie eine eigenständige BF16-Referenzversion.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Textaufgaben mit Denkprozess oder direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die angeführte BF16-Version ist das Modellmaterial des Herstellers mit voller Präzision, getrennt von seinen optimierten Modellversionen mit niedriger Präzision.
Der Hersteller beschreibt Vortraining mit mehr als zwanzig Billionen Tokens, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Aufgaben für Anweisungsbefolgung und Reinforcement Learning umfassen Code, Mathematik, Naturwissenschaften, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Dialogrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audioerzeugung.
Das Modell nimmt Text entgegen und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen zählen Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Legen Sie die Ausgabesprache fest und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Die Chatvorlage des Herstellers kann den Denkmodus aktivieren oder deaktivieren. Eine Aufgabe mit Denkprozess entwickelt vor der endgültigen Antwort eine zwischenzeitliche Analyse; eine direkte Aufgabe kann die Antwort ohne diesen Verlauf anfordern. Der Hersteller empfiehlt für sein Referenzprofil temperature 1.0 und top-p 0.95. Legen Sie das erforderliche Endergebnis unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine zweckmäßige Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und ermittle die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen durch die Belege begründeten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs nachgelagertes Training umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Vorgänge aus und gibt Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein erzeugter Argumentdatensatz führt den Vorgang nicht selbstständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Eine fortlaufende Aufgabe sollte die Beobachtungen bewahren, die Fortschritt belegen, ebenso wie das abschließende Kriterium, das ihre Erfüllung kennzeichnet.
Das Modell unterstützt im dokumentierten Profil Kontext bis zu einer Million Tokens. Der Hersteller demonstriert außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Arbeitsspeicher; das maximale Profil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Verlauf, Werkzeugergebnisse, Denkprozess und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung zum Ausgabekontext auf der Modellkarte begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Tokens.
Die BF16-Referenz, die Herstellerversionen mit niedriger Präzision und das frühere Nemotron 3 Nano besitzen jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für Aussagen, bei denen es auf die genaue Quelle ankommt, und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nützliche Ergebnis ist eine prüfbare Textlösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und stützende Belege klar bleiben.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.00008 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.00008 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Verwenden Sie die oben angezeigten Methodenpfade.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Textmodell für logisches Schlussfolgern, Programmieraufgaben und werkzeuggestützte Aufgaben. Das dokumentierte Herstellerprofil 30B/A3B ergänzt Multi-Token Prediction, einen konfigurierbaren Denkmodus und Kontext bis zu einer Million Tokens sowie eine eigenständige BF16-Referenzversion.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Nemotron 3.5 Lightning ist NVIDIAs hybrides Mixture-of-Experts-Sprachmodell für Textaufgaben mit Denkprozess oder direkter Antwort. Das Herstellerprofil nennt insgesamt 30 Milliarden und 3 Milliarden aktive Parameter und kombiniert Mamba- und Transformer-Komponenten mit Multi-Token Prediction. Die angeführte BF16-Version ist das Modellmaterial des Herstellers mit voller Präzision, getrennt von seinen optimierten Modellversionen mit niedriger Präzision.
Der Hersteller beschreibt Vortraining mit mehr als zwanzig Billionen Tokens, gefolgt von weiterem Training für Multi-Token Prediction, überwachter Feinabstimmung und Reinforcement Learning in mehreren Umgebungen. Die Aufgaben für Anweisungsbefolgung und Reinforcement Learning umfassen Code, Mathematik, Naturwissenschaften, Werkzeugaufrufe, strukturierte Ausgaben und Interaktionen über mehrere Dialogrunden. Multi-Token Prediction ist eine Architektur- und Trainingseigenschaft von Lightning und kein zusätzlicher Ausgabetyp wie Bild- oder Audioerzeugung.
Das Modell nimmt Text entgegen und gibt Text zurück. Zu den vom Hersteller unterstützten Sprachen zählen Englisch, Spanisch, Französisch, Deutsch, Italienisch und Japanisch. Legen Sie die Ausgabesprache fest und erhalten Sie technische Namen oder Code-Kennungen, die unverändert bleiben sollen.
Die Chatvorlage des Herstellers kann den Denkmodus aktivieren oder deaktivieren. Eine Aufgabe mit Denkprozess entwickelt vor der endgültigen Antwort eine zwischenzeitliche Analyse; eine direkte Aufgabe kann die Antwort ohne diesen Verlauf anfordern. Der Hersteller empfiehlt für sein Referenzprofil temperature 1.0 und top-p 0.95. Legen Sie das erforderliche Endergebnis unabhängig davon fest: eine Lösung, eine gezielte Codeänderung, einen Quellenvergleich oder einen definierten Datensatz.
Eine zweckmäßige Aufgabenbeschreibung lautet: „Vergleiche anhand dieser Quellpassagen die Anforderungen und ermittle die Bedingung, von der jede Schlussfolgerung abhängt.“ Stellen Sie für Programmieraufgaben die relevante Implementierung, den beobachteten Fehler und das erwartete Verhalten bereit und fordern Sie einen durch die Belege begründeten Patch an. Halten Sie vorgeschlagenen Code von einem tatsächlichen Validierungsergebnis getrennt.
NVIDIAs nachgelagertes Training umfasst mehrstufige Werkzeugnutzung und strukturierte Ausgaben. Stellen Sie Funktionen mit präzisen Zwecken und Argumentschemata bereit, wenn eine Anwendung das Modell als Agenten verwendet. Die Anwendung führt ausgewählte Vorgänge aus und gibt Beobachtungen für den nächsten Schritt zurück. Eine ausgewählte Funktion oder ein erzeugter Argumentdatensatz führt den Vorgang nicht selbstständig aus.
Definieren Sie für ein strukturiertes Ergebnis die Bedeutung der Felder und die Konventionen für fehlende Werte. Prüfen Sie die Werte anhand der Eingabe, auch wenn das Format für ein nachgelagertes System geeignet ist. Eine fortlaufende Aufgabe sollte die Beobachtungen bewahren, die Fortschritt belegen, ebenso wie das abschließende Kriterium, das ihre Erfüllung kennzeichnet.
Das Modell unterstützt im dokumentierten Profil Kontext bis zu einer Million Tokens. Der Hersteller demonstriert außerdem eine kleinere 256K-Konfiguration für eine Ausführungsumgebung mit begrenztem Arbeitsspeicher; das maximale Profil und eine ausgewählte Konfiguration sind daher verschieden. Quellmaterial, Verlauf, Werkzeugergebnisse, Denkprozess und endgültige Antwort teilen sich den verfügbaren Kontext. Die Formulierung zum Ausgabekontext auf der Modellkarte begründet kein zusätzliches, unabhängiges Antwortbudget von einer Million Tokens.
Die BF16-Referenz, die Herstellerversionen mit niedriger Präzision und das frühere Nemotron 3 Nano besitzen jeweils eigene versionsspezifische Eigenschaften. Verwenden Sie maßgebliche Texte für Aussagen, bei denen es auf die genaue Quelle ankommt, und tatsächliche Anwendungsbeobachtungen für ausgeführte Arbeit. Das nützliche Ergebnis ist eine prüfbare Textlösung, ein Codevorschlag oder eine strukturierte Analyse, deren Annahmen und stützende Belege klar bleiben.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits nvidia/nemotron-3.5-lightning | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschließlich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.00008 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschließlichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.00014 / 1K Tokens Ausgabe · Ausgabetoken $0.0004 / 1K Tokens Eingabe · Cache lesen $0.00008 / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.