Nemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-taalmodel voor teksttaken met redenering en directe antwoorden. Het producentprofiel vermeldt 30 miljard parameters in totaal en 3 miljard actieve parameters, en combineert Mamba- en transformercomponenten met multi-token prediction. De aangehaalde BF16-uitgave is het modelmateriaal van de producent op volledige precisie, afzonderlijk van de geoptimaliseerde edities met lage precisie.
De fabrikant beschrijft voortraining op meer dan twintig biljoen tokens, gevolgd door verdere training voor multi-token prediction, gesuperviseerde fine-tuning en reinforcement learning in meerdere omgevingen. De instructie- en reinforcement-learningtaken omvatten code, wiskunde, wetenschap, toolaanroepen, gestructureerde uitvoer en interactie met meerdere beurten. Multi-token prediction is een architectuur- en trainingskenmerk van Lightning, geen extra uitvoertype zoals beeld- of audiogeneratie.
Het model aanvaardt tekst en geeft tekst terug. De door de maker ondersteunde talen omvatten Engels, Spaans, Frans, Duits, Italiaans en Japans. Geef de uitvoertaal op en behoud technische namen of code-identificaties die niet mogen veranderen.
Het chatsjabloon van de producent kan denken in- of uitschakelen. Een redeneertaak ontwikkelt een tussenliggende analyse vóór het eindantwoord, terwijl een directe taak het antwoord zonder dat spoor kan vragen. De maker beveelt temperature 1.0 en top-p 0.95 aan voor het referentieprofiel. Geef het vereiste eindresultaat afzonderlijk op: een oplossing, een gerichte codewijziging, een bronvergelijking of een gedefinieerd gegevensrecord.
Een praktische opdracht luidt: “Gebruik deze bronfragmenten om de vereisten te vergelijken en identificeer van welke voorwaarde elke conclusie afhangt.” Geef voor programmeerwerk de relevante implementatie, de waargenomen fout en het verwachte gedrag op, en vraag om een patch die op de onderbouwing steunt. Houd voorgestelde code gescheiden van een werkelijk validatieresultaat.
De natraining van NVIDIA omvat tools in meerdere stappen en gestructureerde uitvoer. Lever functies met een precies doel en argumentschema’s aan wanneer een applicatie het model als agent gebruikt. De applicatie voert de gekozen bewerkingen uit en geeft waarnemingen voor de volgende stap terug. Een gekozen functie of een gegenereerd record met argumenten voert de bewerking niet zelfstandig uit.
Definieer voor een gestructureerd resultaat de betekenis van velden en de afspraken voor ontbrekende waarden. Controleer waarden aan de hand van de invoer, ook wanneer het formaat geschikt is voor een volgend systeem. Een doorlopende taak moet de waarnemingen bewaren die de voortgang aantonen, en het eindcriterium dat de voltooiing aangeeft.
Het model ondersteunt in het gedocumenteerde profiel een context tot één miljoen tokens. De maker demonstreert ook een kleinere configuratie van 256K voor een uitvoeringsomgeving met beperkt geheugen; het maximale profiel en een gekozen configuratie zijn dus verschillend. Bronmateriaal, geschiedenis, toolresultaten, redenering en het eindantwoord delen de beschikbare context. De formulering over uitvoercontext op de kaart stelt geen extra onafhankelijk antwoordbudget van één miljoen tokens vast.
De BF16-referentie, de producentuitgaven met lage precisie en de eerdere Nemotron 3 Nano hebben elk hun eigen editie-eigenschappen. Gebruik gezaghebbende tekst voor brongevoelige beweringen en werkelijke applicatiewaarnemingen voor uitgevoerd werk. Het bruikbare resultaat is een controleerbare tekstuele oplossing, codevoorstel of gestructureerde analyse waarvan de aannames en onderbouwing duidelijk blijven.
", "aboutText": "Nemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-taalmodel voor teksttaken met redenering en directe antwoorden. Het producentprofiel vermeldt 30 miljard parameters in totaal en 3 miljard actieve parameters, en combineert Mamba- en transformercomponenten met multi-token prediction. De aangehaalde BF16-uitgave is het modelmateriaal van de producent op volledige precisie, afzonderlijk van de geoptimaliseerde edities met lage precisie.\n\n### Training en ontwerp van de editie\n\nDe fabrikant beschrijft voortraining op meer dan twintig biljoen tokens, gevolgd door verdere training voor multi-token prediction, gesuperviseerde fine-tuning en reinforcement learning in meerdere omgevingen. De instructie- en reinforcement-learningtaken omvatten code, wiskunde, wetenschap, toolaanroepen, gestructureerde uitvoer en interactie met meerdere beurten. Multi-token prediction is een architectuur- en trainingskenmerk van Lightning, geen extra uitvoertype zoals beeld- of audiogeneratie.\n\nHet model aanvaardt tekst en geeft tekst terug. De door de maker ondersteunde talen omvatten Engels, Spaans, Frans, Duits, Italiaans en Japans. Geef de uitvoertaal op en behoud technische namen of code-identificaties die niet mogen veranderen.\n\n### Redenering of direct antwoord\n\nHet chatsjabloon van de producent kan denken in- of uitschakelen. Een redeneertaak ontwikkelt een tussenliggende analyse vóór het eindantwoord, terwijl een directe taak het antwoord zonder dat spoor kan vragen. De maker beveelt temperature 1.0 en top-p 0.95 aan voor het referentieprofiel. Geef het vereiste eindresultaat afzonderlijk op: een oplossing, een gerichte codewijziging, een bronvergelijking of een gedefinieerd gegevensrecord.\n\nEen praktische opdracht luidt: “Gebruik deze bronfragmenten om de vereisten te vergelijken en identificeer van welke voorwaarde elke conclusie afhangt.” Geef voor programmeerwerk de relevante implementatie, de waargenomen fout en het verwachte gedrag op, en vraag om een patch die op de onderbouwing steunt. Houd voorgestelde code gescheiden van een werkelijk validatieresultaat.\n\n### Tools en gestructureerd werk\n\nDe natraining van NVIDIA omvat tools in meerdere stappen en gestructureerde uitvoer. Lever functies met een precies doel en argumentschema’s aan wanneer een applicatie het model als agent gebruikt. De applicatie voert de gekozen bewerkingen uit en geeft waarnemingen voor de volgende stap terug. Een gekozen functie of een gegenereerd record met argumenten voert de bewerking niet zelfstandig uit.\n\nDefinieer voor een gestructureerd resultaat de betekenis van velden en de afspraken voor ontbrekende waarden. Controleer waarden aan de hand van de invoer, ook wanneer het formaat geschikt is voor een volgend systeem. Een doorlopende taak moet de waarnemingen bewaren die de voortgang aantonen, en het eindcriterium dat de voltooiing aangeeft.\n\n### Context en producentconfiguratie\n\nHet model ondersteunt in het gedocumenteerde profiel een context tot één miljoen tokens. De maker demonstreert ook een kleinere configuratie van 256K voor een uitvoeringsomgeving met beperkt geheugen; het maximale profiel en een gekozen configuratie zijn dus verschillend. Bronmateriaal, geschiedenis, toolresultaten, redenering en het eindantwoord delen de beschikbare context. De formulering over uitvoercontext op de kaart stelt geen extra onafhankelijk antwoordbudget van één miljoen tokens vast.\n\nDe BF16-referentie, de producentuitgaven met lage precisie en de eerdere Nemotron 3 Nano hebben elk hun eigen editie-eigenschappen. Gebruik gezaghebbende tekst voor brongevoelige beweringen en werkelijke applicatiewaarnemingen voor uitgevoerd werk. Het bruikbare resultaat is een controleerbare tekstuele oplossing, codevoorstel of gestructureerde analyse waarvan de aannames en onderbouwing duidelijk blijven.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-tekstmodel voor redeneren, programmeren en taken met tools. Het gedocumenteerde producentprofiel 30B/A3B voegt multi-token prediction, instelbaar denken en een context tot één miljoen tokens toe, met een afzonderlijke BF16-referentie-uitgave.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Nemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-taalmodel voor teksttaken met redenering en directe antwoorden. Het producentprofiel vermeldt 30 miljard parameters in totaal en 3 miljard actieve parameters, en combineert Mamba- en transformercomponenten met multi-token prediction. De aangehaalde BF16-uitgave is het modelmateriaal van de producent op volledige precisie, afzonderlijk van de geoptimaliseerde edities met lage precisie.
De fabrikant beschrijft voortraining op meer dan twintig biljoen tokens, gevolgd door verdere training voor multi-token prediction, gesuperviseerde fine-tuning en reinforcement learning in meerdere omgevingen. De instructie- en reinforcement-learningtaken omvatten code, wiskunde, wetenschap, toolaanroepen, gestructureerde uitvoer en interactie met meerdere beurten. Multi-token prediction is een architectuur- en trainingskenmerk van Lightning, geen extra uitvoertype zoals beeld- of audiogeneratie.
Het model aanvaardt tekst en geeft tekst terug. De door de maker ondersteunde talen omvatten Engels, Spaans, Frans, Duits, Italiaans en Japans. Geef de uitvoertaal op en behoud technische namen of code-identificaties die niet mogen veranderen.
Het chatsjabloon van de producent kan denken in- of uitschakelen. Een redeneertaak ontwikkelt een tussenliggende analyse vóór het eindantwoord, terwijl een directe taak het antwoord zonder dat spoor kan vragen. De maker beveelt temperature 1.0 en top-p 0.95 aan voor het referentieprofiel. Geef het vereiste eindresultaat afzonderlijk op: een oplossing, een gerichte codewijziging, een bronvergelijking of een gedefinieerd gegevensrecord.
Een praktische opdracht luidt: “Gebruik deze bronfragmenten om de vereisten te vergelijken en identificeer van welke voorwaarde elke conclusie afhangt.” Geef voor programmeerwerk de relevante implementatie, de waargenomen fout en het verwachte gedrag op, en vraag om een patch die op de onderbouwing steunt. Houd voorgestelde code gescheiden van een werkelijk validatieresultaat.
De natraining van NVIDIA omvat tools in meerdere stappen en gestructureerde uitvoer. Lever functies met een precies doel en argumentschema’s aan wanneer een applicatie het model als agent gebruikt. De applicatie voert de gekozen bewerkingen uit en geeft waarnemingen voor de volgende stap terug. Een gekozen functie of een gegenereerd record met argumenten voert de bewerking niet zelfstandig uit.
Definieer voor een gestructureerd resultaat de betekenis van velden en de afspraken voor ontbrekende waarden. Controleer waarden aan de hand van de invoer, ook wanneer het formaat geschikt is voor een volgend systeem. Een doorlopende taak moet de waarnemingen bewaren die de voortgang aantonen, en het eindcriterium dat de voltooiing aangeeft.
Het model ondersteunt in het gedocumenteerde profiel een context tot één miljoen tokens. De maker demonstreert ook een kleinere configuratie van 256K voor een uitvoeringsomgeving met beperkt geheugen; het maximale profiel en een gekozen configuratie zijn dus verschillend. Bronmateriaal, geschiedenis, toolresultaten, redenering en het eindantwoord delen de beschikbare context. De formulering over uitvoercontext op de kaart stelt geen extra onafhankelijk antwoordbudget van één miljoen tokens vast.
De BF16-referentie, de producentuitgaven met lage precisie en de eerdere Nemotron 3 Nano hebben elk hun eigen editie-eigenschappen. Gebruik gezaghebbende tekst voor brongevoelige beweringen en werkelijke applicatiewaarnemingen voor uitgevoerd werk. Het bruikbare resultaat is een controleerbare tekstuele oplossing, codevoorstel of gestructureerde analyse waarvan de aannames en onderbouwing duidelijk blijven.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten nvidia/nemotron-3.5-lightning | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00014 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.00008 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00014 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.00008 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Gebruik de hierboven getoonde methodepaden.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-tekstmodel voor redeneren, programmeren en taken met tools. Het gedocumenteerde producentprofiel 30B/A3B voegt multi-token prediction, instelbaar denken en een context tot één miljoen tokens toe, met een afzonderlijke BF16-referentie-uitgave.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Nemotron 3.5 Lightning is NVIDIA’s hybride mixture-of-experts-taalmodel voor teksttaken met redenering en directe antwoorden. Het producentprofiel vermeldt 30 miljard parameters in totaal en 3 miljard actieve parameters, en combineert Mamba- en transformercomponenten met multi-token prediction. De aangehaalde BF16-uitgave is het modelmateriaal van de producent op volledige precisie, afzonderlijk van de geoptimaliseerde edities met lage precisie.
De fabrikant beschrijft voortraining op meer dan twintig biljoen tokens, gevolgd door verdere training voor multi-token prediction, gesuperviseerde fine-tuning en reinforcement learning in meerdere omgevingen. De instructie- en reinforcement-learningtaken omvatten code, wiskunde, wetenschap, toolaanroepen, gestructureerde uitvoer en interactie met meerdere beurten. Multi-token prediction is een architectuur- en trainingskenmerk van Lightning, geen extra uitvoertype zoals beeld- of audiogeneratie.
Het model aanvaardt tekst en geeft tekst terug. De door de maker ondersteunde talen omvatten Engels, Spaans, Frans, Duits, Italiaans en Japans. Geef de uitvoertaal op en behoud technische namen of code-identificaties die niet mogen veranderen.
Het chatsjabloon van de producent kan denken in- of uitschakelen. Een redeneertaak ontwikkelt een tussenliggende analyse vóór het eindantwoord, terwijl een directe taak het antwoord zonder dat spoor kan vragen. De maker beveelt temperature 1.0 en top-p 0.95 aan voor het referentieprofiel. Geef het vereiste eindresultaat afzonderlijk op: een oplossing, een gerichte codewijziging, een bronvergelijking of een gedefinieerd gegevensrecord.
Een praktische opdracht luidt: “Gebruik deze bronfragmenten om de vereisten te vergelijken en identificeer van welke voorwaarde elke conclusie afhangt.” Geef voor programmeerwerk de relevante implementatie, de waargenomen fout en het verwachte gedrag op, en vraag om een patch die op de onderbouwing steunt. Houd voorgestelde code gescheiden van een werkelijk validatieresultaat.
De natraining van NVIDIA omvat tools in meerdere stappen en gestructureerde uitvoer. Lever functies met een precies doel en argumentschema’s aan wanneer een applicatie het model als agent gebruikt. De applicatie voert de gekozen bewerkingen uit en geeft waarnemingen voor de volgende stap terug. Een gekozen functie of een gegenereerd record met argumenten voert de bewerking niet zelfstandig uit.
Definieer voor een gestructureerd resultaat de betekenis van velden en de afspraken voor ontbrekende waarden. Controleer waarden aan de hand van de invoer, ook wanneer het formaat geschikt is voor een volgend systeem. Een doorlopende taak moet de waarnemingen bewaren die de voortgang aantonen, en het eindcriterium dat de voltooiing aangeeft.
Het model ondersteunt in het gedocumenteerde profiel een context tot één miljoen tokens. De maker demonstreert ook een kleinere configuratie van 256K voor een uitvoeringsomgeving met beperkt geheugen; het maximale profiel en een gekozen configuratie zijn dus verschillend. Bronmateriaal, geschiedenis, toolresultaten, redenering en het eindantwoord delen de beschikbare context. De formulering over uitvoercontext op de kaart stelt geen extra onafhankelijk antwoordbudget van één miljoen tokens vast.
De BF16-referentie, de producentuitgaven met lage precisie en de eerdere Nemotron 3 Nano hebben elk hun eigen editie-eigenschappen. Gebruik gezaghebbende tekst voor brongevoelige beweringen en werkelijke applicatiewaarnemingen voor uitgevoerd werk. Het bruikbare resultaat is een controleerbare tekstuele oplossing, codevoorstel of gestructureerde analyse waarvan de aannames en onderbouwing duidelijk blijven.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten nvidia/nemotron-3.5-lightning | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00014 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.00008 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.00014 / 1K tokens Uitvoer · Uitvoertokens $0.0004 / 1K tokens Invoer · Cache lezen $0.00008 / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.