Nemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-sprogmodel til tekstopgaver med ræsonnement og direkte svar. Producentprofilen angiver 30 milliarder parametre i alt og 3 milliarder aktive parametre og kombinerer Mamba- og transformerkomponenter med forudsigelse af flere tokens. Den omtalte BF16-udgivelse er producentens modelmateriale i fuld præcision, adskilt fra de optimerede udgaver med lav præcision.
Producenten beskriver fortræning på mere end tyve billioner tokens efterfulgt af fortsat træning i forudsigelse af flere tokens, superviseret finjustering og forstærkningslæring i flere miljøer. Instruktions- og forstærkningslæringsopgaverne omfatter kode, matematik, videnskab, værktøjskald, struktureret output og interaktion med flere ture. Forudsigelse af flere tokens er en arkitektur- og træningsegenskab ved Lightning og ikke en ekstra outputtype som billed- eller lydgenerering.
Modellen modtager tekst og returnerer tekst. De sprog, producenten understøtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angiv outputsproget, og bevar tekniske navne eller kodeidentifikatorer, som ikke skal ændres.
Producentens chatskabelon kan aktivere eller deaktivere tænkning. En ræsonnementsopgave udvikler mellemliggende analyse før det endelige svar, mens en direkte opgave kan bede om svaret uden dette spor. Producenten anbefaler temperature 1.0 og top-p 0.95 til sin referenceprofil. Angiv det krævede slutprodukt uafhængigt heraf: en løsning, en målrettet kodeændring, en kildesammenligning eller en defineret datapost.
En praktisk opgavebeskrivelse er: “Brug disse kildepassager til at sammenligne kravene, og identificér den betingelse, som hver konklusion afhænger af.” Til programmering skal du levere den relevante implementering, den observerede fejl og den forventede adfærd og bede om en patch, som er knyttet til det underbyggende materiale. Hold foreslået kode adskilt fra et faktisk valideringsresultat.
NVIDIAs eftertræning dækker værktøjer i flere trin og strukturerede outputs. Lever funktioner med præcise formål og argumentskemaer, når en applikation bruger modellen som agent. Applikationen udfører de valgte handlinger og returnerer observationer til næste trin. En valgt funktion eller en genereret post med argumenter udfører ikke handlingen i sig selv.
Til et struktureret resultat skal du definere felternes betydning og konventioner for manglende værdier. Kontrollér værdierne mod inputtet, også når formatet egner sig til et efterfølgende system. En fortsat opgave bør bevare de observationer, der fastslår fremdriften, og det endelige kriterium, der markerer dens afslutning.
Modellen understøtter kontekst på op til én million tokens i den dokumenterede profil. Producenten demonstrerer også en mindre 256K-konfiguration til et eksekveringsmiljø med begrænset hukommelse, så den maksimale profil og en valgt konfiguration er forskellige ting. Kildemateriale, historik, værktøjsresultater, ræsonnement og det endelige svar deler den tilgængelige kontekst. Kortets formulering om outputkontekst fastslår ikke et ekstra, uafhængigt svarbudget på én million tokens.
BF16-referencen, producentudgivelserne med lav præcision og den tidligere Nemotron 3 Nano har separate udgaveegenskaber. Brug autoritative tekster til kildefølsomme påstande og faktiske observationer fra applikationen til udført arbejde. Det nyttige resultat er en tekstløsning, et kodeforslag eller en struktureret analyse, som kan gennemgås, og hvis antagelser og underbyggende materiale forbliver tydelige.
", "aboutText": "Nemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-sprogmodel til tekstopgaver med ræsonnement og direkte svar. Producentprofilen angiver 30 milliarder parametre i alt og 3 milliarder aktive parametre og kombinerer Mamba- og transformerkomponenter med forudsigelse af flere tokens. Den omtalte BF16-udgivelse er producentens modelmateriale i fuld præcision, adskilt fra de optimerede udgaver med lav præcision.\n\n### Træning og udgavens design\n\nProducenten beskriver fortræning på mere end tyve billioner tokens efterfulgt af fortsat træning i forudsigelse af flere tokens, superviseret finjustering og forstærkningslæring i flere miljøer. Instruktions- og forstærkningslæringsopgaverne omfatter kode, matematik, videnskab, værktøjskald, struktureret output og interaktion med flere ture. Forudsigelse af flere tokens er en arkitektur- og træningsegenskab ved Lightning og ikke en ekstra outputtype som billed- eller lydgenerering.\n\nModellen modtager tekst og returnerer tekst. De sprog, producenten understøtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angiv outputsproget, og bevar tekniske navne eller kodeidentifikatorer, som ikke skal ændres.\n\n### Ræsonnement eller direkte svar\n\nProducentens chatskabelon kan aktivere eller deaktivere tænkning. En ræsonnementsopgave udvikler mellemliggende analyse før det endelige svar, mens en direkte opgave kan bede om svaret uden dette spor. Producenten anbefaler temperature 1.0 og top-p 0.95 til sin referenceprofil. Angiv det krævede slutprodukt uafhængigt heraf: en løsning, en målrettet kodeændring, en kildesammenligning eller en defineret datapost.\n\nEn praktisk opgavebeskrivelse er: “Brug disse kildepassager til at sammenligne kravene, og identificér den betingelse, som hver konklusion afhænger af.” Til programmering skal du levere den relevante implementering, den observerede fejl og den forventede adfærd og bede om en patch, som er knyttet til det underbyggende materiale. Hold foreslået kode adskilt fra et faktisk valideringsresultat.\n\n### Værktøjer og struktureret arbejde\n\nNVIDIAs eftertræning dækker værktøjer i flere trin og strukturerede outputs. Lever funktioner med præcise formål og argumentskemaer, når en applikation bruger modellen som agent. Applikationen udfører de valgte handlinger og returnerer observationer til næste trin. En valgt funktion eller en genereret post med argumenter udfører ikke handlingen i sig selv.\n\nTil et struktureret resultat skal du definere felternes betydning og konventioner for manglende værdier. Kontrollér værdierne mod inputtet, også når formatet egner sig til et efterfølgende system. En fortsat opgave bør bevare de observationer, der fastslår fremdriften, og det endelige kriterium, der markerer dens afslutning.\n\n### Kontekst og producentkonfiguration\n\nModellen understøtter kontekst på op til én million tokens i den dokumenterede profil. Producenten demonstrerer også en mindre 256K-konfiguration til et eksekveringsmiljø med begrænset hukommelse, så den maksimale profil og en valgt konfiguration er forskellige ting. Kildemateriale, historik, værktøjsresultater, ræsonnement og det endelige svar deler den tilgængelige kontekst. Kortets formulering om outputkontekst fastslår ikke et ekstra, uafhængigt svarbudget på én million tokens.\n\nBF16-referencen, producentudgivelserne med lav præcision og den tidligere Nemotron 3 Nano har separate udgaveegenskaber. Brug autoritative tekster til kildefølsomme påstande og faktiske observationer fra applikationen til udført arbejde. Det nyttige resultat er en tekstløsning, et kodeforslag eller en struktureret analyse, som kan gennemgås, og hvis antagelser og underbyggende materiale forbliver tydelige.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-tekstmodel til ræsonnement, programmering og værktøjsstyrede opgaver. Den dokumenterede 30B/A3B-producentprofil tilføjer forudsigelse af flere tokens, konfigurerbar tænkning og kontekst på op til én million tokens med en særskilt BF16-referenceudgivelse.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Nemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-sprogmodel til tekstopgaver med ræsonnement og direkte svar. Producentprofilen angiver 30 milliarder parametre i alt og 3 milliarder aktive parametre og kombinerer Mamba- og transformerkomponenter med forudsigelse af flere tokens. Den omtalte BF16-udgivelse er producentens modelmateriale i fuld præcision, adskilt fra de optimerede udgaver med lav præcision.
Producenten beskriver fortræning på mere end tyve billioner tokens efterfulgt af fortsat træning i forudsigelse af flere tokens, superviseret finjustering og forstærkningslæring i flere miljøer. Instruktions- og forstærkningslæringsopgaverne omfatter kode, matematik, videnskab, værktøjskald, struktureret output og interaktion med flere ture. Forudsigelse af flere tokens er en arkitektur- og træningsegenskab ved Lightning og ikke en ekstra outputtype som billed- eller lydgenerering.
Modellen modtager tekst og returnerer tekst. De sprog, producenten understøtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angiv outputsproget, og bevar tekniske navne eller kodeidentifikatorer, som ikke skal ændres.
Producentens chatskabelon kan aktivere eller deaktivere tænkning. En ræsonnementsopgave udvikler mellemliggende analyse før det endelige svar, mens en direkte opgave kan bede om svaret uden dette spor. Producenten anbefaler temperature 1.0 og top-p 0.95 til sin referenceprofil. Angiv det krævede slutprodukt uafhængigt heraf: en løsning, en målrettet kodeændring, en kildesammenligning eller en defineret datapost.
En praktisk opgavebeskrivelse er: “Brug disse kildepassager til at sammenligne kravene, og identificér den betingelse, som hver konklusion afhænger af.” Til programmering skal du levere den relevante implementering, den observerede fejl og den forventede adfærd og bede om en patch, som er knyttet til det underbyggende materiale. Hold foreslået kode adskilt fra et faktisk valideringsresultat.
NVIDIAs eftertræning dækker værktøjer i flere trin og strukturerede outputs. Lever funktioner med præcise formål og argumentskemaer, når en applikation bruger modellen som agent. Applikationen udfører de valgte handlinger og returnerer observationer til næste trin. En valgt funktion eller en genereret post med argumenter udfører ikke handlingen i sig selv.
Til et struktureret resultat skal du definere felternes betydning og konventioner for manglende værdier. Kontrollér værdierne mod inputtet, også når formatet egner sig til et efterfølgende system. En fortsat opgave bør bevare de observationer, der fastslår fremdriften, og det endelige kriterium, der markerer dens afslutning.
Modellen understøtter kontekst på op til én million tokens i den dokumenterede profil. Producenten demonstrerer også en mindre 256K-konfiguration til et eksekveringsmiljø med begrænset hukommelse, så den maksimale profil og en valgt konfiguration er forskellige ting. Kildemateriale, historik, værktøjsresultater, ræsonnement og det endelige svar deler den tilgængelige kontekst. Kortets formulering om outputkontekst fastslår ikke et ekstra, uafhængigt svarbudget på én million tokens.
BF16-referencen, producentudgivelserne med lav præcision og den tidligere Nemotron 3 Nano har separate udgaveegenskaber. Brug autoritative tekster til kildefølsomme påstande og faktiske observationer fra applikationen til udført arbejde. Det nyttige resultat er en tekstløsning, et kodeforslag eller en struktureret analyse, som kan gennemgås, og hvis antagelser og underbyggende materiale forbliver tydelige.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser nvidia/nemotron-3.5-lightning | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00014 / 1K tokens Output · Outputtokens $0.0004 / 1K tokens Input · Cachelæsning $0.00008 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00014 / 1K tokens Output · Outputtokens $0.0004 / 1K tokens Input · Cachelæsning $0.00008 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Brug metodestierne vist ovenfor.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-tekstmodel til ræsonnement, programmering og værktøjsstyrede opgaver. Den dokumenterede 30B/A3B-producentprofil tilføjer forudsigelse af flere tokens, konfigurerbar tænkning og kontekst på op til én million tokens med en særskilt BF16-referenceudgivelse.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Nemotron 3.5 Lightning er NVIDIAs hybride mixture-of-experts-sprogmodel til tekstopgaver med ræsonnement og direkte svar. Producentprofilen angiver 30 milliarder parametre i alt og 3 milliarder aktive parametre og kombinerer Mamba- og transformerkomponenter med forudsigelse af flere tokens. Den omtalte BF16-udgivelse er producentens modelmateriale i fuld præcision, adskilt fra de optimerede udgaver med lav præcision.
Producenten beskriver fortræning på mere end tyve billioner tokens efterfulgt af fortsat træning i forudsigelse af flere tokens, superviseret finjustering og forstærkningslæring i flere miljøer. Instruktions- og forstærkningslæringsopgaverne omfatter kode, matematik, videnskab, værktøjskald, struktureret output og interaktion med flere ture. Forudsigelse af flere tokens er en arkitektur- og træningsegenskab ved Lightning og ikke en ekstra outputtype som billed- eller lydgenerering.
Modellen modtager tekst og returnerer tekst. De sprog, producenten understøtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angiv outputsproget, og bevar tekniske navne eller kodeidentifikatorer, som ikke skal ændres.
Producentens chatskabelon kan aktivere eller deaktivere tænkning. En ræsonnementsopgave udvikler mellemliggende analyse før det endelige svar, mens en direkte opgave kan bede om svaret uden dette spor. Producenten anbefaler temperature 1.0 og top-p 0.95 til sin referenceprofil. Angiv det krævede slutprodukt uafhængigt heraf: en løsning, en målrettet kodeændring, en kildesammenligning eller en defineret datapost.
En praktisk opgavebeskrivelse er: “Brug disse kildepassager til at sammenligne kravene, og identificér den betingelse, som hver konklusion afhænger af.” Til programmering skal du levere den relevante implementering, den observerede fejl og den forventede adfærd og bede om en patch, som er knyttet til det underbyggende materiale. Hold foreslået kode adskilt fra et faktisk valideringsresultat.
NVIDIAs eftertræning dækker værktøjer i flere trin og strukturerede outputs. Lever funktioner med præcise formål og argumentskemaer, når en applikation bruger modellen som agent. Applikationen udfører de valgte handlinger og returnerer observationer til næste trin. En valgt funktion eller en genereret post med argumenter udfører ikke handlingen i sig selv.
Til et struktureret resultat skal du definere felternes betydning og konventioner for manglende værdier. Kontrollér værdierne mod inputtet, også når formatet egner sig til et efterfølgende system. En fortsat opgave bør bevare de observationer, der fastslår fremdriften, og det endelige kriterium, der markerer dens afslutning.
Modellen understøtter kontekst på op til én million tokens i den dokumenterede profil. Producenten demonstrerer også en mindre 256K-konfiguration til et eksekveringsmiljø med begrænset hukommelse, så den maksimale profil og en valgt konfiguration er forskellige ting. Kildemateriale, historik, værktøjsresultater, ræsonnement og det endelige svar deler den tilgængelige kontekst. Kortets formulering om outputkontekst fastslår ikke et ekstra, uafhængigt svarbudget på én million tokens.
BF16-referencen, producentudgivelserne med lav præcision og den tidligere Nemotron 3 Nano har separate udgaveegenskaber. Brug autoritative tekster til kildefølsomme påstande og faktiske observationer fra applikationen til udført arbejde. Det nyttige resultat er en tekstløsning, et kodeforslag eller en struktureret analyse, som kan gennemgås, og hvis antagelser og underbyggende materiale forbliver tydelige.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser nvidia/nemotron-3.5-lightning | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00014 / 1K tokens Output · Outputtokens $0.0004 / 1K tokens Input · Cachelæsning $0.00008 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00014 / 1K tokens Output · Outputtokens $0.0004 / 1K tokens Input · Cachelæsning $0.00008 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.