Nemotron 3.5 Lightning er NVIDIAs hybride språkmodell med ekspertblanding for resonnering og tekstoppgaver med direkte svar. Produsentprofilen oppgir 30 milliarder totale parametere og 3 milliarder aktive parametere og kombinerer Mamba- og Transformer-komponenter med prediksjon av flere tokener. Den refererte BF16-utgaven er produsentens modellmateriale med full presisjon, atskilt fra de optimaliserte utgavene med lav presisjon.
Produsenten beskriver forhåndstrening på mer enn tjue billioner tokener, etterfulgt av videre trening for prediksjon av flere tokener, veiledet finjustering og forsterkningslæring i flere miljøer. Oppgavene for instruksjonstrening og forsterkningslæring omfatter kode, matematikk, naturvitenskap, verktøykall, strukturerte utdata og interaksjon over flere samtaleturer. Prediksjon av flere tokener er en arkitektur- og treningsegenskap i Lightning, ikke en ekstra utdatatype som bilde- eller lydgenerering.
Modellen tar imot tekst og returnerer tekst. Språkene produsenten støtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angi svarspråk og behold tekniske navn eller kodeidentifikatorer som ikke skal endres.
Produsentens chatmal kan aktivere eller deaktivere tenking. En resonneringsoppgave utvikler mellomliggende analyse før det endelige svaret, mens en direkte oppgave kan be om svaret uten dette sporet. Produsenten anbefaler temperature 1.0 og top-p 0.95 for referanseprofilen. Angi det nødvendige sluttartefaktet uavhengig: en løsning, en avgrenset kodeendring, en kildesammenligning eller en definert datapost.
En praktisk oppgavebeskrivelse er: «Bruk disse kildeutdragene til å sammenligne kravene og identifisere vilkåret hver konklusjon avhenger av.» For kodearbeid legger du ved relevant implementering, observert feil og forventet atferd og ber om en patch knyttet til kildegrunnlaget. Hold foreslått kode atskilt fra et faktisk valideringsresultat.
NVIDIAs ettertrening dekker verktøybruk med flere trinn og strukturerte utdata. Legg ved funksjoner med presise formål og argumentsskjemaer når en applikasjon bruker modellen som agent. Applikasjonen utfører de valgte operasjonene og returnerer observasjoner til neste trinn. En valgt funksjon eller generert argumentpost utfører ikke operasjonen på egen hånd.
For et strukturert resultat definerer du feltenes betydning og konvensjoner for manglende verdier. Kontroller verdiene mot inndataene, selv når formatet passer for et nedstrømssystem. En oppgave som videreføres, bør beholde observasjonene som dokumenterer fremdrift, og sluttkriteriet som markerer at den er fullført.
Modellen støtter en kontekst på opptil én million tokener i den dokumenterte profilen. Produsenten viser også en mindre konfigurasjon på 256K for et kjøreoppsett med minnebegrensninger, så maksimalprofilen og en valgt konfigurasjon er forskjellige. Kildemateriale, historikk, verktøyreturer, resonnering og det endelige svaret deler den tilgjengelige konteksten. Kortets formulering om utdatakontekst fastslår ikke et ekstra, uavhengig svarbudsjett på én million tokener.
BF16-referansen, produsentutgavene med lav presisjon og den tidligere Nemotron 3 Nano har forskjellige utgaveegenskaper. Bruk autoritativ tekst for kildefølsomme påstander og faktiske applikasjonsobservasjoner for utført arbeid. Det nyttige resultatet er en tekstlig løsning, et kodeforslag eller en strukturert analyse som kan gjennomgås, og der forutsetninger og støttende kildegrunnlag forblir tydelige.
", "aboutText": "Nemotron 3.5 Lightning er NVIDIAs hybride språkmodell med ekspertblanding for resonnering og tekstoppgaver med direkte svar. Produsentprofilen oppgir 30 milliarder totale parametere og 3 milliarder aktive parametere og kombinerer Mamba- og Transformer-komponenter med prediksjon av flere tokener. Den refererte BF16-utgaven er produsentens modellmateriale med full presisjon, atskilt fra de optimaliserte utgavene med lav presisjon.\n\n### Trening og utgaveutforming\n\nProdusenten beskriver forhåndstrening på mer enn tjue billioner tokener, etterfulgt av videre trening for prediksjon av flere tokener, veiledet finjustering og forsterkningslæring i flere miljøer. Oppgavene for instruksjonstrening og forsterkningslæring omfatter kode, matematikk, naturvitenskap, verktøykall, strukturerte utdata og interaksjon over flere samtaleturer. Prediksjon av flere tokener er en arkitektur- og treningsegenskap i Lightning, ikke en ekstra utdatatype som bilde- eller lydgenerering.\n\nModellen tar imot tekst og returnerer tekst. Språkene produsenten støtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angi svarspråk og behold tekniske navn eller kodeidentifikatorer som ikke skal endres.\n\n### Resonnering eller direkte svar\n\nProdusentens chatmal kan aktivere eller deaktivere tenking. En resonneringsoppgave utvikler mellomliggende analyse før det endelige svaret, mens en direkte oppgave kan be om svaret uten dette sporet. Produsenten anbefaler temperature 1.0 og top-p 0.95 for referanseprofilen. Angi det nødvendige sluttartefaktet uavhengig: en løsning, en avgrenset kodeendring, en kildesammenligning eller en definert datapost.\n\nEn praktisk oppgavebeskrivelse er: «Bruk disse kildeutdragene til å sammenligne kravene og identifisere vilkåret hver konklusjon avhenger av.» For kodearbeid legger du ved relevant implementering, observert feil og forventet atferd og ber om en patch knyttet til kildegrunnlaget. Hold foreslått kode atskilt fra et faktisk valideringsresultat.\n\n### Verktøy og strukturert arbeid\n\nNVIDIAs ettertrening dekker verktøybruk med flere trinn og strukturerte utdata. Legg ved funksjoner med presise formål og argumentsskjemaer når en applikasjon bruker modellen som agent. Applikasjonen utfører de valgte operasjonene og returnerer observasjoner til neste trinn. En valgt funksjon eller generert argumentpost utfører ikke operasjonen på egen hånd.\n\nFor et strukturert resultat definerer du feltenes betydning og konvensjoner for manglende verdier. Kontroller verdiene mot inndataene, selv når formatet passer for et nedstrømssystem. En oppgave som videreføres, bør beholde observasjonene som dokumenterer fremdrift, og sluttkriteriet som markerer at den er fullført.\n\n### Kontekst og produsentkonfigurasjon\n\nModellen støtter en kontekst på opptil én million tokener i den dokumenterte profilen. Produsenten viser også en mindre konfigurasjon på 256K for et kjøreoppsett med minnebegrensninger, så maksimalprofilen og en valgt konfigurasjon er forskjellige. Kildemateriale, historikk, verktøyreturer, resonnering og det endelige svaret deler den tilgjengelige konteksten. Kortets formulering om utdatakontekst fastslår ikke et ekstra, uavhengig svarbudsjett på én million tokener.\n\nBF16-referansen, produsentutgavene med lav presisjon og den tidligere Nemotron 3 Nano har forskjellige utgaveegenskaper. Bruk autoritativ tekst for kildefølsomme påstander og faktiske applikasjonsobservasjoner for utført arbeid. Det nyttige resultatet er en tekstlig løsning, et kodeforslag eller en strukturert analyse som kan gjennomgås, og der forutsetninger og støttende kildegrunnlag forblir tydelige.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning er NVIDIAs hybride tekstmodell med ekspertblanding for resonnering, kodearbeid og verktøystyrte oppgaver. Den dokumenterte 30B/A3B-produsentprofilen legger til prediksjon av flere tokener, konfigurerbar tenking og en kontekst på opptil én million tokener, med en egen BF16-referanseutgave.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Nemotron 3.5 Lightning er NVIDIAs hybride språkmodell med ekspertblanding for resonnering og tekstoppgaver med direkte svar. Produsentprofilen oppgir 30 milliarder totale parametere og 3 milliarder aktive parametere og kombinerer Mamba- og Transformer-komponenter med prediksjon av flere tokener. Den refererte BF16-utgaven er produsentens modellmateriale med full presisjon, atskilt fra de optimaliserte utgavene med lav presisjon.
Produsenten beskriver forhåndstrening på mer enn tjue billioner tokener, etterfulgt av videre trening for prediksjon av flere tokener, veiledet finjustering og forsterkningslæring i flere miljøer. Oppgavene for instruksjonstrening og forsterkningslæring omfatter kode, matematikk, naturvitenskap, verktøykall, strukturerte utdata og interaksjon over flere samtaleturer. Prediksjon av flere tokener er en arkitektur- og treningsegenskap i Lightning, ikke en ekstra utdatatype som bilde- eller lydgenerering.
Modellen tar imot tekst og returnerer tekst. Språkene produsenten støtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angi svarspråk og behold tekniske navn eller kodeidentifikatorer som ikke skal endres.
Produsentens chatmal kan aktivere eller deaktivere tenking. En resonneringsoppgave utvikler mellomliggende analyse før det endelige svaret, mens en direkte oppgave kan be om svaret uten dette sporet. Produsenten anbefaler temperature 1.0 og top-p 0.95 for referanseprofilen. Angi det nødvendige sluttartefaktet uavhengig: en løsning, en avgrenset kodeendring, en kildesammenligning eller en definert datapost.
En praktisk oppgavebeskrivelse er: «Bruk disse kildeutdragene til å sammenligne kravene og identifisere vilkåret hver konklusjon avhenger av.» For kodearbeid legger du ved relevant implementering, observert feil og forventet atferd og ber om en patch knyttet til kildegrunnlaget. Hold foreslått kode atskilt fra et faktisk valideringsresultat.
NVIDIAs ettertrening dekker verktøybruk med flere trinn og strukturerte utdata. Legg ved funksjoner med presise formål og argumentsskjemaer når en applikasjon bruker modellen som agent. Applikasjonen utfører de valgte operasjonene og returnerer observasjoner til neste trinn. En valgt funksjon eller generert argumentpost utfører ikke operasjonen på egen hånd.
For et strukturert resultat definerer du feltenes betydning og konvensjoner for manglende verdier. Kontroller verdiene mot inndataene, selv når formatet passer for et nedstrømssystem. En oppgave som videreføres, bør beholde observasjonene som dokumenterer fremdrift, og sluttkriteriet som markerer at den er fullført.
Modellen støtter en kontekst på opptil én million tokener i den dokumenterte profilen. Produsenten viser også en mindre konfigurasjon på 256K for et kjøreoppsett med minnebegrensninger, så maksimalprofilen og en valgt konfigurasjon er forskjellige. Kildemateriale, historikk, verktøyreturer, resonnering og det endelige svaret deler den tilgjengelige konteksten. Kortets formulering om utdatakontekst fastslår ikke et ekstra, uavhengig svarbudsjett på én million tokener.
BF16-referansen, produsentutgavene med lav presisjon og den tidligere Nemotron 3 Nano har forskjellige utgaveegenskaper. Bruk autoritativ tekst for kildefølsomme påstander og faktiske applikasjonsobservasjoner for utført arbeid. Det nyttige resultatet er en tekstlig løsning, et kodeforslag eller en strukturert analyse som kan gjennomgås, og der forutsetninger og støttende kildegrunnlag forblir tydelige.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser nvidia/nemotron-3.5-lightning | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser Eksempler: system, user, assistant, tool, function Vilkår: Disse rollene representeres eksplisitt av kompatibilitetstyper i kildekoden; det eksakte rollesettet for modellen er fortsatt modellspesifikt. Avhenger av modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfritt | Verdier & grenser Gjelder når: role=tool; bruk faktisk returnert ID | Standard— |
Feltmessages[].name | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfritt | Verdier & grenser Gjelder når: Send den faktisk returnerte resonneringen tilbake der denne modellen bruker den | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttemperature | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttop_p | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools[].type | Typestring | KravValgfritt | Verdier & grenser function Avhenger av modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrevd | Verdier & grenser Gjelder når: funksjonsverktøy oppgitt | Standard— |
Felttools[].function.description | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfritt | Verdier & grenser | Standard— |
Felttool_choice | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltservice_tier | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltinstructions | Typestring | KravValgfritt | Verdier & grenser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfritt | Verdier & grenser text | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises på denne Ultra-tekstruten | Standard— |
Feltcache_control.ttl | Typestring | KravValgfritt | Verdier & grenser Vilkår: 1h avvises på faktiske steder for mellomlagring av ledetekster | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages |
Parametermaterial_types | Avtaletext |
Parametermessages | Avtalemeldingstabell med role/content-struktur |
Parameterfile_material | Avtalefaktisk UTF-8-dokument satt inn som bokstavelig tekst; ingen fil-ID utledes |
Parameteroptional_controls | Avtalestream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalemodellspesifikt; brukerens funksjonsverktøy skiller seg fra driftede verktøy |
Parameteroutput_modalities | Avtaletext |
Parameterhosted_operations | Avtalefalse |
Parametermultimodal_input_binding | Avtalenull |
Livssyklus: synchronous_or_streamed
Send eksakt modell-ID sammen med messages.
Kontekstlengde er ikke en outputgrense.
En tekstfil kan levere bokstavelig tekst; bilde-, lyd- og filobjektinput trenger eksakt binding.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00014 / 1K tokener Utdata · Utgående tokener $0.0004 / 1K tokener Inndata · Lesing fra hurtigbuffer $0.00008 / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00014 / 1K tokener Utdata · Utgående tokener $0.0004 / 1K tokener Inndata · Lesing fra hurtigbuffer $0.00008 / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold hvert svaralternativ med innhold, verktøykall og resonnering. Sett sammen endringer i SSE etter svaralternativets/verktøyets indeks, og behold endelig avslutningsgrunn og bruksdata.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Bruk metodestiene som vises ovenfor.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning er NVIDIAs hybride tekstmodell med ekspertblanding for resonnering, kodearbeid og verktøystyrte oppgaver. Den dokumenterte 30B/A3B-produsentprofilen legger til prediksjon av flere tokener, konfigurerbar tenking og en kontekst på opptil én million tokener, med en egen BF16-referanseutgave.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Nemotron 3.5 Lightning er NVIDIAs hybride språkmodell med ekspertblanding for resonnering og tekstoppgaver med direkte svar. Produsentprofilen oppgir 30 milliarder totale parametere og 3 milliarder aktive parametere og kombinerer Mamba- og Transformer-komponenter med prediksjon av flere tokener. Den refererte BF16-utgaven er produsentens modellmateriale med full presisjon, atskilt fra de optimaliserte utgavene med lav presisjon.
Produsenten beskriver forhåndstrening på mer enn tjue billioner tokener, etterfulgt av videre trening for prediksjon av flere tokener, veiledet finjustering og forsterkningslæring i flere miljøer. Oppgavene for instruksjonstrening og forsterkningslæring omfatter kode, matematikk, naturvitenskap, verktøykall, strukturerte utdata og interaksjon over flere samtaleturer. Prediksjon av flere tokener er en arkitektur- og treningsegenskap i Lightning, ikke en ekstra utdatatype som bilde- eller lydgenerering.
Modellen tar imot tekst og returnerer tekst. Språkene produsenten støtter, omfatter engelsk, spansk, fransk, tysk, italiensk og japansk. Angi svarspråk og behold tekniske navn eller kodeidentifikatorer som ikke skal endres.
Produsentens chatmal kan aktivere eller deaktivere tenking. En resonneringsoppgave utvikler mellomliggende analyse før det endelige svaret, mens en direkte oppgave kan be om svaret uten dette sporet. Produsenten anbefaler temperature 1.0 og top-p 0.95 for referanseprofilen. Angi det nødvendige sluttartefaktet uavhengig: en løsning, en avgrenset kodeendring, en kildesammenligning eller en definert datapost.
En praktisk oppgavebeskrivelse er: «Bruk disse kildeutdragene til å sammenligne kravene og identifisere vilkåret hver konklusjon avhenger av.» For kodearbeid legger du ved relevant implementering, observert feil og forventet atferd og ber om en patch knyttet til kildegrunnlaget. Hold foreslått kode atskilt fra et faktisk valideringsresultat.
NVIDIAs ettertrening dekker verktøybruk med flere trinn og strukturerte utdata. Legg ved funksjoner med presise formål og argumentsskjemaer når en applikasjon bruker modellen som agent. Applikasjonen utfører de valgte operasjonene og returnerer observasjoner til neste trinn. En valgt funksjon eller generert argumentpost utfører ikke operasjonen på egen hånd.
For et strukturert resultat definerer du feltenes betydning og konvensjoner for manglende verdier. Kontroller verdiene mot inndataene, selv når formatet passer for et nedstrømssystem. En oppgave som videreføres, bør beholde observasjonene som dokumenterer fremdrift, og sluttkriteriet som markerer at den er fullført.
Modellen støtter en kontekst på opptil én million tokener i den dokumenterte profilen. Produsenten viser også en mindre konfigurasjon på 256K for et kjøreoppsett med minnebegrensninger, så maksimalprofilen og en valgt konfigurasjon er forskjellige. Kildemateriale, historikk, verktøyreturer, resonnering og det endelige svaret deler den tilgjengelige konteksten. Kortets formulering om utdatakontekst fastslår ikke et ekstra, uavhengig svarbudsjett på én million tokener.
BF16-referansen, produsentutgavene med lav presisjon og den tidligere Nemotron 3 Nano har forskjellige utgaveegenskaper. Bruk autoritativ tekst for kildefølsomme påstander og faktiske applikasjonsobservasjoner for utført arbeid. Det nyttige resultatet er en tekstlig løsning, et kodeforslag eller en strukturert analyse som kan gjennomgås, og der forutsetninger og støttende kildegrunnlag forblir tydelige.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser nvidia/nemotron-3.5-lightning | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrevd | Verdier & grenser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrevd | Verdier & grenser | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content-streng
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages, max_tokens |
Parameteroptional_controls | Avtalestream |
Parametermaterial_types | Avtaletext |
Parametertext_file_material | AvtaleLes det faktiske UTF-8-dokumentet og legg teksten i den angitte input- eller meldingsinnholdsstrengen. |
Livssyklus: synchronous_or_streamed
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00014 / 1K tokener Utdata · Utgående tokener $0.0004 / 1K tokener Inndata · Lesing fra hurtigbuffer $0.00008 / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.00014 / 1K tokener Utdata · Utgående tokener $0.0004 / 1K tokener Inndata · Lesing fra hurtigbuffer $0.00008 / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold alle innholdsblokker, resonneringssignaturer og faktiske ID-er for verktøybruk. Sett sammen alle SSE-blokkendringer; den første tekstblokken er ikke hele resultatet.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Bruk metodestiene som vises ovenfor.
Teknisk eksempel på engelsk
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.