Nemotron 3.5 Lightning je NVIDIIN hibridni jezikovni model z mešanico ekspertov za sklepanje in besedilne naloge z neposrednim odgovorom. Proizvajalčev profil navaja 30 milijard skupnih parametrov in 3 milijarde aktivnih parametrov ter združuje komponente Mamba in Transformer z napovedovanjem več žetonov. Navedena izdaja BF16 je proizvajalčev model s polno natančnostjo, ločen od optimiziranih različic z nižjo natančnostjo.
Proizvajalec opisuje predhodno učenje na več kot dvajsetih bilijonih žetonov, ki mu sledijo nadaljevalno učenje za napovedovanje več žetonov, nadzorovano dodatno učenje in učenje s krepitvijo v več okoljih. Naloge z navodili in učenjem s krepitvijo vključujejo kodo, matematiko, znanost, klicanje orodij, strukturiran izhod in interakcijo z več izmenjavami. Napovedovanje več žetonov je značilnost arhitekture in učenja Lightning, ne dodatna vrsta izhoda, kot je ustvarjanje slik ali zvoka.
Model sprejema besedilo in vrača besedilo. Jeziki, ki jih podpira proizvajalec, vključujejo angleščino, španščino, francoščino, nemščino, italijanščino in japonščino. Določite jezik izhoda ter ohranite strokovna imena ali identifikatorje kode, ki se ne smejo spremeniti.
Proizvajalčeva predloga klepeta lahko razmišljanje omogoči ali onemogoči. Naloga s sklepanjem razvije vmesno analizo pred končnim odgovorom, neposredna naloga pa lahko zahteva odgovor brez te sledi. Proizvajalec za referenčni profil priporoča temperaturo 1.0 in top-p 0.95. Zahtevani končni izdelek določite neodvisno: rešitev, osredotočeno spremembo kode, primerjavo virov ali določen podatkovni zapis.
Praktično navodilo je: »Uporabite te izvorne odlomke za primerjavo zahtev in določite pogoj, od katerega je odvisen vsak sklep.« Pri programiranju priložite ustrezno implementacijo, opaženo napako in pričakovano vedenje ter zahtevajte popravek, vezan na dokaze. Predlagano kodo ohranite ločeno od dejanskega rezultata preverjanja.
NVIDIINO učenje po osnovnem učenju zajema večstopenjsko uporabo orodij in strukturirane izhode. Kadar aplikacija model uporablja kot agenta, podajte funkcije z natančnimi nameni in shemami argumentov. Aplikacija izvede izbrane operacije in vrne opažanja za naslednji korak. Izbrana funkcija ali ustvarjeni zapis argumentov operacije ne izvede samostojno.
Pri strukturiranem rezultatu določite pomene polj in pravila za manjkajoče vrednosti. Vrednosti preverite ob vhodu, tudi kadar je oblika primerna za naslednji sistem. Pri nalogi, ki se nadaljuje, ohranite opažanja, ki dokazujejo napredek, in končno merilo, ki označuje njen zaključek.
Model v dokumentiranem profilu podpira kontekst do milijona žetonov. Proizvajalec prikazuje tudi manjšo konfiguracijo 256K za izvajanje z omejenim pomnilnikom, zato sta največji profil in izbrana konfiguracija različni stvari. Izvorno gradivo, zgodovina, rezultati orodij, sklepanje in končni odgovor si delijo razpoložljivi kontekst. Zapis o izhodnem kontekstu v kartici ne določa dodatnega neodvisnega proračuna milijona žetonov za odgovor.
Referenčna izdaja BF16, proizvajalčeve izdaje z nizko natančnostjo in predhodni Nemotron 3 Nano imajo ločene lastnosti različic. Za trditve, odvisne od vira, uporabite avtoritativno besedilo, za izvedeno delo pa dejanska opažanja aplikacije. Uporaben rezultat je besedilna rešitev, predlog kode ali strukturirana analiza, primerna za pregled, z jasnimi predpostavkami in podpornimi dokazi.
", "aboutText": "Nemotron 3.5 Lightning je NVIDIIN hibridni jezikovni model z mešanico ekspertov za sklepanje in besedilne naloge z neposrednim odgovorom. Proizvajalčev profil navaja 30 milijard skupnih parametrov in 3 milijarde aktivnih parametrov ter združuje komponente Mamba in Transformer z napovedovanjem več žetonov. Navedena izdaja BF16 je proizvajalčev model s polno natančnostjo, ločen od optimiziranih različic z nižjo natančnostjo.\n\n### Učenje in zasnova različice\n\nProizvajalec opisuje predhodno učenje na več kot dvajsetih bilijonih žetonov, ki mu sledijo nadaljevalno učenje za napovedovanje več žetonov, nadzorovano dodatno učenje in učenje s krepitvijo v več okoljih. Naloge z navodili in učenjem s krepitvijo vključujejo kodo, matematiko, znanost, klicanje orodij, strukturiran izhod in interakcijo z več izmenjavami. Napovedovanje več žetonov je značilnost arhitekture in učenja Lightning, ne dodatna vrsta izhoda, kot je ustvarjanje slik ali zvoka.\n\nModel sprejema besedilo in vrača besedilo. Jeziki, ki jih podpira proizvajalec, vključujejo angleščino, španščino, francoščino, nemščino, italijanščino in japonščino. Določite jezik izhoda ter ohranite strokovna imena ali identifikatorje kode, ki se ne smejo spremeniti.\n\n### Sklepanje ali neposredni odgovor\n\nProizvajalčeva predloga klepeta lahko razmišljanje omogoči ali onemogoči. Naloga s sklepanjem razvije vmesno analizo pred končnim odgovorom, neposredna naloga pa lahko zahteva odgovor brez te sledi. Proizvajalec za referenčni profil priporoča temperaturo 1.0 in top-p 0.95. Zahtevani končni izdelek določite neodvisno: rešitev, osredotočeno spremembo kode, primerjavo virov ali določen podatkovni zapis.\n\nPraktično navodilo je: »Uporabite te izvorne odlomke za primerjavo zahtev in določite pogoj, od katerega je odvisen vsak sklep.« Pri programiranju priložite ustrezno implementacijo, opaženo napako in pričakovano vedenje ter zahtevajte popravek, vezan na dokaze. Predlagano kodo ohranite ločeno od dejanskega rezultata preverjanja.\n\n### Orodja in strukturirano delo\n\nNVIDIINO učenje po osnovnem učenju zajema večstopenjsko uporabo orodij in strukturirane izhode. Kadar aplikacija model uporablja kot agenta, podajte funkcije z natančnimi nameni in shemami argumentov. Aplikacija izvede izbrane operacije in vrne opažanja za naslednji korak. Izbrana funkcija ali ustvarjeni zapis argumentov operacije ne izvede samostojno.\n\nPri strukturiranem rezultatu določite pomene polj in pravila za manjkajoče vrednosti. Vrednosti preverite ob vhodu, tudi kadar je oblika primerna za naslednji sistem. Pri nalogi, ki se nadaljuje, ohranite opažanja, ki dokazujejo napredek, in končno merilo, ki označuje njen zaključek.\n\n### Kontekst in proizvajalčeva konfiguracija\n\nModel v dokumentiranem profilu podpira kontekst do milijona žetonov. Proizvajalec prikazuje tudi manjšo konfiguracijo 256K za izvajanje z omejenim pomnilnikom, zato sta največji profil in izbrana konfiguracija različni stvari. Izvorno gradivo, zgodovina, rezultati orodij, sklepanje in končni odgovor si delijo razpoložljivi kontekst. Zapis o izhodnem kontekstu v kartici ne določa dodatnega neodvisnega proračuna milijona žetonov za odgovor.\n\nReferenčna izdaja BF16, proizvajalčeve izdaje z nizko natančnostjo in predhodni Nemotron 3 Nano imajo ločene lastnosti različic. Za trditve, odvisne od vira, uporabite avtoritativno besedilo, za izvedeno delo pa dejanska opažanja aplikacije. Uporaben rezultat je besedilna rešitev, predlog kode ali strukturirana analiza, primerna za pregled, z jasnimi predpostavkami in podpornimi dokazi.", "editorialOverlay": { "copy_fields": { "practical_html": "Tehnični primer v angleščini
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning je NVIDIIN hibridni besedilni model z mešanico ekspertov za sklepanje, programiranje in naloge, vodene z orodji. Dokumentirani proizvajalčev profil 30B/A3B dodaja napovedovanje več žetonov, nastavljivo razmišljanje in kontekst do milijona žetonov, z ločeno referenčno izdajo BF16.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Nemotron 3.5 Lightning je NVIDIIN hibridni jezikovni model z mešanico ekspertov za sklepanje in besedilne naloge z neposrednim odgovorom. Proizvajalčev profil navaja 30 milijard skupnih parametrov in 3 milijarde aktivnih parametrov ter združuje komponente Mamba in Transformer z napovedovanjem več žetonov. Navedena izdaja BF16 je proizvajalčev model s polno natančnostjo, ločen od optimiziranih različic z nižjo natančnostjo.
Proizvajalec opisuje predhodno učenje na več kot dvajsetih bilijonih žetonov, ki mu sledijo nadaljevalno učenje za napovedovanje več žetonov, nadzorovano dodatno učenje in učenje s krepitvijo v več okoljih. Naloge z navodili in učenjem s krepitvijo vključujejo kodo, matematiko, znanost, klicanje orodij, strukturiran izhod in interakcijo z več izmenjavami. Napovedovanje več žetonov je značilnost arhitekture in učenja Lightning, ne dodatna vrsta izhoda, kot je ustvarjanje slik ali zvoka.
Model sprejema besedilo in vrača besedilo. Jeziki, ki jih podpira proizvajalec, vključujejo angleščino, španščino, francoščino, nemščino, italijanščino in japonščino. Določite jezik izhoda ter ohranite strokovna imena ali identifikatorje kode, ki se ne smejo spremeniti.
Proizvajalčeva predloga klepeta lahko razmišljanje omogoči ali onemogoči. Naloga s sklepanjem razvije vmesno analizo pred končnim odgovorom, neposredna naloga pa lahko zahteva odgovor brez te sledi. Proizvajalec za referenčni profil priporoča temperaturo 1.0 in top-p 0.95. Zahtevani končni izdelek določite neodvisno: rešitev, osredotočeno spremembo kode, primerjavo virov ali določen podatkovni zapis.
Praktično navodilo je: »Uporabite te izvorne odlomke za primerjavo zahtev in določite pogoj, od katerega je odvisen vsak sklep.« Pri programiranju priložite ustrezno implementacijo, opaženo napako in pričakovano vedenje ter zahtevajte popravek, vezan na dokaze. Predlagano kodo ohranite ločeno od dejanskega rezultata preverjanja.
NVIDIINO učenje po osnovnem učenju zajema večstopenjsko uporabo orodij in strukturirane izhode. Kadar aplikacija model uporablja kot agenta, podajte funkcije z natančnimi nameni in shemami argumentov. Aplikacija izvede izbrane operacije in vrne opažanja za naslednji korak. Izbrana funkcija ali ustvarjeni zapis argumentov operacije ne izvede samostojno.
Pri strukturiranem rezultatu določite pomene polj in pravila za manjkajoče vrednosti. Vrednosti preverite ob vhodu, tudi kadar je oblika primerna za naslednji sistem. Pri nalogi, ki se nadaljuje, ohranite opažanja, ki dokazujejo napredek, in končno merilo, ki označuje njen zaključek.
Model v dokumentiranem profilu podpira kontekst do milijona žetonov. Proizvajalec prikazuje tudi manjšo konfiguracijo 256K za izvajanje z omejenim pomnilnikom, zato sta največji profil in izbrana konfiguracija različni stvari. Izvorno gradivo, zgodovina, rezultati orodij, sklepanje in končni odgovor si delijo razpoložljivi kontekst. Zapis o izhodnem kontekstu v kartici ne določa dodatnega neodvisnega proračuna milijona žetonov za odgovor.
Referenčna izdaja BF16, proizvajalčeve izdaje z nizko natančnostjo in predhodni Nemotron 3 Nano imajo ločene lastnosti različic. Za trditve, odvisne od vira, uporabite avtoritativno besedilo, za izvedeno delo pa dejanska opažanja aplikacije. Uporaben rezultat je besedilna rešitev, predlog kode ali strukturirana analiza, primerna za pregled, z jasnimi predpostavkami in podpornimi dokazi.
POST /v1/chat/completionstexttext| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve nvidia/nemotron-3.5-lightning | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Primeri: system, user, assistant, tool, function Pogoji: Te vloge so izrecno predstavljene s tipi združljivosti v izvorni kodi; natančen nabor vlog ostaja odvisen od modela. Odvisno od modela | Privzeto— |
Poljemessages[].content | Vrstastring|content_part[]|null | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_calls | Vrstatool_call[] | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].tool_call_id | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: role=tool; uporabite dejansko vrnjeni ID | Privzeto— |
Poljemessages[].name | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].reasoning_content | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Velja, ko: Pošljite nazaj dejansko vrnjeno sklepanje, kadar ga ta model uporablja | Privzeto— |
Poljemessages[].reasoning_details | Vrstaobject|array | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljemax_completion_tokens | Vrstainteger | ZahtevaIzbirno | Vrednosti in omejitve Najmanj: 1 Odvisno od modela | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Poljestream_options.include_usage | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetemperature | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetop_p | Vrstanumber | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljestop | Vrstastring|string[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools | Vrstafunction_tool[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljetools[].type | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve function Odvisno od modela | Privzeto— |
Poljetools[].function.name | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve Velja, ko: podano je funkcijsko orodje | Privzeto— |
Poljetools[].function.description | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetools[].function.parameters | VrstaJSON_schema | ZahtevaIzbirno | Vrednosti in omejitve | Privzeto— |
Poljetool_choice | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeparallel_tool_calls | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeresponse_format | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning_effort | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljereasoning | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeservice_tier | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeinstructions | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Polje združljivosti | Privzeto— |
Poljefunctions | Vrstafunction[] | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljefunction_call | Vrstastring|object | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljeprompt_cache_options | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Odvisno od modela | Privzeto— |
Poljemodalities | Vrstastring[] | ZahtevaIzbirno | Vrednosti in omejitve text | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je na tej besedilni poti Ultra zavrnjen | Privzeto— |
Poljecache_control.ttl | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: 1h je zavrnjen na dejanskih mestih za predpomnjenje pozivov | Privzeto— |
Besedilo · Besedilo UTF8
messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages |
Parametermaterial_types | Specifikacijatext |
Parametermessages | Specifikacijapolje sporočil s strukturo role/content |
Parameterfile_material | Specifikacijadejanski dokument UTF-8 je vstavljen kot dobesedno besedilo; ID datoteke se ne izpeljuje |
Parameteroptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Specifikacijaodvisno od modela; uporabniška funkcijska orodja se razlikujejo od orodij, ki jih izvaja storitev |
Parameteroutput_modalities | Specifikacijatext |
Parameterhosted_operations | Specifikacijafalse |
Parametermultimodal_input_binding | Specifikacijanull |
Življenjski cikel: synchronous_or_streamed
Pošljite natančen ID modela skupaj z messages.
Dolžina konteksta ni zgornja meja izhoda.
Besedilna datoteka lahko poda dobesedno besedilo; slikovni, zvočni vhodi in vhodi z datotečnimi objekti potrebujejo natančno vezavo.
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
Vsak strošek povežite s prikazanimi pogoji. Za vsak nabor alternativnih nastavitev uporabite eno ceno.
| Nastavitev | Cenovna lestvica | Žetonov konteksta več kot | Žetonov konteksta do vključno | Strošek |
|---|---|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Žetonov konteksta več kot— | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.00014 / 1K žetonov Izhod · Izhodni žetoni $0.0004 / 1K žetonov Vhod · Branje predpomnilnika $0.00008 / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
| NastavitevRazred 1 glede na dolžino zahteve | Cenovna lestvica— | Žetonov konteksta več kot0 | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.00014 / 1K žetonov Izhod · Izhodni žetoni $0.0004 / 1K žetonov Vhod · Branje predpomnilnika $0.00008 / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vsako možnost odgovora ter njeno vsebino, klice orodij in sklepanje. V SSE sestavite delne spremembe po indeksu možnosti/orodja ter ohranite končni razlog zaključka in podatke o porabi.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljechoices[].index | Vrstainteger |
Poljechoices[].message.content | Vrstastring|null |
Poljechoices[].message.tool_calls | Vrstatool_call[] |
Poljechoices[].message.reasoning_content | Vrstastring |
Poljechoices[].message.reasoning_details | Vrstaobject|array |
Poljechoices[].finish_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Uporabite zgoraj navedene poti metod.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning je NVIDIIN hibridni besedilni model z mešanico ekspertov za sklepanje, programiranje in naloge, vodene z orodji. Dokumentirani proizvajalčev profil 30B/A3B dodaja napovedovanje več žetonov, nastavljivo razmišljanje in kontekst do milijona žetonov, z ločeno referenčno izdajo BF16.
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Nemotron 3.5 Lightning je NVIDIIN hibridni jezikovni model z mešanico ekspertov za sklepanje in besedilne naloge z neposrednim odgovorom. Proizvajalčev profil navaja 30 milijard skupnih parametrov in 3 milijarde aktivnih parametrov ter združuje komponente Mamba in Transformer z napovedovanjem več žetonov. Navedena izdaja BF16 je proizvajalčev model s polno natančnostjo, ločen od optimiziranih različic z nižjo natančnostjo.
Proizvajalec opisuje predhodno učenje na več kot dvajsetih bilijonih žetonov, ki mu sledijo nadaljevalno učenje za napovedovanje več žetonov, nadzorovano dodatno učenje in učenje s krepitvijo v več okoljih. Naloge z navodili in učenjem s krepitvijo vključujejo kodo, matematiko, znanost, klicanje orodij, strukturiran izhod in interakcijo z več izmenjavami. Napovedovanje več žetonov je značilnost arhitekture in učenja Lightning, ne dodatna vrsta izhoda, kot je ustvarjanje slik ali zvoka.
Model sprejema besedilo in vrača besedilo. Jeziki, ki jih podpira proizvajalec, vključujejo angleščino, španščino, francoščino, nemščino, italijanščino in japonščino. Določite jezik izhoda ter ohranite strokovna imena ali identifikatorje kode, ki se ne smejo spremeniti.
Proizvajalčeva predloga klepeta lahko razmišljanje omogoči ali onemogoči. Naloga s sklepanjem razvije vmesno analizo pred končnim odgovorom, neposredna naloga pa lahko zahteva odgovor brez te sledi. Proizvajalec za referenčni profil priporoča temperaturo 1.0 in top-p 0.95. Zahtevani končni izdelek določite neodvisno: rešitev, osredotočeno spremembo kode, primerjavo virov ali določen podatkovni zapis.
Praktično navodilo je: »Uporabite te izvorne odlomke za primerjavo zahtev in določite pogoj, od katerega je odvisen vsak sklep.« Pri programiranju priložite ustrezno implementacijo, opaženo napako in pričakovano vedenje ter zahtevajte popravek, vezan na dokaze. Predlagano kodo ohranite ločeno od dejanskega rezultata preverjanja.
NVIDIINO učenje po osnovnem učenju zajema večstopenjsko uporabo orodij in strukturirane izhode. Kadar aplikacija model uporablja kot agenta, podajte funkcije z natančnimi nameni in shemami argumentov. Aplikacija izvede izbrane operacije in vrne opažanja za naslednji korak. Izbrana funkcija ali ustvarjeni zapis argumentov operacije ne izvede samostojno.
Pri strukturiranem rezultatu določite pomene polj in pravila za manjkajoče vrednosti. Vrednosti preverite ob vhodu, tudi kadar je oblika primerna za naslednji sistem. Pri nalogi, ki se nadaljuje, ohranite opažanja, ki dokazujejo napredek, in končno merilo, ki označuje njen zaključek.
Model v dokumentiranem profilu podpira kontekst do milijona žetonov. Proizvajalec prikazuje tudi manjšo konfiguracijo 256K za izvajanje z omejenim pomnilnikom, zato sta največji profil in izbrana konfiguracija različni stvari. Izvorno gradivo, zgodovina, rezultati orodij, sklepanje in končni odgovor si delijo razpoložljivi kontekst. Zapis o izhodnem kontekstu v kartici ne določa dodatnega neodvisnega proračuna milijona žetonov za odgovor.
Referenčna izdaja BF16, proizvajalčeve izdaje z nizko natančnostjo in predhodni Nemotron 3 Nano imajo ločene lastnosti različic. Za trditve, odvisne od vira, uporabite avtoritativno besedilo, za izvedeno delo pa dejanska opažanja aplikacije. Uporaben rezultat je besedilna rešitev, predlog kode ali strukturirana analiza, primerna za pregled, z jasnimi predpostavkami in podpornimi dokazi.
POST /v1/messagestextjson, sse| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve nvidia/nemotron-3.5-lightning | Privzeto— |
Poljemessages | Vrstamessage[] | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemessages[].role | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve user, assistant | Privzeto— |
Poljemessages[].content | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljemax_tokens | Vrstainteger | ZahtevaObvezno | Vrednosti in omejitve | Privzeto— |
Poljestream | Vrstaboolean | ZahtevaIzbirno | Vrednosti in omejitve | Privzetofalse |
Besedilo · Besedilo UTF-8
niz messages[].content
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, messages, max_tokens |
Parameteroptional_controls | Specifikacijastream |
Parametermaterial_types | Specifikacijatext |
Parametertext_file_material | SpecifikacijaPreberite dejanski dokument UTF-8 in njegovo besedilo vstavite v navedeni vhodni niz ali niz vsebine sporočila. |
Življenjski cikel: synchronous_or_streamed
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
Vsak strošek povežite s prikazanimi pogoji. Za vsak nabor alternativnih nastavitev uporabite eno ceno.
| Nastavitev | Cenovna lestvica | Žetonov konteksta več kot | Žetonov konteksta do vključno | Strošek |
|---|---|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Žetonov konteksta več kot— | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.00014 / 1K žetonov Izhod · Izhodni žetoni $0.0004 / 1K žetonov Vhod · Branje predpomnilnika $0.00008 / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
| NastavitevRazred 1 glede na dolžino zahteve | Cenovna lestvica— | Žetonov konteksta več kot0 | Žetonov konteksta do vključnoBrez zgornje meje | Strošek Vhod · Vhodni žetoni $0.00014 / 1K žetonov Izhod · Izhodni žetoni $0.0004 / 1K žetonov Vhod · Branje predpomnilnika $0.00008 / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ali SSE
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Ohranite vse vsebinske bloke, podpise sklepanja in dejanske ID uporabe orodij. Sestavite vse delne spremembe blokov SSE; prvi besedilni blok ni celoten izhod.
Ohranite ID zahtev/odgovorov in glave. Splošni URL za pridobivanje besedilne naloge ni podan.
| Polje | Vrsta |
|---|---|
Poljeid | Vrstastring |
Poljemodel | Vrstastring |
Poljecontent[] | Vrstatext|thinking|tool_use|other content block |
Poljestop_reason | Vrstastring|null |
Poljeusage | Vrstaobject |
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Uporabite zgoraj navedene poti metod.
Tehnični primer v angleščini
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.