Nemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio kalbos modelis teksto užduotims su samprotavimu arba tiesioginiu atsakymu. Gamintojo profilyje nurodyta iš viso 30 milijardų parametrų ir 3 milijardai aktyvių parametrų; jame Mamba ir transformer komponentai derinami su kelių žetonų prognozavimu. Nurodyta BF16 laida yra gamintojo viso tikslumo modelio medžiaga, atskira nuo jo optimizuotų mažo tikslumo versijų.
Gamintojas aprašo išankstinį mokymą su daugiau nei dvidešimčia trilijonų žetonų, po kurio atliekamas tęstinis mokymas kelių žetonų prognozavimui, prižiūrimas papildomas mokymas ir skatinamasis mokymas keliose aplinkose. Instrukcijų ir skatinamojo mokymo užduotys apima kodą, matematiką, mokslą, įrankių iškvietimą, struktūrizuotą išvestį ir kelių ėjimų sąveiką. Kelių žetonų prognozavimas yra Lightning architektūros ir mokymo savybė, o ne papildomas išvesties tipas, pavyzdžiui, vaizdų ar garso generavimas.
Modelis priima tekstą ir grąžina tekstą. Gamintojo palaikomos kalbos apima anglų, ispanų, prancūzų, vokiečių, italų ir japonų kalbas. Nurodykite išvesties kalbą ir išsaugokite techninius pavadinimus ar kodo identifikatorius, kurie neturi pasikeisti.
Gamintojo pokalbio šablonas gali įjungti arba išjungti samprotavimą. Samprotavimo užduotyje prieš galutinį atsakymą išplėtojama tarpinė analizė, o tiesioginėje užduotyje galima prašyti atsakymo be šios sekos. Gamintojas etaloniniam profiliui rekomenduoja temperature 1.0 ir top-p 0.95. Reikiamą galutinį rezultatą nurodykite nepriklausomai nuo to: sprendimą, tikslinį kodo pakeitimą, šaltinių palyginimą ar apibrėžtą duomenų įrašą.
Praktiška užduoties formuluotė: „Remkis šiomis šaltinių ištraukomis, palygink reikalavimus ir nustatyk sąlygą, nuo kurios priklauso kiekviena išvada.“ Programavimui pateikite aktualų įgyvendinimą, pastebėtą gedimą ir tikėtiną veikimą, o prašomą pataisą susiekite su įrodymais. Siūlomą kodą laikykite atskirai nuo tikrojo patikros rezultato.
NVIDIA vėlesnis mokymas apima kelių žingsnių įrankių naudojimą ir struktūrizuotą išvestį. Kai programa modelį naudoja kaip agentą, pateikite funkcijas su tiksliomis paskirtimis ir argumentų schemomis. Programa atlieka pasirinktas operacijas ir grąžina stebėjimo rezultatus kitam žingsniui. Pasirinkta funkcija ar sugeneruotas argumentų įrašas pats savaime operacijos neatlieka.
Struktūrizuotam rezultatui apibrėžkite laukų reikšmes ir trūkstamų reikšmių pateikimo taisykles. Reikšmes tikrinkite pagal įvestį net tada, kai formatas tinka paskesnei sistemai. Tęstinė užduotis turėtų išlaikyti stebėjimo rezultatus, kurie įrodo pažangą, ir galutinį kriterijų, pagal kurį ji laikoma užbaigta.
Dokumentuotame profilyje modelis palaiko iki vieno milijono žetonų kontekstą. Gamintojas taip pat demonstruoja mažesnę 256K konfigūraciją vykdymo aplinkai su ribota atmintimi, todėl didžiausias profilis ir pasirinkta konfigūracija yra skirtingi dalykai. Šaltinių medžiaga, istorija, įrankių grąžinami rezultatai, samprotavimas ir galutinis atsakymas dalijasi prieinamu kontekstu. Kortelės formuluotė apie išvesties kontekstą nenustato papildomo nepriklausomo vieno milijono žetonų atsakymo biudžeto.
Etaloninė BF16 laida, gamintojo mažo tikslumo laidos ir ankstesnis Nemotron 3 Nano turi atskiras versijų savybes. Teiginiams, kuriems svarbus šaltinis, naudokite autoritetingą tekstą, o atliktam darbui – tikrus programos stebėjimo rezultatus. Naudingas rezultatas yra peržiūrimas tekstinis sprendimas, kodo pasiūlymas ar struktūrizuota analizė, kurios prielaidos ir pagrindžiantys įrodymai išlieka aiškūs.
", "aboutText": "Nemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio kalbos modelis teksto užduotims su samprotavimu arba tiesioginiu atsakymu. Gamintojo profilyje nurodyta iš viso 30 milijardų parametrų ir 3 milijardai aktyvių parametrų; jame Mamba ir transformer komponentai derinami su kelių žetonų prognozavimu. Nurodyta BF16 laida yra gamintojo viso tikslumo modelio medžiaga, atskira nuo jo optimizuotų mažo tikslumo versijų.\n\n### Mokymas ir versijos sandara\n\nGamintojas aprašo išankstinį mokymą su daugiau nei dvidešimčia trilijonų žetonų, po kurio atliekamas tęstinis mokymas kelių žetonų prognozavimui, prižiūrimas papildomas mokymas ir skatinamasis mokymas keliose aplinkose. Instrukcijų ir skatinamojo mokymo užduotys apima kodą, matematiką, mokslą, įrankių iškvietimą, struktūrizuotą išvestį ir kelių ėjimų sąveiką. Kelių žetonų prognozavimas yra Lightning architektūros ir mokymo savybė, o ne papildomas išvesties tipas, pavyzdžiui, vaizdų ar garso generavimas.\n\nModelis priima tekstą ir grąžina tekstą. Gamintojo palaikomos kalbos apima anglų, ispanų, prancūzų, vokiečių, italų ir japonų kalbas. Nurodykite išvesties kalbą ir išsaugokite techninius pavadinimus ar kodo identifikatorius, kurie neturi pasikeisti.\n\n### Samprotavimas arba tiesioginis atsakymas\n\nGamintojo pokalbio šablonas gali įjungti arba išjungti samprotavimą. Samprotavimo užduotyje prieš galutinį atsakymą išplėtojama tarpinė analizė, o tiesioginėje užduotyje galima prašyti atsakymo be šios sekos. Gamintojas etaloniniam profiliui rekomenduoja temperature 1.0 ir top-p 0.95. Reikiamą galutinį rezultatą nurodykite nepriklausomai nuo to: sprendimą, tikslinį kodo pakeitimą, šaltinių palyginimą ar apibrėžtą duomenų įrašą.\n\nPraktiška užduoties formuluotė: „Remkis šiomis šaltinių ištraukomis, palygink reikalavimus ir nustatyk sąlygą, nuo kurios priklauso kiekviena išvada.“ Programavimui pateikite aktualų įgyvendinimą, pastebėtą gedimą ir tikėtiną veikimą, o prašomą pataisą susiekite su įrodymais. Siūlomą kodą laikykite atskirai nuo tikrojo patikros rezultato.\n\n### Įrankiai ir struktūrizuotas darbas\n\nNVIDIA vėlesnis mokymas apima kelių žingsnių įrankių naudojimą ir struktūrizuotą išvestį. Kai programa modelį naudoja kaip agentą, pateikite funkcijas su tiksliomis paskirtimis ir argumentų schemomis. Programa atlieka pasirinktas operacijas ir grąžina stebėjimo rezultatus kitam žingsniui. Pasirinkta funkcija ar sugeneruotas argumentų įrašas pats savaime operacijos neatlieka.\n\nStruktūrizuotam rezultatui apibrėžkite laukų reikšmes ir trūkstamų reikšmių pateikimo taisykles. Reikšmes tikrinkite pagal įvestį net tada, kai formatas tinka paskesnei sistemai. Tęstinė užduotis turėtų išlaikyti stebėjimo rezultatus, kurie įrodo pažangą, ir galutinį kriterijų, pagal kurį ji laikoma užbaigta.\n\n### Kontekstas ir gamintojo konfigūracija\n\nDokumentuotame profilyje modelis palaiko iki vieno milijono žetonų kontekstą. Gamintojas taip pat demonstruoja mažesnę 256K konfigūraciją vykdymo aplinkai su ribota atmintimi, todėl didžiausias profilis ir pasirinkta konfigūracija yra skirtingi dalykai. Šaltinių medžiaga, istorija, įrankių grąžinami rezultatai, samprotavimas ir galutinis atsakymas dalijasi prieinamu kontekstu. Kortelės formuluotė apie išvesties kontekstą nenustato papildomo nepriklausomo vieno milijono žetonų atsakymo biudžeto.\n\nEtaloninė BF16 laida, gamintojo mažo tikslumo laidos ir ankstesnis Nemotron 3 Nano turi atskiras versijų savybes. Teiginiams, kuriems svarbus šaltinis, naudokite autoritetingą tekstą, o atliktam darbui – tikrus programos stebėjimo rezultatus. Naudingas rezultatas yra peržiūrimas tekstinis sprendimas, kodo pasiūlymas ar struktūrizuota analizė, kurios prielaidos ir pagrindžiantys įrodymai išlieka aiškūs.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio teksto modelis samprotavimui, programavimui ir įrankiais valdomoms užduotims. Dokumentuotas 30B/A3B gamintojo profilis prideda kelių žetonų prognozavimą, konfigūruojamą samprotavimą ir iki vieno milijono žetonų kontekstą, kartu pateikiant atskirą etaloninę BF16 laidą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Nemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio kalbos modelis teksto užduotims su samprotavimu arba tiesioginiu atsakymu. Gamintojo profilyje nurodyta iš viso 30 milijardų parametrų ir 3 milijardai aktyvių parametrų; jame Mamba ir transformer komponentai derinami su kelių žetonų prognozavimu. Nurodyta BF16 laida yra gamintojo viso tikslumo modelio medžiaga, atskira nuo jo optimizuotų mažo tikslumo versijų.
Gamintojas aprašo išankstinį mokymą su daugiau nei dvidešimčia trilijonų žetonų, po kurio atliekamas tęstinis mokymas kelių žetonų prognozavimui, prižiūrimas papildomas mokymas ir skatinamasis mokymas keliose aplinkose. Instrukcijų ir skatinamojo mokymo užduotys apima kodą, matematiką, mokslą, įrankių iškvietimą, struktūrizuotą išvestį ir kelių ėjimų sąveiką. Kelių žetonų prognozavimas yra Lightning architektūros ir mokymo savybė, o ne papildomas išvesties tipas, pavyzdžiui, vaizdų ar garso generavimas.
Modelis priima tekstą ir grąžina tekstą. Gamintojo palaikomos kalbos apima anglų, ispanų, prancūzų, vokiečių, italų ir japonų kalbas. Nurodykite išvesties kalbą ir išsaugokite techninius pavadinimus ar kodo identifikatorius, kurie neturi pasikeisti.
Gamintojo pokalbio šablonas gali įjungti arba išjungti samprotavimą. Samprotavimo užduotyje prieš galutinį atsakymą išplėtojama tarpinė analizė, o tiesioginėje užduotyje galima prašyti atsakymo be šios sekos. Gamintojas etaloniniam profiliui rekomenduoja temperature 1.0 ir top-p 0.95. Reikiamą galutinį rezultatą nurodykite nepriklausomai nuo to: sprendimą, tikslinį kodo pakeitimą, šaltinių palyginimą ar apibrėžtą duomenų įrašą.
Praktiška užduoties formuluotė: „Remkis šiomis šaltinių ištraukomis, palygink reikalavimus ir nustatyk sąlygą, nuo kurios priklauso kiekviena išvada.“ Programavimui pateikite aktualų įgyvendinimą, pastebėtą gedimą ir tikėtiną veikimą, o prašomą pataisą susiekite su įrodymais. Siūlomą kodą laikykite atskirai nuo tikrojo patikros rezultato.
NVIDIA vėlesnis mokymas apima kelių žingsnių įrankių naudojimą ir struktūrizuotą išvestį. Kai programa modelį naudoja kaip agentą, pateikite funkcijas su tiksliomis paskirtimis ir argumentų schemomis. Programa atlieka pasirinktas operacijas ir grąžina stebėjimo rezultatus kitam žingsniui. Pasirinkta funkcija ar sugeneruotas argumentų įrašas pats savaime operacijos neatlieka.
Struktūrizuotam rezultatui apibrėžkite laukų reikšmes ir trūkstamų reikšmių pateikimo taisykles. Reikšmes tikrinkite pagal įvestį net tada, kai formatas tinka paskesnei sistemai. Tęstinė užduotis turėtų išlaikyti stebėjimo rezultatus, kurie įrodo pažangą, ir galutinį kriterijų, pagal kurį ji laikoma užbaigta.
Dokumentuotame profilyje modelis palaiko iki vieno milijono žetonų kontekstą. Gamintojas taip pat demonstruoja mažesnę 256K konfigūraciją vykdymo aplinkai su ribota atmintimi, todėl didžiausias profilis ir pasirinkta konfigūracija yra skirtingi dalykai. Šaltinių medžiaga, istorija, įrankių grąžinami rezultatai, samprotavimas ir galutinis atsakymas dalijasi prieinamu kontekstu. Kortelės formuluotė apie išvesties kontekstą nenustato papildomo nepriklausomo vieno milijono žetonų atsakymo biudžeto.
Etaloninė BF16 laida, gamintojo mažo tikslumo laidos ir ankstesnis Nemotron 3 Nano turi atskiras versijų savybes. Teiginiams, kuriems svarbus šaltinis, naudokite autoritetingą tekstą, o atliktam darbui – tikrus programos stebėjimo rezultatus. Naudingas rezultatas yra peržiūrimas tekstinis sprendimas, kodo pasiūlymas ar struktūrizuota analizė, kurios prielaidos ir pagrindžiantys įrodymai išlieka aiškūs.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos nvidia/nemotron-3.5-lightning | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00014 / 1K tokenų Išvestis · Išvesties tokenai $0.0004 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00008 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00014 / 1K tokenų Išvestis · Išvesties tokenai $0.0004 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00008 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Naudokite aukščiau nurodytus metodų kelius.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio teksto modelis samprotavimui, programavimui ir įrankiais valdomoms užduotims. Dokumentuotas 30B/A3B gamintojo profilis prideda kelių žetonų prognozavimą, konfigūruojamą samprotavimą ir iki vieno milijono žetonų kontekstą, kartu pateikiant atskirą etaloninę BF16 laidą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Nemotron 3.5 Lightning – NVIDIA hibridinis ekspertų mišinio kalbos modelis teksto užduotims su samprotavimu arba tiesioginiu atsakymu. Gamintojo profilyje nurodyta iš viso 30 milijardų parametrų ir 3 milijardai aktyvių parametrų; jame Mamba ir transformer komponentai derinami su kelių žetonų prognozavimu. Nurodyta BF16 laida yra gamintojo viso tikslumo modelio medžiaga, atskira nuo jo optimizuotų mažo tikslumo versijų.
Gamintojas aprašo išankstinį mokymą su daugiau nei dvidešimčia trilijonų žetonų, po kurio atliekamas tęstinis mokymas kelių žetonų prognozavimui, prižiūrimas papildomas mokymas ir skatinamasis mokymas keliose aplinkose. Instrukcijų ir skatinamojo mokymo užduotys apima kodą, matematiką, mokslą, įrankių iškvietimą, struktūrizuotą išvestį ir kelių ėjimų sąveiką. Kelių žetonų prognozavimas yra Lightning architektūros ir mokymo savybė, o ne papildomas išvesties tipas, pavyzdžiui, vaizdų ar garso generavimas.
Modelis priima tekstą ir grąžina tekstą. Gamintojo palaikomos kalbos apima anglų, ispanų, prancūzų, vokiečių, italų ir japonų kalbas. Nurodykite išvesties kalbą ir išsaugokite techninius pavadinimus ar kodo identifikatorius, kurie neturi pasikeisti.
Gamintojo pokalbio šablonas gali įjungti arba išjungti samprotavimą. Samprotavimo užduotyje prieš galutinį atsakymą išplėtojama tarpinė analizė, o tiesioginėje užduotyje galima prašyti atsakymo be šios sekos. Gamintojas etaloniniam profiliui rekomenduoja temperature 1.0 ir top-p 0.95. Reikiamą galutinį rezultatą nurodykite nepriklausomai nuo to: sprendimą, tikslinį kodo pakeitimą, šaltinių palyginimą ar apibrėžtą duomenų įrašą.
Praktiška užduoties formuluotė: „Remkis šiomis šaltinių ištraukomis, palygink reikalavimus ir nustatyk sąlygą, nuo kurios priklauso kiekviena išvada.“ Programavimui pateikite aktualų įgyvendinimą, pastebėtą gedimą ir tikėtiną veikimą, o prašomą pataisą susiekite su įrodymais. Siūlomą kodą laikykite atskirai nuo tikrojo patikros rezultato.
NVIDIA vėlesnis mokymas apima kelių žingsnių įrankių naudojimą ir struktūrizuotą išvestį. Kai programa modelį naudoja kaip agentą, pateikite funkcijas su tiksliomis paskirtimis ir argumentų schemomis. Programa atlieka pasirinktas operacijas ir grąžina stebėjimo rezultatus kitam žingsniui. Pasirinkta funkcija ar sugeneruotas argumentų įrašas pats savaime operacijos neatlieka.
Struktūrizuotam rezultatui apibrėžkite laukų reikšmes ir trūkstamų reikšmių pateikimo taisykles. Reikšmes tikrinkite pagal įvestį net tada, kai formatas tinka paskesnei sistemai. Tęstinė užduotis turėtų išlaikyti stebėjimo rezultatus, kurie įrodo pažangą, ir galutinį kriterijų, pagal kurį ji laikoma užbaigta.
Dokumentuotame profilyje modelis palaiko iki vieno milijono žetonų kontekstą. Gamintojas taip pat demonstruoja mažesnę 256K konfigūraciją vykdymo aplinkai su ribota atmintimi, todėl didžiausias profilis ir pasirinkta konfigūracija yra skirtingi dalykai. Šaltinių medžiaga, istorija, įrankių grąžinami rezultatai, samprotavimas ir galutinis atsakymas dalijasi prieinamu kontekstu. Kortelės formuluotė apie išvesties kontekstą nenustato papildomo nepriklausomo vieno milijono žetonų atsakymo biudžeto.
Etaloninė BF16 laida, gamintojo mažo tikslumo laidos ir ankstesnis Nemotron 3 Nano turi atskiras versijų savybes. Teiginiams, kuriems svarbus šaltinis, naudokite autoritetingą tekstą, o atliktam darbui – tikrus programos stebėjimo rezultatus. Naudingas rezultatas yra peržiūrimas tekstinis sprendimas, kodo pasiūlymas ar struktūrizuota analizė, kurios prielaidos ir pagrindžiantys įrodymai išlieka aiškūs.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos nvidia/nemotron-3.5-lightning | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00014 / 1K tokenų Išvestis · Išvesties tokenai $0.0004 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00008 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00014 / 1K tokenų Išvestis · Išvesties tokenai $0.0004 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00008 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.