NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning — пайымдауға, әңгімелесуге және мамандандырылған агенттік үдерістерге арналған тілдік модель. Оның жалпы 30B параметрінің 3B-ы белсенді; гибридті архитектурасында Mamba-2, mixture-of-experts және назар аудару қабаттары кезектеседі. Multi-Token Prediction қабаттары болашақ токендерге арналған оқыту сигналдарын қосып, модельдің оңтайландырылған генерация тәсілдерін қолдайды. Модель мәтінді өңдеп, мәтін жасайды, соның ішінде түсіндірмелер, код және берілген материалға сүйенген жауаптар береді.

Өндіруші чатботтарда, іздеумен толықтырылған генерацияда, нұсқауларды орындауда және агенттерде қолдануды сипаттайды. Білім базасына негізделген жауап үшін сұрақты және тұрақты дереккөз белгілері бар тиісті үзінділерді беріңіз. Модельден сол үзінділерге сүйеніп жауап беруді, әр маңызды тұжырымды қай үзінді растайтынын анықтауды және не белгісіз қалғанын көрсетуді сұраңыз. Мысалы: «Осы қолдау мақалаларын пайдаланып, екі орнату әдісінің айырмасын түсіндіріңіз және әрқайсысының алғышарттарын, қадамдарын және тексерулерін қайтарыңыз». Жетіспейтін алғышартты модельге ойдан қосуды ұсынбай, көрінетін күйде қалдырыңыз.

Кодпен жұмыс үшін тиісті кодты, кодтың күтілетін жұмысын және байқалған ақауды беріңіз. Практикалық сұрау нысаналы түзетуді және ол әсер ететін жағдайлардың түсіндірмесін сұрайды. Құралдарға қосылған агент тексеру орындаса, келесі өзгерісті сұрамас бұрын оның нақты нәтижесін қайтарыңыз. Модельдің оқытуына код, құралдарды көп қадаммен пайдалану және құрылымдалған нәтиже тапсырмалары кіреді, бірақ аяқталған артефакт бәрібір бастапқы талапқа сай болуы керек. Түзетілген кодты, әр елеулі өзгерістің себебін және мәселенің шешілгенін анықтауға қажетті бақылауларды сұраңыз.

Өндіруші ойлаудың әдепкі бойынша қосылғанын және чат үлгісі арқылы ойлау өшірілетін тікелей жауап режимін құжаттайды. Пайымдау режимі бірнеше өзара тәуелді шарты бар тапсырмаға пайдалы; тікелей жауап қарапайым түрлендіруге немесе дерек алуға жарай алады. Өндіруші клиенттік мысалдарында temperature 1.0 және top-p 0.95 мәндерін ұсынады. Бұларды өндіруші тәсілінің баптаулары ретінде қабылдап, соңғы жауап құрылымын, мысалы қысқа түсіндірмені, салыстыру кестесін немесе артынан дәлелдері берілетін жауапты, нақты таңдаңыз.

Модель 1M токенге дейінгі контексті қолдайды. Жарияланған BF16 орналастыру тәсілдері де модельдің осы мүмкіндігін жад шектеуінде 256K терезесін пайдаланатын конфигурациялардан ажыратады. Ұзақ материалды қолданылатын жұмыс терезесіне дайындап, құжат құрылымын сақтаңыз және жауапқа орын қалдырыңыз. Сұрау қандай байланысты табу керегін көрсеткенде ұзақ контекст барынша пайдалы болады: құжаттар арасындағы қайшылықтар, бастапқы файлдар арасындағы тәуелділіктер немесе қорытындыны растайтын дәлелдер. Бұл қатысы жоқ тарихты қосуға немесе соңғы жауап бүкіл терезені ала алады деп болжауға себеп емес.

Негізгі назар ағылшын тілі мен бағдарламалау тілдеріне аударылған; испан, француз, неміс, итальян және жапон тілдері де аталған. Қажетті нәтиже тілін көрсетіп, жазылуы маңызды атауларды, идентификаторларды және дереккөзден алынған терминдерді сақтаңыз. Көптілді құжаттармен жұмыс істегенде материалдарды аудару, қорытындылау немесе салыстыру керегін нақтылаңыз; бұл сұраулар әртүрлі артефакттар жасайды. Жатық аударма техникалық мағынаны үнсіз өзгертпеуі үшін белгісіз терминдерді белгілеуді сұраңыз.

NVIDIA негізінен бейімдеу мен толық дәлдіктегі зерттеуге арналған BF16 үлгілік шығарылымын және оңтайландырылған қорытынды шығару тәсілдері бар бөлек NVFP4 шығарылымын жариялайды. Бұл айырмашылық орналастыру нұсқауларын салыстырғанда маңызды: бір шығарылымның жабдық конфигурациясы немесе өткізу қабілеті нәтижесі екіншісін автоматты түрде сипаттамайды. Модель атауы Lightning тобын анықтайды, ал нақты бақылау нүктесі мен қызмет көрсету конфигурациясы тәсілді анықтайды. Модель деңгейіндегі мүмкіндіктерді тәсілге тән өнімділік пен жад болжамдарынан бөлек ұстаңыз.

Құралдарға негізделген жұмыс үшін функциялардың анық сипаттамаларын беріп, әр орындалған қадамның нақты нәтижесін қайтарыңыз. Ұсынылған операция айналасындағы қолданба оны орындап, не болғанын тіркегеннен кейін ғана пайдалануға болатын дәлелге айналады. Соңғы жауаптан дереккөз бақылауларын, шығарылған қорытындыларды және аяқталмаған тексерулерді ажыратуды сұраңыз. Есептеу, пәрмен немесе алынған үзінді жоспарланған нәтижеге қайшы келсе, тексерілмеген болжамның әдемі қорытындысын жасаудың орнына, сол қайшылықты қорытындыны қайта қарауға пайдаланыңыз.