NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning – kalbos modelis samprotavimui, pokalbiams ir specializuotoms agentų darbo eigoms. Jis iš viso turi 30B parametrų, iš kurių 3B aktyvūs, ir naudoja hibridinę architektūrą, kurioje kaitaliojami Mamba-2, ekspertų mišinio ir dėmesio sluoksniai. Multi-Token Prediction sluoksniai prideda mokymo signalų būsimiems žetonams ir palaiko optimizuotus modelio generavimo metodus. Modelis apdoroja tekstą ir pateikia tekstą, įskaitant paaiškinimus, kodą ir pateikta medžiaga pagrįstus atsakymus.

Gamintojas aprašo naudojimą pokalbių robotuose, paieška papildytame generavime, instrukcijų vykdyme ir agentuose. Atsakymui iš žinių bazės pateikite klausimą ir aktualias ištraukas su stabiliomis šaltinių žymomis. Paprašykite modelio atsakyti pagal tas ištraukas, nurodyti, kuri iš jų pagrindžia kiekvieną svarbų teiginį, ir įvardyti, kas lieka nežinoma. Pavyzdžiui: „Remdamasis šiais pagalbos straipsniais, paaiškink skirtumą tarp dviejų diegimo būdų ir pateik kiekvieno išankstinius reikalavimus, žingsnius bei patikras.“ Trūkstamą išankstinį reikalavimą palikite aiškiai matomą, užuot skatinę modelį ją išgalvoti.

Programavimo darbui pateikite aktualų kodą, tikėtiną veikimą ir pastebėtą gedimą. Praktiška užklausa prašo tikslinio pataisymo ir paaiškinimo, kokius atvejus jis paveikia. Jei su įrankiais sujungtas agentas atlieka patikrą, prieš prašydami kito pakeitimo grąžinkite tikrąją jos išvestį. Modelio mokymas apima kodą, kelių žingsnių įrankių naudojimą ir struktūrizuotos išvesties užduotis, tačiau užbaigtas rezultatas vis tiek turi atitikti pirminį reikalavimą. Prašykite pataisyto kodo, kiekvieno reikšmingo pakeitimo priežasties ir stebėjimo rezultatų, reikalingų įsitikinti, kad problema išspręsta.

Gamintojas dokumentuoja numatytąjį įjungtą samprotavimą ir tiesioginio atsakymo režimą, kuriame samprotavimas išjungiamas per pokalbio šabloną. Samprotavimo režimas naudingas užduočiai su keliomis viena nuo kitos priklausančiomis sąlygomis; tiesioginis atsakymas gali tikti paprastam pertvarkymui ar duomenų ištraukimui. Gamintojas savo kliento pavyzdžiuose rekomenduoja temperature 1.0 ir top-p 0.95. Laikykite juos gamintojo metodo nustatymais ir aiškiai pasirinkite galutinio atsakymo struktūrą, pavyzdžiui, trumpą paaiškinimą, palyginimo lentelę ar atsakymą su paskui pateikiamais pagrindžiančiais įrodymais.

Modelis palaiko iki 1M žetonų kontekstą. Paskelbtuose BF16 diegimo metoduose ši modelio galimybė taip pat atskiriama nuo konfigūracijų, kurios dėl atminties apribojimų naudoja 256K langą. Ilgą medžiagą paruoškite pagal taikomą darbinį langą, išsaugodami dokumento struktūrą ir palikdami vietos atsakymui. Ilgas kontekstas naudingiausias tada, kai užklausa nurodo ieškomą ryšį: prieštaravimus tarp dokumentų, priklausomybes tarp šaltinio failų ar išvadą pagrindžiančius įrodymus. Jis nėra priežastis įtraukti nesusijusią istoriją ar manyti, kad galutinis atsakymas gali užimti visą langą.

Pagrindinis dėmesys skiriamas anglų ir programavimo kalboms; taip pat nurodytos ispanų, prancūzų, vokiečių, italų ir japonų kalbos. Nurodykite reikiamą išvesties kalbą ir išlaikykite vardus, identifikatorius bei cituojamus šaltinių terminus, kai svarbi jų rašyba. Dirbdami su daugiakalbiais dokumentais, nurodykite, ar reikia medžiagą išversti, apibendrinti, ar palyginti; šios užklausos duoda skirtingus rezultatus. Prašykite pažymėti neaiškią terminiją, kad sklandus vertimas tyliai nepakeistų techninės prasmės.

NVIDIA skelbia etaloninę BF16 laidą, pirmiausia skirtą pritaikymui ir viso tikslumo tyrimams, bei atskirą NVFP4 laidą su optimizuotais inferencijos metodais. Šis skirtumas svarbus lyginant diegimo rekomendacijas: vienos laidos aparatinės įrangos konfigūracija ar pralaidumo rezultatas savaime neapibūdina kitos. Modelio pavadinimas nurodo Lightning šeimą, o tikslus kontrolinis taškas ir pateikimo konfigūracija lemia metodą. Modelio galimybes laikykite atskirai nuo konkretaus metodo našumo ir atminties prielaidų.

Darbui su įrankiais pateikite aiškius funkcijų aprašus ir grąžinkite tikrąjį kiekvieno atlikto žingsnio rezultatą. Siūloma operacija tampa tinkamu įrodymu tik tada, kai aplinkinė programa ją atlieka ir užfiksuoja, kas įvyko. Prašykite galutiniame atsakyme atskirti šaltinių stebėjimo rezultatus, išvestines išvadas ir neužbaigtas patikras. Kai skaičiavimas, komanda ar gauta ištrauka prieštarauja numatytam rezultatui, remkitės šiuo prieštaravimu išvadai patikslinti, užuot pateikę nugludintą nepatikrintos prielaidos santrauką.