NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning je jazykový model na uvažovanie, rozhovor a špecializované pracovné postupy agentov. Má 30B celkových parametrov s 3B aktívnymi a používa hybridnú architektúru, ktorá strieda vrstvy Mamba-2, zmesi expertov a pozornosti. Vrstvy Multi-Token Prediction pridávajú tréningové signály pre budúce tokeny a podporujú optimalizované postupy generovania modelu. Model spracúva text a vytvára text vrátane vysvetlení, kódu a odpovedí podložených dodaným materiálom.

Výrobca opisuje použitia v chatbotoch, generovaní rozšírenom o vyhľadávanie, plnení pokynov a agentoch. Pri odpovedi zo znalostnej bázy dodajte otázku a relevantné pasáže so stabilnými označeniami zdrojov. Žiadajte, aby model odpovedal z týchto pasáží, určil, ktorá podporuje každé dôležité tvrdenie, a uviedol, čo zostáva neznáme. Napríklad: „Pomocou týchto článkov podpory vysvetlite rozdiel medzi dvoma spôsobmi inštalácie a vráťte predpoklady, kroky a kontroly pre každý z nich.“ Chýbajúci predpoklad ponechajte viditeľný namiesto vyzývania modelu, aby si ho vymyslel.

Pri programátorskej práci dodajte relevantný kód, očakávané správanie a pozorované zlyhanie. Praktická požiadavka žiada cielenú úpravu a vysvetlenie dotknutých prípadov. Ak agent pripojený k nástrojom spustí kontrolu, pred žiadosťou o ďalšiu zmenu vráťte jej skutočný výstup. Tréning modelu zahŕňa kód, viackrokové používanie nástrojov a úlohy štruktúrovaného výstupu, ale dokončený artefakt stále musí zodpovedať pôvodnej požiadavke. Žiadajte upravený kód, dôvod každej podstatnej zmeny a pozorovania potrebné na potvrdenie, že problém je vyriešený.

Výrobca dokumentuje predvolene zapnuté premýšľanie a režim priamej odpovede s premýšľaním vypnutým cez šablónu chatu. Režim uvažovania je užitočný pri úlohe s viacerými závislými podmienkami; priama odpoveď môže vyhovovať jednoduchej transformácii alebo extrakcii. Výrobca vo svojich klientskych príkladoch odporúča temperature 1.0 a top-p 0.95. Považujte ich za nastavenia postupu výrobcu a výslovne vyberte štruktúru konečnej odpovede, napríklad stručné vysvetlenie, porovnávaciu tabuľku alebo odpoveď nasledovanú podpornými podkladmi.

Model podporuje kontext až 1M tokenov. Zverejnené postupy nasadenia BF16 tiež odlišujú túto schopnosť modelu od konfigurácií používajúcich okno 256K pri pamäťových obmedzeniach. Dlhý materiál pripravte pre príslušné pracovné okno, zachovajte štruktúru dokumentu a nechajte priestor na odpoveď. Dlhý kontext je najužitočnejší, keď prompt určuje vzťah, ktorý treba nájsť: rozpory medzi dokumentmi, závislosti medzi zdrojovými súbormi alebo podklady podporujúce záver. Nie je dôvodom na zahrnutie nesúvisiacej histórie ani na predpoklad, že konečná odpoveď môže zabrať celé okno.

Hlavným zameraním sú angličtina a programovacie jazyky, pričom sa uvádzajú aj španielčina, francúzština, nemčina, taliančina a japončina. Uveďte požadovaný jazyk výstupu a zachovajte mená, identifikátory a citované zdrojové termíny, keď záleží na ich zápise. Pri práci s viacjazyčnými dokumentmi určte, či sa má materiál preložiť, zhrnúť alebo porovnať; tieto požiadavky vytvárajú odlišné artefakty. Žiadajte označenie neistej terminológie, aby plynulý preklad potichu nezmenil technický význam.

NVIDIA zverejňuje referenčné vydanie BF16 predovšetkým na prispôsobovanie a výskum s plnou presnosťou a samostatné vydanie NVFP4 s optimalizovanými postupmi inferencie. Toto rozlíšenie je dôležité pri porovnávaní pokynov k nasadeniu: hardvérová konfigurácia alebo výsledok priepustnosti jedného vydania automaticky neopisuje iné. Názov modelu identifikuje rodinu Lightning, zatiaľ čo presný checkpoint a konfigurácia obsluhy určujú postup. Schopnosti na úrovni modelu oddeľte od výkonu a pamäťových predpokladov konkrétneho postupu.

Pri práci s nástrojmi dodajte jasné opisy funkcií a vráťte skutočný výsledok každého vykonaného kroku. Navrhovaná operácia sa stáva použiteľným podkladom až po tom, čo ju okolitá aplikácia vykoná a zaznamená, čo sa stalo. Žiadajte, aby konečná odpoveď odlišovala pozorovania zo zdrojov, odvodené závery a nedokončené kontroly. Keď výpočet, príkaz alebo vyhľadaná pasáž odporuje plánovanému výsledku, použite tento rozpor na úpravu záveru namiesto tvorby uhladeného súhrnu neovereného predpokladu.