NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning je jazykový model pro uvažování, konverzaci a specializované agentní postupy. Má celkem 30 miliard parametrů, z nichž 3 miliardy jsou aktivní, a používá hybridní architekturu, která prokládá vrstvy Mamba-2, mixture-of-experts a pozornosti. Vrstvy Multi-Token Prediction přidávají tréninkové signály pro budoucí tokeny a podporují optimalizované postupy generování modelu. Model zpracovává text a vytváří text, včetně vysvětlení, kódu a odpovědí opřených o dodané materiály.

Výrobce popisuje použití v chatbotech, generování rozšířeném o vyhledávání, plnění instrukcí a agentech. Pro odpověď ze znalostní báze poskytněte otázku a příslušné pasáže se stabilními označeními zdrojů. Požádejte model, aby odpovídal z těchto pasáží, určil, která podporuje každé důležité tvrzení, a uvedl, co zůstává neznámé. Například: „Pomocí těchto článků podpory vysvětlete rozdíl mezi dvěma způsoby instalace a u každého vraťte předpoklady, kroky a kontroly.“ Chybějící předpoklad ponechte viditelný, místo abyste model vybízeli k jeho vymyšlení.

Při programování dodejte příslušný kód, očekávané chování a pozorovanou chybu. Praktický požadavek žádá cílenou úpravu a vysvětlení dotčených případů. Pokud agent připojený k nástrojům spustí kontrolu, vraťte její skutečný výstup před požadavkem na další změnu. Trénink modelu zahrnuje kód, vícekrokové použití nástrojů a úlohy se strukturovaným výstupem, ale dokončený artefakt musí stále odpovídat původnímu požadavku. Požadujte upravený kód, důvod každé podstatné změny a pozorování potřebná k prokázání, že problém byl vyřešen.

Výrobce dokumentuje uvažování zapnuté ve výchozím stavu a režim přímé odpovědi, v němž se uvažování vypíná pomocí chatové šablony. Režim uvažování je užitečný pro úlohu s několika vzájemně závislými podmínkami; přímá odpověď může vyhovovat jednoduchému převodu nebo extrakci. V klientských příkladech výrobce doporučuje temperature 1,0 a top-p 0,95. Berte je jako nastavení postupu výrobce a výslovně zvolte strukturu konečné odpovědi, například stručné vysvětlení, porovnávací tabulku nebo odpověď následovanou podpůrnými důkazy.

Model podporuje kontext až 1 milion tokenů. Zveřejněné postupy nasazení BF16 také odlišují tuto schopnost modelu od konfigurací používajících okno 256 tisíc tokenů při omezené paměti. Dlouhé materiály připravujte pro příslušné pracovní okno, zachovejte strukturu dokumentů a ponechte prostor pro odpověď. Dlouhý kontext je nejužitečnější, když zadání určuje hledaný vztah: rozpory mezi dokumenty, závislosti napříč zdrojovými soubory nebo důkazy podporující závěr. Není důvodem zahrnovat nesouvisející historii ani předpokládat, že konečná odpověď může zabrat celé okno.

Hlavním zaměřením jsou angličtina a programovací jazyky; uvedeny jsou také španělština, francouzština, němčina, italština a japonština. Určete požadovaný jazyk výstupu a zachovejte jména, identifikátory a citované výrazy ze zdrojů, pokud záleží na jejich zápisu. U vícejazyčné práce s dokumenty upřesněte, zda se mají materiály přeložit, shrnout nebo porovnat; tyto požadavky vytvářejí různé artefakty. Požadujte označení nejisté terminologie, aby plynulý překlad potichu nezměnil odborný význam.

NVIDIA zveřejňuje referenční vydání BF16 především pro přizpůsobování a výzkum s plnou přesností a samostatné vydání NVFP4 s optimalizovanými postupy inference. Toto rozlišení je důležité při porovnávání pokynů k nasazení: hardwarová konfigurace nebo výsledek propustnosti z jednoho vydání automaticky nepopisuje jiné. Název modelu označuje rodinu Lightning, zatímco přesný checkpoint a konfigurace obsluhy určují konkrétní postup. Schopnosti na úrovni modelu odlišujte od výkonových a paměťových předpokladů konkrétního postupu.

Pro práci s nástroji poskytněte jasné popisy funkcí a vraťte skutečný výsledek každého provedeného kroku. Navržená operace se stává použitelným důkazem teprve tehdy, když ji okolní aplikace provede a zaznamená, co se stalo. Požadujte, aby konečná odpověď rozlišovala pozorování ze zdrojů, odvozené závěry a nedokončené kontroly. Pokud výpočet, příkaz nebo vyhledaná pasáž odporuje plánovanému výsledku, využijte tento rozpor k úpravě závěru, místo abyste vytvořili uhlazené shrnutí neověřeného předpokladu.