NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super je všeobecný model na uvažovanie a chat navrhnutý pre spolupracujúcich agentov a veľkoobjemové pracovné postupy vrátane automatizácie IT tiketov. Má 120B celkových parametrov a aktivuje 12B. Jeho hybridná architektúra kombinuje vrstvy Mamba-2, pozornosti a Latent Mixture-of-Experts. Vrstvy Multi-Token Prediction pridávajú mechanizmus predpovedania budúcich tokenov a podporujú natívne postupy špekulatívneho dekódovania NVIDIA.

Model prijíma text a vracia text vrátane vysvetlení, návrhov odpovedí, kódu a požiadaviek na volanie nástrojov vo vhodnej aplikácii pripojenej k nástrojom. Medzi zamýšľané použitia patria agenti, chatboty, generovanie rozšírené o vyhľadávanie, plnenie zložitých pokynov a uvažovanie nad dlhým kontextom. Užitočný prompt definuje požadovaný artefakt a podmienky, ktoré ho riadia. Napríklad: „Klasifikujte tento incident podľa dodaných pravidiel, vysvetlite prioritu na základe podkladov, pripravte odpoveď a uveďte chýbajúce fakty potrebné pred odporúčaním opravy.“

Pri spracovaní IT tiketov dodajte text tiketu, relevantnú históriu, podrobnosti prostredia a príslušné pravidlá smerovania alebo eskalácie. Žiadajte samostatné polia pre pozorované príznaky, pravdepodobné príčiny, navrhované kontroly a odpoveď používateľovi. Toto rozlíšenie zabraňuje zaznamenaniu hypotézy ako potvrdenej diagnózy. Ak sa spustí diagnostický nástroj, pred žiadosťou o ďalší krok vložte jeho skutočný výsledok do rozhovoru. Súhrn dokončeného tiketu má uviesť, čo sa pozorovalo a vyriešilo a ktorá otázka zostáva otvorená.

Pri RAG a práci so znalostnou bázou označte vyhľadané pasáže a uveďte, či má model odpovedať výlučne z nich. Žiadajte odpoveď s podpornými odkazmi na zdroje a každým rozporom medzi materiálmi. Praktický príklad znie: „Porovnajte tieto sekcie prevádzkovej príručky, identifikujte kroky použiteľné na dodané prostredie a vráťte usporiadaný postup s kontrolou po každom dôležitom kroku.“ Zachovajte verzie a podmienky zo zdroja; jasný postup môže byť stále nesprávny, ak kombinuje pokyny pre nekompatibilné prostredia.

Pri úlohách spolupracujúcich agentov dajte každej fáze jasný cieľ a zachovajte užitočné priebežné výsledky. Super je určený na uvažovanie nad pozorovaniami nástrojov a udržiavanie viackrokového rozhovoru. Okolitá aplikácia vykonáva nástroje a uchováva stav úlohy. Žiadajte model, aby vysvetlil, čo nové pozorovanie mení, zachoval skoršie zistenia, ktoré stále platia, a odlíšil navrhovanú operáciu od zaznamenaného výsledku. Pri programovaní dodajte relevantné súbory a očakávané správanie a potom žiadajte upravený kód, vysvetlenie zmeny a prípady potrebné na jej overenie.

NVIDIA dokumentuje predvolene zapnuté premýšľanie a režim priamej odpovede s premýšľaním vypnutým cez šablónu chatu. Super má aj možnosť uvažovania s nízkym úsilím, ktorá používa menej tokenov uvažovania než plné premýšľanie a odporúča sa ako východiskový bod pred explicitným ladením rozpočtu. Ide o nastavenie Super; samostatná možnosť Ultra so stredným úsilím sa doň nemá kopírovať. Vyberte podobu konečnej odpovede a po uvažovaní na ňu nechajte priestor, najmä keď výsledok nástroja alebo zložité porovnanie zdrojov potrebuje vysvetlenie.

Model podporuje kontext až 1M tokenov, zatiaľ čo konfigurácia Hugging Face od výrobcu predvolene používa 256K, pretože dlhší kontext vyžaduje viac pamäte. Pri dlhých vstupoch pracujte v rámci príslušnej konfigurácie, zachovajte hranice dokumentov a označenia zdrojov a vyhraďte priestor na odpoveď. Žiadajte vzťah, ktorý treba sledovať naprieč materiálom, namiesto nezameraného súhrnu všetkého. Maximum na úrovni modelu nie je prísľubom, že každá konfigurácia obsluhy používa rovnaké okno.

Výrobca uvádza angličtinu, francúzštinu, nemčinu, taliančinu, japončinu, španielčinu a čínštinu. Určte konečný jazyk a zachovajte identifikátory kódu a zdrojové termíny, ktoré musia zostať presné. Pri viacjazyčnej podpore žiadajte, aby model zachoval technický význam a eskalačné kritériá pri prispôsobovaní znenia čitateľovi. Neznámu terminológiu alebo nejednoznačný vstup skontrolujte namiesto považovania plynulosti za dôkaz správnej interpretácie.

Užitočný konečný výstup je kompaktný a overiteľný: odpoveď alebo upravený artefakt, pozorovania, ktoré ho podporujú, predpoklady a zostávajúca práca. Pri generovaných postupoch skontrolujte kontroly voči skutočnému prostrediu. Pri kóde porovnajte navrhované zmeny s pozorovaným správaním. Pri odpovedi založenej na zdrojoch potvrďte, že citovaná pasáž podporuje tvrdenie. Uvažovanie modelu Super a jeho tréning na úlohy agentov pomáhajú túto prácu usporiadať; skutočný výsledok stanovujú materiál a záznamy vykonania použité na jeho kontrolu.