NVIDIA: Nemotron 3 Super (free)

Az NVIDIA Nemotron 3 Super általános célú következtetési és csevegési modell, amelyet együttműködő ügynökökhöz és nagy mennyiségű feladatot kezelő munkafolyamatokhoz, köztük IT-hibajegyek automatizálásához terveztek. Összesen 120 milliárd paraméterrel rendelkezik, és 12 milliárdot aktivál. Hibrid architektúrája Mamba-2-, figyelmi és Latent Mixture-of-Experts rétegeket kapcsol össze. A Multi-Token Prediction rétegek későbbi tokeneket előrejelző mechanizmust adnak hozzá, és támogatják az NVIDIA natív spekulatív dekódolási eljárásait.

A modell szöveget fogad és szöveget ad vissza, beleértve a magyarázatokat, választervezeteket, kódot és – megfelelő, eszközökhöz kapcsolt alkalmazásban – eszközhívási kéréseket. Tervezett felhasználásai között szerepelnek az ügynökök, a csevegőbotok, a visszakereséssel kiegészített generálás, az összetett utasításkövetés és a hosszú kontextusú következtetés. Egy hasznos prompt meghatározza a kívánt eredményt és az azt szabályozó feltételeket. Például: „Sorold be ezt az incidenst a megadott szabályzat alapján, magyarázd meg a prioritást a bizonyítékokból kiindulva, készíts választervezetet, és sorold fel a javítás ajánlása előtt szükséges, még hiányzó tényeket.”

IT-hibajegyek feldolgozásához adja meg a hibajegy szövegét, a releváns előzményeket, a környezet részleteit, valamint az alkalmazandó hozzárendelési vagy eszkalációs szabályokat. Kérjen külön mezőket a megfigyelt tüneteknek, a valószínű okoknak, a javasolt ellenőrzéseknek és a felhasználónak szóló válasznak. Ez a megkülönböztetés megakadályozza, hogy egy hipotézist megerősített diagnózisként rögzítsenek. Ha diagnosztikai eszköz fut, tényleges eredményét adja át a beszélgetésnek, mielőtt következő lépést kér. A lezárt hibajegy-összefoglalónak meg kell mondania, mit figyeltek meg és oldottak meg, és melyik kérdés maradt nyitott.

RAG- és tudásbázis-munkánál címkézze a lekért szövegrészeket, és mondja meg, hogy a modell kizárólag ezekből válaszoljon-e. A választ alátámasztó forráshivatkozásokkal és az anyagok közötti esetleges ellentmondásokkal együtt kérje. Gyakorlati példa: „Hasonlítsd össze ezeket az üzemeltetési útmutatórészleteket, azonosítsd a megadott környezetre alkalmazható lépéseket, és adj sorrendbe rendezett eljárást minden fontos lépés után egy ellenőrzéssel.” Őrizze meg a forrásban szereplő verziókat és feltételeket; egy világos eljárás is hibás lehet, ha össze nem egyeztethető környezetek utasításait keveri.

Együttműködő ügynökök feladatainál adjon minden szakasznak egyértelmű célt, és őrizze meg a hasznos köztes eredményeket. A Super eszközmegfigyelések alapján történő következtetésre és többlépéses beszélgetés fenntartására készült. A kapcsolódó alkalmazás végrehajtja az eszközöket, és megőrzi a feladat állapotát. Kérje meg a modellt, hogy magyarázza el, mit változtat meg egy új megfigyelés, tartsa meg a továbbra is érvényes korábbi megállapításokat, és különítse el a javasolt műveletet a rögzített eredménytől. Programozáshoz adja meg az érintett fájlokat és az elvárt működést, majd kérjen módosított kódot, változásmagyarázatot és az ellenőrzéshez szükséges eseteket.

Az NVIDIA dokumentációja szerint a gondolkodás alapértelmezés szerint be van kapcsolva, a csevegési sablonon keresztül pedig kikapcsolt gondolkodású közvetlen válaszmód is elérhető. A Super alacsony ráfordítású következtetési lehetőséget is kínál, amely kevesebb következtetési tokent használ, mint a teljes gondolkodás, és amelyet a fejlesztő a keret kifejezett hangolása előtti kiindulópontként javasol. Ez a Super beállítása; az Ultra külön közepes ráfordítású lehetőségét nem szabad átmásolni ide. Válassza ki a végső válasz formáját, és hagyjon neki helyet a következtetés után, különösen ha egy eszközeredmény vagy összetett forrás-összehasonlítás magyarázatot igényel.

A modell legfeljebb 1 millió tokenes kontextust támogat, míg a gyártó Hugging Face-konfigurációja alapértelmezés szerint 256 ezer tokent használ, mert a hosszabb kontextus több memóriát igényel. Hosszú bemeneteknél az alkalmazható konfiguráción belül dolgozzon, őrizze meg a dokumentumhatárokat és forráscímkéket, és tartson fenn helyet a válasznak. Az anyagon keresztül követendő kapcsolatot kérje, ne mindenről egy irány nélküli összefoglalót. A modellszintű maximum nem ígéret arra, hogy minden kiszolgálási konfiguráció ugyanazt az ablakot használja.

A gyártó az angol, a francia, a német, az olasz, a japán, a spanyol és a kínai nyelvet sorolja fel. Adja meg a végső nyelvet, miközben megőrzi a kódazonosítókat és a pontosan megtartandó forráskifejezéseket. Többnyelvű támogatási munkánál kérje a modelltől a műszaki jelentés és az eszkalációs szempontok megőrzését, miközben a megfogalmazást az olvasóhoz igazítja. Ellenőrizze az ismeretlen terminológiát vagy a kétértelmű bemenetet, ahelyett hogy a gördülékenységet a helyes értelmezés bizonyítékának tekintené.

A hasznos végső eredmény tömör és ellenőrizhető: tartalmazza a választ vagy a módosított anyagot, az azt alátámasztó megfigyeléseket, a feltételezéseket és a fennmaradó munkát. Generált eljárásoknál az ellenőrzéseket vizsgálja meg a tényleges környezetben. Kód esetén a javasolt változtatásokat vesse össze a megfigyelt működéssel. Forrásalapú válasznál erősítse meg, hogy az idézett szövegrész alátámasztja az állítást. A Super következtetési és ügynöki tanítása segít megszervezni ezt a munkát; a tényleges eredményt az ellenőrzéséhez használt anyag és végrehajtási nyilvántartás igazolja.