NVIDIA: Nemotron 3 Ultra (free)

Az NVIDIA Nemotron 3 Ultra a Nemotron 3 család nagy léptékű következtetési és munkafolyamat-vezérlő modellje. Összetett, többlépéses ügynökökhöz, hosszú kontextusú elemzéshez, valamint kódon, matematikai és természettudományos anyagon végzett következtetéshez készült. A modell összesen 550 milliárd és 55 milliárd aktív paraméterrel rendelkezik. Mamba-2-, figyelmi és Latent Mixture-of-Experts rétegeket kapcsol össze, generálási felépítését pedig Multi-Token Prediction rétegek támogatják.

A LatentMoE kisebb látens reprezentációba vetíti az információt a szakértői feldolgozáshoz. Az NVIDIA tanítási eljárása előtanítást, felügyelt finomhangolást, megerősítéses tanulást és több szakterületet lefedő, az aktuális politika alapján végzett desztillációt kapcsol össze. E szakaszok gyakorlati célja a következtetés, az utasításkövetés, az eszközhasználat és az ügynöki viselkedés javítása több feladattípusban. Az Ultra szöveget állít elő: magyarázatot, megoldást, kódot, tervet vagy egy kért válaszstruktúrát. Adja meg az anyagot, amelyből a válasznak dolgoznia kell, és a feltételeket, amelyek eldöntik, helyes-e az eredmény.

Matematikai vagy természettudományos következtetéshez adja meg a teljes feladatállítást, az ismert értékeket, a mértékegységeket és a megengedett feltételezéseket. Hasznos kérés például: „Vezesd le az eredményt ezekből a feltételekből, azonosítsd minden szakasz feltételezéseit, ellenőrizd a dimenziókat, és magyarázd el, milyen megfigyelés cáfolná a következtetést.” A levezetés magyarázata után kérjen tömör végeredményt. Ha kísérleti adat is szerepel, különítse el a mért és a számított értékeket, és kérje, hogy a bizonytalanság vagy a hiányzó információ maradjon látható, ahelyett hogy egy magabiztos válasz elfedné.

Kód- és ügynöki munkafolyamatokhoz adja meg a célt, az érintett fájlokat szövegként és a korábbi lépések valós kimeneteit. Az Ultra több egymástól függő döntést tartalmazó feladatokra készült, ezért hasznos a befejezett munka és a fennmaradó kérdések kifejezett nyilvántartása. Például: „Vesd össze ezt a migrációs javaslatot a sémával és a sikertelen ellenőrzésekkel. Azonosítsd a teljesítést akadályozó függőséget, javasolj célzott javítást, és add meg a következő ellenőrzés várt eredményét.” Egy eszközökhöz kapcsolt alkalmazás ezután végrehajthatja a javasolt lépést, és bizonyítékot adhat vissza a következő döntéshez.

A gyártó a csevegési sablonon keresztül támogatja a következtetés be- és kikapcsolását. A következtetés alapértelmezés szerint be van kapcsolva, és egy következtetési menetet állít elő, amelyet a válasz követ. Az Ultra kártyája közepes ráfordítású következtetési módot is dokumentál, amely kevesebb következtetési tokent használ, mint a teljes gondolkodás. Ez Ultra-specifikus lehetőség; nem szabad összekeverni a Super esetében dokumentált alacsony ráfordítású beállítással. Határozza meg a kívánt végső eredményt, és hagyjon számára helyet a következtetés után. A befejezetlen menet nem helyettesíti az eredeti kérdésre adott teljes választ.

Az Ultra legfeljebb 1 millió tokenes kontextust támogat. Nagy dokumentum- vagy forrásfájl-gyűjteménynél címkézze a szakaszokat, és pontosan mondja meg a modellnek, mit kell összehasonlítania, végigkövetnie vagy egyeztetnie. Őrizze meg a források sorrendjét, ha fontos az időrend vagy a függőség. Egy hasznos, hosszú dokumentumokon alapuló eredmény tartalmazza a megállapítást, az azt alátámasztó szövegrészt és a kérdésre vonatkozó következményét. Válassza ki a releváns anyagokat, és tartson fenn helyet a kimenetnek; a kontextusablak a munkasorozatot írja le, nem egy külön garantált végső válaszhosszt.

A gyártó az angol, a francia, a spanyol, az olasz, a német, a japán, a hindi, a koreai, a brazíliai portugál és a kínai nyelvet sorolja fel. Adja meg a kimenet nyelvét, és őrizze meg a műszaki azonosítókat vagy a forrásidézeteket ott, ahol számít a pontos megfogalmazás. Többnyelvű elemzésnél minden dokumentumra ugyanazokat a szempontokat alkalmazza, és kérje a terminológiai vagy feltételezésbeli különbségek magyarázatát. A nyelvi gördülékenység önmagában nem elég annak igazolásához, hogy két eltérően megfogalmazott követelmény ugyanazt jelenti.

Az NVIDIA kifejezett, következtetést is tartalmazó eszközhívási példákat ad. Határozza meg minden függvény célját, argumentumait és várt eredményét, majd adja vissza a tényleges kimenetét a modellnek. Az alkalmazás hajtja végre a műveletet; a modell a visszaadott megfigyelés alapján következtet. A hosszú ügynöki munkafolyamat könnyebben ellenőrizhető, ha világosan elkülönülnek a javasolt műveletek, a végrehajtott eredmények és a tisztázatlan ellenőrzések. Végső jelentéshez kérje a választ, az azt alátámasztó bizonyítékot, a feltételezéseket és a fennmaradó feladatelemeket. A számításokat az eredeti mértékegységek alapján, a kódmódosításokat a megfigyelt ellenőrzések alapján, a tényállításokat pedig az átadott források alapján ellenőrizze.