NVIDIA: Nemotron 3.5 Lightning (free)

Az NVIDIA Nemotron 3.5 Lightning következtetéshez, beszélgetéshez és specializált ügynöki munkafolyamatokhoz készült nyelvi modell. Összesen 30 milliárd paraméteréből 3 milliárd aktív, és hibrid architektúrája Mamba-2-, szakértőkeverékes és figyelmi rétegeket fűz egymás közé. A Multi-Token Prediction rétegek tanítási jeleket adnak a későbbi tokenekhez, és támogatják a modell optimalizált generálási eljárásait. A modell szöveget dolgoz fel és szöveget állít elő, beleértve a magyarázatokat, a kódot és az átadott anyagra alapozott válaszokat.

A gyártó csevegőbotokat, visszakereséssel kiegészített generálást, utasításkövetést és ügynököket sorol fel alkalmazási területként. Tudásbázison alapuló válaszhoz adja meg a kérdést és a releváns szövegrészeket állandó forráscímkékkel. Kérje meg a modellt, hogy ezekből a szövegrészekből válaszoljon, jelölje meg, melyik támasztja alá az egyes fontos állításokat, és mondja meg, mi marad ismeretlen. Például: „Ezeket a támogatási cikkeket felhasználva magyarázd el a két telepítési mód közötti különbséget, és add meg mindkettő előfeltételeit, lépéseit és ellenőrzéseit.” A hiányzó előfeltétel maradjon látható, ahelyett hogy a modellnek kellene kitalálnia.

Programozási munkához adja meg az érintett kódot, az elvárt működést és a megfigyelt hibát. Egy gyakorlati kérés célzott módosítást és az érintett esetek magyarázatát kéri. Ha egy eszközökhöz kapcsolt ügynök ellenőrzést futtat, annak tényleges kimenetét adja vissza, mielőtt újabb változtatást kér. A modell tanítása kódot, többlépéses eszközhasználatot és strukturált kimeneti feladatokat is tartalmaz, de az elkészült eredménynek továbbra is meg kell felelnie az eredeti követelménynek. Kérje a módosított kódot, az egyes lényeges változtatások indokát, és azokat a megfigyeléseket, amelyek szükségesek a probléma megoldásának igazolásához.

A gyártó dokumentációja szerint a gondolkodás alapértelmezés szerint be van kapcsolva, és a csevegési sablonon keresztül kikapcsolt gondolkodással közvetlen válaszmód is használható. A következtetési mód hasznos több egymástól függő feltételt tartalmazó feladatnál; egy egyszerű átalakításhoz vagy adatkinyeréshez közvetlen válasz is megfelelő lehet. A gyártó klienspéldáihoz 1,0 temperature és 0,95 top-p értéket ajánl. Ezeket a gyártói eljárás beállításaiként kezelje, és kifejezetten válassza ki a végső válasz szerkezetét, például tömör magyarázatot, összehasonlító táblázatot vagy az alátámasztó bizonyítékokkal kiegészített választ.

A modell legfeljebb 1 millió tokenes kontextust támogat. A közzétett BF16 telepítési eljárások ezt a modellképességet megkülönböztetik azoktól a konfigurációktól, amelyek memóriakorlátok miatt 256 ezer tokenes ablakot használnak. A hosszú anyagot az adott munkához alkalmazható ablakra készítse elő, őrizze meg a dokumentum szerkezetét, és hagyjon helyet a válasznak. A hosszú kontextus akkor a leghasznosabb, ha a prompt megadja a keresett kapcsolatot: dokumentumok közötti ellentmondásokat, forrásfájlok közötti függőségeket vagy egy következtetést alátámasztó bizonyítékokat. Nem indokolja a feladathoz nem tartozó előzmények hozzáadását, és nem jelenti azt, hogy egy végső válasz az egész ablakot elfoglalhatja.

Az elsődleges fókusz az angolon és a programozási nyelveken van; a felsorolásban a spanyol, a francia, a német, az olasz és a japán is szerepel. Adja meg a kimenet kívánt nyelvét, és őrizze meg a neveket, azonosítókat és idézett forráskifejezéseket, ha számít az írásmódjuk. Többnyelvű dokumentumoknál mondja meg, hogy fordítani, összefoglalni vagy összehasonlítani kell-e az anyagokat; ezek a kérések különböző eredményeket adnak. Kérje a bizonytalan terminológia megjelölését, hogy a gördülékeny fordítás ne változtasson meg észrevétlenül egy műszaki jelentést.

Az NVIDIA elsősorban testreszabáshoz és teljes pontosságú kutatáshoz tesz közzé BF16 referenciakiadást, emellett külön NVFP4 kiadást is kínál optimalizált inferencia-eljárásokkal. Ez a különbség fontos a telepítési útmutatók összevetésekor: az egyik kiadás hardverkonfigurációja vagy átviteli teljesítménye nem jellemzi automatikusan a másikat. A modellnév a Lightning családot azonosítja, az eljárást azonban a pontos modellállapot és a kiszolgálási konfiguráció határozza meg. A modellszintű képességeket különítse el az egyes eljárásokhoz tartozó teljesítmény- és memóriafeltételezésektől.

Eszközalapú munkánál adjon egyértelmű függvényleírásokat, és minden végrehajtott lépés tényleges eredményét adja vissza. Egy javasolt művelet csak akkor válik használható bizonyítékká, amikor a kapcsolódó alkalmazás végrehajtja és rögzíti, mi történt. Kérje, hogy a végső válasz különítse el a forrásból származó megfigyeléseket, a levezetett következtetéseket és a befejezetlen ellenőrzéseket. Ha egy számítás, parancs vagy lekért szövegrész ellentmond a tervezett eredménynek, ennek alapján módosítsa a következtetést ahelyett, hogy egy ellenőrizetlen feltételezésből csiszolt összefoglalót készítene.