NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning je jezikovni model za sklepanje, pogovor in specializirane agentske poteke dela. Ima 30B skupnih parametrov s 3B aktivnimi ter uporablja hibridno arhitekturo, ki prepleta plasti Mamba-2, mešanice ekspertov in pozornosti. Plasti Multi-Token Prediction dodajajo učne signale za prihodnje žetone in podpirajo optimizirane postopke ustvarjanja modela. Model obdeluje besedilo in ustvarja besedilo, vključno z razlagami, kodo in odgovori na podlagi priloženega gradiva.

Proizvajalec opisuje uporabo v klepetalnih botih, ustvarjanju s pridobivanjem dodatnih virov, sledenju navodilom in agentih. Za odgovor iz zbirke znanja posredujte vprašanje in ustrezne odlomke s stabilnimi oznakami virov. Model prosite, naj odgovori na podlagi teh odlomkov, opredeli, kateri podpira vsako pomembno trditev, in navede, kaj ostaja neznano. Na primer: »Na podlagi teh člankov za podporo razložite razliko med obema načinoma namestitve in vrnite predpogoje, korake in preverjanja za vsakega.« Manjkajoči predpogoj naj ostane viden, namesto da model spodbujate k njegovemu izmišljanju.

Pri programiranju posredujte ustrezno kodo, pričakovano vedenje in opaženo napako. Praktična zahteva prosi za osredotočen popravek in razlago prizadetih primerov. Če agent s povezanimi orodji izvede preverjanje, vrnite njegov dejanski izhod, preden zahtevate naslednjo spremembo. Učenje modela vključuje kodo, večstopenjsko uporabo orodij in naloge s strukturiranim izhodom, vendar mora dokončani izdelek še vedno ustrezati prvotni zahtevi. Zahtevajte spremenjeno kodo, razlog za vsako pomembno spremembo in opažanja, potrebna za dokaz, da je težava odpravljena.

Proizvajalec dokumentira privzeto omogočeno razmišljanje in način neposrednega odgovora z razmišljanjem, izklopljenim prek predloge klepeta. Način sklepanja je uporaben pri nalogi z več odvisnimi pogoji; neposredni odgovor je lahko primeren za preprosto preoblikovanje ali izluščevanje. Proizvajalec v primerih odjemalcev priporoča temperaturo 1.0 in top-p 0.95. To obravnavajte kot nastavitvi proizvajalčevega postopka in izrecno izberite strukturo končnega odgovora, na primer jedrnato razlago, primerjalno preglednico ali odgovor, ki mu sledijo podporni dokazi.

Model podpira kontekst do 1M žetonov. Objavljeni postopki namestitve BF16 razlikujejo to zmožnost modela od konfiguracij, ki zaradi omejitev pomnilnika uporabljajo okno 256K. Dolgo gradivo pripravite za ustrezno delovno okno, pri čemer ohranite strukturo dokumenta in pustite prostor za odgovor. Dolg kontekst je najbolj uporaben, kadar poziv določa razmerje, ki ga je treba najti: nasprotja med dokumenti, odvisnosti med izvornimi datotekami ali dokaze, ki podpirajo sklep. Ni razlog za vključevanje nepovezane zgodovine ali predpostavko, da lahko končni odgovor zasede celotno okno.

Glavni poudarek je na angleščini in programskih jezikih, navedeni pa so tudi španščina, francoščina, nemščina, italijanščina in japonščina. Določite zahtevani jezik izhoda in ohranite imena, identifikatorje ter citirane izvorne izraze, kadar je njihov zapis pomemben. Pri delu z večjezičnimi dokumenti določite, ali naj model gradivo prevede, povzame ali primerja; te zahteve ustvarijo različne izdelke. Zahtevajte označitev negotovega izrazja, da tekoč prevod ne spremeni strokovnega pomena brez opozorila.

NVIDIA objavlja referenčno izdajo BF16 predvsem za prilagajanje in raziskave s polno natančnostjo ter ločeno izdajo NVFP4 z optimiziranimi postopki izvajanja. Ta razlika je pomembna pri primerjavi smernic namestitve: strojna konfiguracija ali rezultat prepustnosti iz ene izdaje ne opisuje samodejno druge. Ime modela označuje družino Lightning, natančna kontrolna točka in konfiguracija streženja pa določata postopek. Zmožnosti na ravni modela ohranite ločene od predpostavk o zmogljivosti in pomnilniku, vezanih na posamezni postopek.

Za delo z orodji podajte jasne opise funkcij in vrnite dejanski rezultat vsakega izvedenega koraka. Predlagana operacija postane uporaben dokaz šele, ko jo povezana aplikacija izvede in zabeleži dogajanje. Zahtevajte, naj končni odgovor loči ugotovitve iz virov, izpeljane sklepe in nedokončana preverjanja. Kadar izračun, ukaz ali pridobljeni odlomek nasprotuje načrtovanemu rezultatu, uporabite to nasprotje za popravek sklepa, namesto da ustvarite lepo oblikovan povzetek nepreverjene predpostavke.