NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning on kielimalli päättelyyn, keskusteluun ja erikoistuneisiin agenttityönkulkuihin. Siinä on yhteensä 30B parametria ja 3B aktiivista parametria, ja sen hybridiarkkitehtuuri lomittaa Mamba-2-, mixture-of-experts- ja huomiokerroksia. Multi-Token Prediction -kerrokset lisäävät tulevien tokenien koulutussignaaleja ja tukevat mallin optimoituja generointireseptejä. Malli käsittelee tekstiä ja tuottaa tekstiä, kuten selityksiä, koodia ja annettuun aineistoon perustuvia vastauksia.

Valmistaja kuvaa käyttöä keskusteluboteissa, hakuavusteisessa generoinnissa, ohjeiden noudattamisessa ja agenteissa. Anna tietopankkivastausta varten kysymys ja olennaiset tekstikohdat pysyvine lähdemerkintöineen. Pyydä mallia vastaamaan näiden kohtien pohjalta, yksilöimään, mikä kohta tukee kutakin tärkeää väitettä, ja kertomaan, mikä jää tuntemattomaksi. Esimerkiksi: ”Selitä näiden tukiartikkelien pohjalta kahden asennusmenetelmän ero ja palauta kummankin edellytykset, vaiheet ja tarkastukset.” Pidä puuttuva edellytys näkyvissä sen sijaan, että houkuttelisit mallia keksimään sen.

Anna ohjelmointityössä olennainen koodi, odotettu toiminta ja havaittu virhe. Käytännöllinen pyyntö pyytää kohdennettua muutosta ja selitystä siihen liittyvistä tapauksista. Jos työkaluihin yhdistetty agentti suorittaa tarkastuksen, palauta sen todellinen tuloste ennen seuraavan muutoksen pyytämistä. Mallin koulutus sisältää koodia, monivaiheista työkalujen käyttöä ja rakenteisen tulosteen tehtäviä, mutta valmiin tuotoksen on silti vastattava alkuperäistä vaatimusta. Pyydä muutettu koodi, kunkin olennaisen muutoksen syy ja havainnot, joita ongelman ratkaisemisen osoittamiseen tarvitaan.

Valmistaja dokumentoi ajattelun olevan oletusarvoisesti käytössä sekä suoravastaustilan, jossa ajattelu poistetaan käytöstä keskustelumallipohjan kautta. Päättelytila on hyödyllinen tehtävässä, jossa on useita toisistaan riippuvia ehtoja; suora vastaus voi sopia yksinkertaiseen muunnokseen tai poimintaan. Valmistaja suosittelee asiakasohjelmaesimerkeissään temperature-arvoa 1.0 ja top-p-arvoa 0.95. Käsittele niitä valmistajan reseptiasetuksina ja valitse lopullinen vastausrakenne nimenomaisesti, esimerkiksi tiivis selitys, vertailutaulukko tai vastaus ja sen jälkeen sitä tukeva näyttö.

Malli tukee enintään 1M tokenin kontekstia. Julkaistut BF16-käyttöönottoreseptit erottavat myös tämän mallikyvyn kokoonpanoista, jotka käyttävät 256K-ikkunaa muistirajoitteiden vuoksi. Valmistele pitkä aineisto sovellettavaa työskentelyikkunaa varten säilyttäen asiakirjarakenne ja jättäen tilaa vastaukselle. Pitkä konteksti on hyödyllisimmillään, kun kehote määrittelee etsittävän suhteen: asiakirjojen väliset ristiriidat, lähdetiedostojen väliset riippuvuudet tai johtopäätöstä tukevan näytön. Se ei ole syy sisällyttää asiaankuulumatonta historiaa tai olettaa lopullisen vastauksen voivan täyttää koko ikkunan.

Englanti ja ohjelmointikielet ovat ensisijainen painopiste, ja lisäksi luetellaan espanja, ranska, saksa, italia ja japani. Ilmoita vaadittu tuloskieli ja säilytä nimet, tunnisteet ja lainatut lähdetermit, kun niiden kirjoitusasu on olennainen. Määrittele monikielisessä asiakirjatyössä, tuleeko aineistot kääntää, tiivistää vai vertailla; nämä pyynnöt tuottavat eri tuotoksia. Pyydä merkitsemään epävarma terminologia, jotta sujuva käännös ei muuta teknistä merkitystä huomaamatta.

NVIDIA julkaisee BF16-viitejulkaisun pääasiassa mukauttamista ja täyden tarkkuuden tutkimusta varten sekä erillisen NVFP4-julkaisun optimoituine päättelyajoresepteineen. Tämä ero on olennainen käyttöönotto-ohjeita verrattaessa: yhden julkaisun laitteistokokoonpano tai läpimenotulos ei automaattisesti kuvaa toista. Mallin nimi yksilöi Lightning-perheen, kun taas täsmällinen tarkistuspiste ja palvelukokoonpano määräävät reseptin. Pidä mallin kyvyt erillään reseptikohtaisista suorituskyky- ja muistioletuksista.

Anna työkalupohjaisessa työssä selkeät funktiokuvaukset ja palauta kunkin suoritetun vaiheen todellinen tulos. Ehdotettu toiminto muuttuu käyttökelpoiseksi näytöksi vasta, kun ympäröivä sovellus toteuttaa sen ja kirjaa tapahtuneen. Pyydä lopullista vastausta erottamaan lähdehavainnot, johdetut johtopäätökset ja keskeneräiset tarkastukset. Kun laskelma, komento tai haettu tekstikohta on ristiriidassa suunnitellun tuloksen kanssa, käytä ristiriitaa johtopäätöksen tarkistamiseen sen sijaan, että tuottaisit hiotun yhteenvedon varmentamattomasta oletuksesta.