NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super on yleiskäyttöinen päättely- ja keskustelumalli, joka on suunniteltu yhteistyötä tekeville agenteille ja suuren volyymin työnkulkuihin, kuten IT-tukipyyntöjen automaatioon. Siinä on yhteensä 120B parametria, joista 12B aktivoituu. Sen hybridiarkkitehtuuri yhdistää Mamba-2-, huomio- ja Latent Mixture-of-Experts -kerrokset. Multi-Token Prediction -kerrokset lisäävät tulevien tokenien ennustamismekanismin ja tukevat NVIDIA:n natiiveja spekulatiivisen dekoodauksen reseptejä.

Malli vastaanottaa tekstiä ja palauttaa tekstiä, kuten selityksiä, vastausluonnoksia, koodia ja työkalukutsupyyntöjä tarkoituksenmukaisessa työkaluihin yhdistetyssä sovelluksessa. Sen käyttötarkoituksiin kuuluvat agentit, keskustelubotit, hakuavusteinen generointi, monimutkaisten ohjeiden noudattaminen ja pitkän kontekstin päättely. Hyödyllinen kehote määrittelee halutun tuotoksen ja sitä ohjaavat ehdot. Esimerkiksi: ”Luokittele tämä häiriö annetun käytännön avulla, selitä prioriteetti näytön pohjalta, laadi vastaus ja luettele puuttuvat faktat, joita tarvitaan ennen korjauksen suosittelemista.”

Anna IT-tukipyyntöjen käsittelyä varten tukipyynnön teksti, olennainen historia, ympäristötiedot ja sovellettavat reititys- tai eskalointisäännöt. Pyydä erilliset kentät havaituille oireille, todennäköisille syille, ehdotetuille tarkastuksille ja käyttäjälle annettavalle vastaukselle. Erottelu estää hypoteesin kirjaamisen vahvistetuksi diagnoosiksi. Jos diagnostiikkatyökalu ajetaan, syötä sen todellinen tulos keskusteluun ennen seuraavan vaiheen pyytämistä. Valmistuneen tukipyyntöyhteenvedon tulee kertoa, mitä havaittiin ja ratkaistiin ja mikä kysymys jää avoimeksi.

Merkitse RAG- ja tietopankkityössä haetut tekstikohdat ja ilmoita, tuleeko mallin vastata vain niiden perusteella. Pyydä vastaus tukevine lähdeviitteineen ja aineistojen välisine ristiriitoineen. Käytännön esimerkki on: ”Vertaa näitä toimintaohjeen osioita, tunnista annetussa ympäristössä sovellettavat vaiheet ja palauta järjestetty menettely sekä tarkastus jokaisen tärkeän vaiheen jälkeen.” Säilytä lähteen versiot ja ehdot; selkeäkin menettely voi olla väärä, jos se yhdistää yhteensopimattomien ympäristöjen ohjeita.

Anna yhteistyöagenttien tehtävissä kullekin vaiheelle selkeä tavoite ja säilytä hyödylliset välitulokset. Super on tarkoitettu päättelemään työkaluhavaintojen pohjalta ja ylläpitämään monivaiheista keskustelua. Ympäröivä sovellus suorittaa työkalut ja säilyttää tehtävän tilan. Pyydä mallia selittämään, mitä uusi havainto muuttaa, säilyttämään edelleen pätevät aiemmat havainnot ja erottamaan ehdotettu toimi kirjatusta tuloksesta. Anna ohjelmointiin olennaiset tiedostot ja odotettu toiminta ja pyydä sitten muutettu koodi, muutosselitys ja sen varmentamiseen tarvittavat tapaukset.

NVIDIA dokumentoi ajattelun olevan oletusarvoisesti käytössä sekä suoravastaustilan, jossa ajattelu poistetaan käytöstä keskustelumallipohjan kautta. Superilla on myös kevyt päättelytila, joka käyttää vähemmän päättelytokeneita kuin täysi ajattelu ja jota ehdotetaan lähtökohdaksi ennen nimenomaista budjetin säätämistä. Tämä on Superin asetus; Ultran erillistä keskitason päättelytilaa ei tule kopioida siihen. Valitse lopullinen vastausmuoto ja jätä sille tilaa päättelyn jälkeen, varsinkin kun työkalutulos tai monimutkainen lähdevertailu tarvitsee selityksen.

Malli tukee enintään 1M tokenin kontekstia, mutta valmistajan Hugging Face -kokoonpanon oletus on 256K, koska pidempi konteksti vaatii enemmän muistia. Työskentele pitkissä syötteissä sovellettavan kokoonpanon puitteissa, säilytä asiakirjarajat ja lähdemerkinnät ja varaa vastaustilaa. Määrittele, mitä suhdetta aineistosta tulee jäljittää, sen sijaan, että pyytäisit kohdentamatonta yhteenvetoa kaikesta. Mallitason enimmäismäärä ei ole lupaus siitä, että jokainen palvelukokoonpano käyttää samaa ikkunaa.

Valmistaja luettelee englannin, ranskan, saksan, italian, japanin, espanjan ja kiinan. Määrittele lopullinen kieli säilyttäen kooditunnisteet ja lähdetermien täsmällinen muoto. Pyydä monikielisessä tukityössä mallia säilyttämään tekninen merkitys ja eskalointikriteerit samalla, kun sanamuoto mukautetaan lukijalle. Tarkasta vieras terminologia tai monitulkintainen syöte sen sijaan, että pitäisit sujuvuutta näyttönä tulkinnan oikeellisuudesta.

Hyödyllinen lopputuotos on tiivis ja tarkastettava: vastaus tai muutettu tuotos, sitä tukevat havainnot, oletukset ja jäljellä oleva työ. Tarkasta tuotettujen menettelyjen tarkastukset todellista ympäristöä vasten. Vertaa koodin ehdotettuja muutoksia havaittuun toimintaan. Varmista lähteisiin perustuvassa vastauksessa, että viitattu tekstikohta tukee väitettä. Superin päättely ja agenttikoulutus auttavat järjestämään tätä työtä; todellisen tuloksen osoittavat aineisto ja suorituskirjaukset, joiden avulla se tarkastetaan.