Cohere: North Mini Code (free)

North Mini Code 1.0 – Cohere modelis agentinei programinės įrangos inžinerijai, terminalo užduotims ir kodo generavimui. Jis priima ir pateikia tekstą, įskaitant kodą, paaiškinimus bei įrankių užklausas. Gamintojas jo svorius išleido pagal Apache 2.0 ir įvardija jį kaip pirmą North programavimo agentų šeimos modelį. Tai specializuotas programavimo profilis, o ne vaizdų supratimo modelis arba bendras sprendimų vertintojas.

Dalies ekspertų aktyvavimas ir pasirengimas programavimui

Modelis turi iš viso 30 milijardų parametrų, iš kurių apie 3 milijardai aktyvūs. Vien dekoderio Transformer naudoja ekspertų mišinį su 128 ekspertais, iš kurių kiekvienam žetonui aktyvuojami aštuoni; prieš sluoksnius, kuriuose aktyvuojama tik dalis ekspertų, yra tankusis sluoksnis. Slenkančio lango dėmesys su sukamosiomis pozicijomis kaitaliojamas su visuotiniu dėmesiu be pozicinių įterpinių santykiu 3:1. Aktyvių parametrų skaičius aprašo žetonui naudojamus skaičiavimus, o ne visą saugotinų svorių rinkinį.

Cohere tolesnis mokymas apima du prižiūrimo derinimo etapus, po kurių eina mokymas su pastiprinimu ir patikrinamais atlygiais, orientuotas į programinės įrangos inžineriją bei terminalo darbą. Gamintojas aprašo mokymą keliose agentų vykdymo aplinkose, o ne viename fiksuotame karkase. Tai leidžia užduotį rengti pagal reikiamą elgseną ir turimus įrankius, o aplinkinė vykdymo sistema lieka atsakinga už failų gavimą, komandų vykdymą bei pastebėjimų grąžinimą.

Parenkite saugyklos lygio pakeitimą

Pateikite dabartinį kodą ir elgseną, prašomą pakeitimą, reikšmingas failų arba sąsajų ribas ir įrodymus, kurie nustatys užbaigimą. Klaidai įtraukite pastebėtą klaidą arba nesėkmingą įvestį ir tikėtiną rezultatą. Funkcionalumo užduočiai nurodykite reikiamą elgseną ir suderinamumo apribojimus. Naudingas galutinis rezultatas – siūlomas kodo pakeitimas su paaiškinimu ir realiai paleistų patikrų rezultatais.

Pavyzdinė užklausa gali prašyti atnaujinti analizatorių papildomai palaikomai įvesčiai, išlaikant esamus formatus. Įvardykite reprezentatyvias įvestis ir analizatoriaus elgseną apibrėžiančią saugyklos dalį. Modelis gali naudoti kodą ir įrankių pastebėjimus pakeitimui rengti; sugeneruota pataisa arba teiginys, kad komanda turėtų pasileisti, neįrodo jos sėkmės.

Terminalo įrankiai ir struktūruoti pastebėjimai

Savoji modelio kortelė dokumentuoja įrankių naudojimo mokymą ir rekomenduoja JSON schemos įrankių aprašus per modelio pokalbio šabloną. Aiškiai aprašykite įrankio paskirtį bei argumentus. Komandų vykdymo įrankis gali grąžinti tikrą išvestį ir būseną, o failų tikrinimo įrankis – kitam žingsniui reikalingą medžiagą. Kiekvieną įrankio rezultatą susiekite su jo iškvietimo identifikatoriumi, kad vėlesnė analizė naudotų numatytą pastebėjimą.

Gamintojo pavyzdys istorijoje išsaugo įrankio iškvietimą ir asistento samprotavimą, vykdo įrankį bei prideda jo rezultatą prieš generuodamas vėl. Savojo šablono pavyzdys įrankio rezultatui naudoja struktūruotą žodyną. Išlaikykite šį vaizdavimą pagal dokumentuotą integraciją, užuot manę, kad kiekviena nesusijusi API įrankių rezultatus serializuoja vienodai. JSON schema, aprašanti įrankio argumentus, skiriasi nuo teiginio apie bet kokia schema ribojamos galutinės išvesties palaikymą.

Samprotavimo ir įrankių veiksmų kaita bei kelių ėjimų istorija

North Mini Code palaiko samprotavimo ir įrankių veiksmų kaitą, kurią gamintojas rekomenduoja įjungti agentiniam darbui. Modelio sugeneruotą samprotavimo turinį ir įrankių iškvietimus perkelkite į paskesnius agento žingsnius bei pokalbio ėjimus. Savasis pavyzdys prie asistento žinutės išlaiko samprotavimo lauką ir po to grąžina atitinkamą įrankio pastebėjimą. Taip išsaugoma informacija, kurią modelis naudojo spręsdamas, ką tikrinti arba keisti toliau.

Užduoties istorijoje laikykite dabartinį tikslą, šaltinio medžiagą ir tikrus pastebėjimus. Ilgesnei saugyklos užduočiai galutinį rezultatą apibendrinkite pagal pakeistą elgseną ir naudingą artefaktą, išsaugodami jo peržiūrai reikalingus įrodymus. Samprotavimo ir įrankių veiksmų kaita nereiškia, kad trumpam matomam atsakymui nereikėjo analizės, ir nepatvirtina, kad modelio aprašytas veiksmas jau įvyko.

Atskiros kodo ir paaiškinimo užduotys

Gamintojas taip pat nurodo mokslinį programavimą ir algoritminį samprotavimą už agento ciklo ribų. Pateikite problemos apibrėžimą, įvesties ir išvesties formatą, apribojimus, reikšmingas skaitines prielaidas bei numatomą elgseną ribiniais atvejais. Prašykite visos funkcijos arba programos, kai būtent toks rezultatas reikalingas, su skaitytojui tinkamo lygio paaiškinimu.

Kodo paaiškinimui pateikite įgyvendinimą ir konkrečią aiškintiną elgseną arba priklausomybę. Duomenų vizualizavimo kodui įvardykite pateiktus laukus ir numatytą palyginimą, nepalikdami diagramos paskirties numanomos. Gamintojo kūrimo pavyzdžiai apima kodo paaiškinimą, redagavimą, vizualizavimą ir įgyvendinimą pagal specifikaciją. Tai kodo generavimo arba keitimo užduočių būdai, o ne teisingų rezultatų kiekvienai saugyklai ar sistemai pažadas.

Kontekstas, išvestis ir generavimo nustatymai

Gamintojo modelio kortelėje ir API puslapyje nurodytas 256K žetonų konteksto langas ir didžiausia 64K žetonų išvestis. Didelę saugyklos medžiagą parenkite pagal šiuos atskirus limitus ir galutinio rezultato dydį. Išlaikykite šaltinių ribas bei identifikatorius ir pašalinkite nereikšmingą medžiagą, užuot manę, kad didelis langas panaikina tikslinės užduoties poreikį.

Savoji modelio kortelė generavimui rekomenduoja temperature 1.0 ir top_p 0.95 bei tekstinėms ir įrankių darbo eigoms naudoja modelio pokalbio šabloną su generavimo instrukcija. Pavyzdiniai išvesties limitai yra tų pavyzdžių nustatymai, o ne paskelbto modelio maksimumo pakaitalas. Cohere skelbia BF16 svorius ir atskirai pavadintą FP8 artefaktą. Rengdami diegimą pasirinkite tinkamą artefaktą.

Naudingas North Mini Code rezultatas – patikrinamas kodo artefaktas arba techninis paaiškinimas, susietas su pateiktais reikalavimais. Palyginkite rezultatą su originalia elgsena ir tikra įrankių išvestimi, patikrinkite kodui įtakos turinčias prielaidas ir išsaugokite peržiūrai reikalingus šaltinius bei pastebėjimus. Tik tekstinis programavimo modelis pateikia samprotavimą ir sugeneruotą turinį; aplinkinė programa atlieka operacijas, kurios šiuos pasiūlymus paverčia užbaigta programinės įrangos užduotimi.