Cohere: North Mini Code (free)

North Mini Code 1.0 er Coheres modell for agentbasert programvareutvikling, terminaloppgaver og kodegenerering. Den tar imot tekst og produserer tekst, inkludert kode, forklaringer og verktøyforespørsler. Produsenten utga vektene under Apache 2.0 og identifiserer den som den første modellen i North-familien av kodeagenter. Den er en spesialisert kodeprofil fremfor en modell for bildeforståelse eller en generell modell for beslutningsskåring.

Sparsom arkitektur og klargjøring for koding

Modellen har 30 milliarder parametere totalt, med omtrent 3 milliarder aktive. Transformeren med bare dekoder bruker en sparsom Mixture of Experts med 128 eksperter, åtte aktivert per token, og et tett lag før de sparsomme lagene. Oppmerksomhet i glidende vinduer med roterende posisjoner veksler med global oppmerksomhet uten posisjonsinnbygginger i forholdet 3:1. Tallet for aktive parametere beskriver beregningen som brukes for et token, ikke hele settet med vekter som må lagres.

Coheres ettertrening bruker to trinn med veiledet finjustering etterfulgt av forsterkningslæring med verifiserbare belønninger, rettet mot programvareutvikling og terminalarbeid. Produsenten beskriver trening på tvers av flere agentkjøremiljøer fremfor ett fast rammeoppsett. Dette støtter klargjøring av en oppgave rundt ønsket atferd og tilgjengelige verktøy, mens kjøremiljøet rundt modellen fortsatt har ansvar for å hente filer, utføre kommandoer og returnere observasjoner.

Klargjør en endring på kodebasenivå

Oppgi gjeldende kode og atferd, ønsket endring, relevante fil- eller grensesnittgrenser og belegget som skal fastslå fullføring. Ved en feil bør du ta med den observerte feilen eller inndataene som feiler, og forventet resultat. Ved en funksjon bør du angi ønsket atferd og kompatibilitetskrav. En nyttig sluttleveranse er en foreslått kodeendring med en forklaring og resultater fra kontroller som faktisk ble kjørt.

En illustrerende forespørsel kan be om å oppdatere en parser for ytterligere inndata som støttes, samtidig som eksisterende formater bevares. Identifiser representative inndata og delen av kodebasen som definerer parserens atferd. Modellen kan bruke kode og verktøyobservasjoner til å utvikle endringen; en generert patch eller en uttalelse om at en kommando bør kjøres, er ikke belegg for at kommandoen lyktes.

Terminalverktøy og strukturerte observasjoner

Det opprinnelige modellkortet dokumenterer trening på verktøybruk og anbefaler verktøybeskrivelser basert på JSON-skjema gjennom modellens chatmal. Beskriv formålet og argumentene til et verktøy tydelig. Et kommandoutførelsesverktøy kan returnere faktiske utdata og status, mens et filinspeksjonsverktøy kan returnere materialet neste trinn trenger. Hold hvert verktøyresultat knyttet til kallidentifikatoren sin, slik at senere analyse bruker den tiltenkte observasjonen.

Produsentens eksempel beholder et verktøykall og assistentens resonnering i historikken, utfører verktøyet og legger til resultatet før ny generering. Det opprinnelige maleksemplet bruker et strukturert nøkkel-verdi-objekt for verktøyresultatet. Bevar denne representasjonen i henhold til den dokumenterte integrasjonen fremfor å anta at alle urelaterte API-er serialiserer verktøyresultater på samme måte. Et JSON-skjema som beskriver argumentene til et verktøy, er noe annet enn å hevde støtte for vilkårlige skjemabegrensede sluttsvar.

Vekslende resonnering og historikk over flere runder

North Mini Code støtter resonnering innimellom handlinger, noe produsenten anbefaler å aktivere for agentarbeid. Viderefør modellgenerert resonneringsinnhold og verktøykall til påfølgende agenttrinn og samtalerunder. Det opprinnelige eksemplet beholder et reasoning-felt med assistentmeldingen og returnerer den tilhørende verktøyobservasjonen etterpå. Dette bevarer informasjonen modellen brukte da den avgjorde hva den skulle undersøke eller endre videre.

Hold gjeldende mål, kildemateriale og faktiske observasjoner i oppgavehistorikken. Ved en lengre oppgave i en kodebase bør du oppsummere sluttresultatet rundt den endrede atferden og den nyttige leveransen, samtidig som du beholder belegget som trengs for gjennomgang. Vekslende resonnering innebærer ikke at et kort synlig svar ikke krevde noen analyse, og fastslår heller ikke at en handling modellen beskriver allerede har skjedd.

Selvstendige kode- og forklaringsoppgaver

Produsenten identifiserer også vitenskapelig koding og algoritmisk resonnering utenfor en agentløkke. Oppgi problemdefinisjonen, inndata- og utdataformatet, begrensningene, relevante numeriske antakelser og forventet atferd i grensetilfeller. Be om en fullstendig funksjon eller et program når det er den nødvendige leveransen, med en forklaring på nivået leseren trenger.

For kodeforklaring bør du oppgi implementeringen og den konkrete atferden eller avhengigheten som skal avklares. For kode til datavisualisering bør du identifisere feltene som er oppgitt og den tiltenkte sammenligningen fremfor å la diagrammets formål være underforstått. Produsentens utviklingseksempler omfatter kodeforklaring, redigering, visualisering og implementering fra en spesifikasjon. Dette er oppgavemønstre for å generere eller endre kode, ikke et løfte om korrekte resultater for enhver kodebase eller ethvert rammeverk.

Kontekst, utdata og genereringsinnstillinger

Produsentens modellkort og API-side oppgir et kontekstvindu på 256K tokener og maksimalt 64K tokener i utdata. Klargjør omfattende materiale fra kodebasen rundt disse separate grensene og størrelsen på sluttleveransen. Hold kildegrenser og identifikatorer intakte, og fjern irrelevant materiale fremfor å anta at et stort vindu fjerner behovet for en avgrenset bestilling.

Det opprinnelige modellkortet anbefaler temperature 1.0 og top_p 0.95 for generering og bruker modellens chatmal, inkludert en genereringsinstruksjon, for tekst- og verktøyarbeidsflyter. Eksemplets utdatagrenser er innstillinger for disse eksemplene, ikke en erstatning for modellens publiserte maksimum. Cohere publiserer BF16-vekter og en separat navngitt FP8-modellfil. Velg riktig modellfil når en utrulling klargjøres.

Et nyttig North Mini Code-resultat er en kodeleveranse eller teknisk forklaring som kan undersøkes og er knyttet til de oppgitte kravene. Sammenlign resultatet med den opprinnelige atferden og de faktiske verktøyutdataene, kontroller antakelser som påvirker koden, og behold kilden og observasjonene som trengs for gjennomgang. Den rent tekstbaserte kodemodellen leverer resonnering og generert innhold; applikasjonen rundt modellen utfører operasjonene som gjør disse forslagene til en fullført programvareoppgave.