Thinking Machines: Inkling Small (free)

Inkling-Small er Thinking Machines Labs mindre multimodale modell med åpne vekter for resonnering, koding, samtaler og applikasjoner som bruker verktøy. Den tar imot tekst, bilder og lyd og produserer tekst. Mixture-of-Experts-designet har totalt 276 milliarder parametere, hvorav 12 milliarder er aktive, sammenlignet med Inklings totalt 975 milliarder og 41 milliarder aktive. Small er en egen utgitt modell med en annen balanse mellom effektivitet og egenskaper, ikke en modus for kortere utdata fra Inkling.

For en kodeundersøkelse gir du de berørte filene, observert oppførsel og endringen du trenger, og ber deretter om den ansvarlige kodebanen og en avgrenset rettelse. En nyttig sluttleveranse inneholder den foreslåtte endringen og belegget fra kontroller som den tilkoblede applikasjonen faktisk kjørte. For en kundestøtteassistent gir du relevante retningslinjer og samtalefakta og ber om neste svar eller det manglende spørsmålet. Modellens tiltenkte bruksområder omfatter kodeassistenter, chatboter, svar med støtte fra innhentet informasjon og agentbaserte systemer med applikasjonsverktøy.

Kontekstvinduet er på opptil én million tokener. Organiser et langt kodelager eller en dokumentsamling med filnavn, deloverskrifter og et tydelig spørsmål, og bevar faktaene som et senere trinn må bruke. Et stort vindu er nyttig for å sammenligne informasjon som ligger langt fra hverandre, men det ønskede resultatet bør forbli konkret: en kodeendring, en kildebasert forklaring eller uthentede felt. Ny eller privat informasjon hører hjemme i det innsendte belegget eller i returnerte innhentingsresultater, fremfor å antas å inngå i innlært kunnskap.

Tenkeinnsatsen kan styres. Veiledningen for produsentens modellfamilie bruker kontinuerlige verdier fra og med 0.0 til under 1.0, med startforhåndsinnstillingene none, minimal, low, medium, high og xhigh som svarer til 0.0, 0.1, 0.2, 0.7, 0.9 og 0.99. Produsentens renderer bruker high som standard. Høyere innsats kan oppmuntre til mer resonnering og trenge et større genereringsbudsjett, men garanterer ikke et lengre eller mer korrekt svar. En nullinnstilling styrer modellen mot ingen resonnering, fremfor å håndheve et absolutt fravær av resonnering. Velg innsats for oppgaven, og hold kravet til sluttutdata tydelig.

Bilder kan støtte visuelle spørsmål, tolkning av grafer eller diagrammer og matematisk resonnering fra synlig informasjon. For god ytelse bruker du bilder med dimensjoner mellom 40 og 4096 piksler. Behold lesbare etiketter og forklar detaljen som er viktig. Med et konfigurert Python-verktøy kan modellen kombinere visuell resonnering med beskjæring, zooming og programmatisk undersøkelse av et dokument eller en graf. Disse operasjonene må utføres av det tilkoblede verktøymiljøet; det skriftlige svaret bør bruke observasjonene som returneres derfra.

Lydinndata er WAV med en samplingsfrekvens på 16 kHz, med opptak som ideelt sett er under to minutter for optimal ytelse. Dette er en forberedelsesanbefaling, ikke en garanti om en hard varighetsgrense. Bruk et relevant muntlig spørsmål eller et kort klipp, og angi om det skriftlige resultatet skal transkribere tale, besvare et spørsmål om opptaket eller knytte innholdet til annet innsendt materiale. Det innebygde svaret er tekst fremfor generert tale. Inklings separate anbefaling for lengre lyd bør ikke overføres til Small-utgaven.

Arbeidsflyter som bruker verktøy, trenger meningsfulle verktøybeskrivelser, argumentdefinisjoner og resultater fra operasjonene applikasjonen utfører. Hold et oppslagsresultat, en beregning eller en filobservasjon atskilt fra modellens foreslåtte handling. For et avvik i en graf identifiserer du de relevante etikettene, undersøker de oppgitte verdiene med et beregningsverktøy og ber om en forklaring som viser til disse verdiene. Modellen er trent for varierte kode- og agentrammeverk, så den omkringliggende oppgaven og verktøyene bør beskrives fremfor å være underforstått.

De åpne vektene støtter modellforskning, finjustering og integrasjon i nedstrømsprodukter. Inkling-Small-utgivelsen følger etter et tidligere forhåndsvisningskontrollpunkt og omfatter videre trening for agentbasert koding; den endelige modellen og denne forhåndsvisningen bør beholde separate identiteter. For en spesialisert uthentings- eller svarstil bruker tilpasning representative eksempler og en uttrykkelig måloppførsel. En vanlig prompt gir i stedet kontekst for den aktuelle forespørselen; den oppretter ikke og bytter ikke til en nytrent modell.

Et nyttig trinn for resultatgjennomgang kontrollerer at den foreslåtte kodeendringen, transkripsjonen, de uthentede faktaene eller det skriftlige svaret samsvarer med det innsendte belegget. Angi hvordan usikkerhet og manglende informasjon skal fremstå, særlig for en prognose eller et faktasvar med ufullstendig kilde. Produsenten trente Inkling-Small for prognosekalibrering ved hjelp av forsterkningslæring med skåringsregler som belønner sannferdige sannsynlighetsanslag (proper scoring rules) for spørsmål fra virkeligheten, med mål om å uttrykke sikkerhet som passer til det tilgjengelige belegget. Behold materialet og verktøyobservasjonene sammen med leveransen, slik at en oppfølging kan revidere ett problem uten å miste den opprinnelige oppgaven. Inkling-Smalls generelle flerspråklige og multimodale egenskaper forblir atskilt fra en dedikert talegenerator eller en tjeneste som garanterer eksterne handlinger.