Thinking Machines: Inkling Small (free)

Inkling-Small er Thinking Machines Labs mindre multimodale model med åbne vægte til ræsonnement, kodning, samtale og værktøjsbrugende applikationer. Den accepterer tekst, billeder og lyd og producerer tekst. Dens Mixture-of-Experts-design har i alt 276 milliarder parametre med 12 milliarder aktive sammenlignet med Inklings i alt 975 milliarder og 41 milliarder aktive. Small er en særskilt udgivet model med en anden balance mellem effektivitet og evner, ikke en tilstand med kortere output for Inkling.

Til en kodeundersøgelse skal du levere de berørte filer, den observerede adfærd og den ændring, du har brug for, og derefter bede om den ansvarlige kodevej og en fokuseret rettelse. Et nyttigt slutprodukt omfatter den foreslåede redigering og belæg fra eventuelle kontroller, som den forbundne applikation faktisk har kørt. Til en supportassistent skal du levere den relevante politik og samtalens fakta og bede om det næste svar eller det manglende spørgsmål. Modellens tilsigtede anvendelser omfatter kodeassistenter, chatbots, svar udvidet med informationshentning og agentsystemer med applikationsværktøjer.

Kontekstvinduet er op til én million tokens. Organisér et langt repository eller en dokumentsamling med filnavne, afsnitsbetegnelser og et tydeligt spørgsmål, og bevar de fakta, et senere trin skal anvende. Et stort vindue er nyttigt til at sammenligne oplysninger langt fra hinanden, men det ønskede resultat bør forblive konkret: en kodeændring, en kildebaseret forklaring eller udtrukne felter. Nye eller private oplysninger hører til i det leverede belæg eller returnerede søgeresultater frem for at blive antaget som en del af indlært viden.

Tænkeindsatsen kan styres. Producentfamiliens vejledning bruger kontinuerlige værdier fra og med 0.0 til under 1.0 med startforvalgene none, minimal, low, medium, high og xhigh svarende til 0.0, 0.1, 0.2, 0.7, 0.9 og 0.99. Producentens renderer bruger som standard high. Højere indsats kan fremme mere ræsonnement og kan kræve et større genereringsbudget, men garanterer ikke et længere eller mere præcist svar. En nulindstilling tilskynder modellen til intet ræsonnement frem for at håndhæve et fuldstændigt fravær af ræsonnement. Vælg indsats til opgaven, og hold kravet til det endelige output klart.

Billeder kan understøtte visuelle spørgsmål, fortolkning af diagrammer eller figurer og matematisk ræsonnement ud fra synlige oplysninger. Brug billeder med dimensioner mellem 40 og 4.096 pixels for god ydeevne. Bevar læsbare betegnelser, og forklar den relevante detalje. Med et konfigureret Python-værktøj kan modellen kombinere visuelt ræsonnement med beskæring, zoom og programmatisk undersøgelse af et dokument eller diagram. Disse handlinger kræver udførelse i det forbundne værktøjsmiljø; det skriftlige svar bør bruge observationerne returneret derfra.

Lydinput er WAV samplet ved 16 kHz med optagelser helst under to minutter for optimal ydeevne. Det er en anbefaling til forberedelsen, ikke en hård garanti om varighed. Brug et relevant talt spørgsmål eller kort klip, og angiv, om det skriftlige resultat skal transskribere tale, besvare et spørgsmål om optagelsen eller forbinde dens indhold med andet leveret materiale. Det indbyggede svar er tekst frem for genereret tale. Inklings særskilte anbefaling om længere lyd må ikke overføres til Small-udgaven.

Værktøjsbrugende arbejdsgange kræver meningsfulde værktøjsbeskrivelser, argumentdefinitioner og resultater fra de handlinger, applikationen udfører. Hold et opslag, en beregning eller en filobservation adskilt fra modellens foreslåede handling. Ved en uoverensstemmelse i et diagram skal du identificere de relevante betegnelser, undersøge de leverede værdier med et beregningsværktøj og bede om en forklaring, der henviser til disse værdier. Modellen er trænet til forskellige kode- og agentmiljøer, så den omgivende opgave og værktøjerne bør beskrives frem for at være underforståede.

De åbne vægte understøtter modelforskning, finjustering og integration i efterfølgende produkter. Inkling-Smalls udgivelse følger et tidligere preview-checkpoint og omfatter yderligere træning til agentbaseret kodning; den endelige model og dette preview bør bevare særskilte identiteter. Ved en specialiseret udtræks- eller svarstil bruger tilpasningen repræsentative eksempler og en eksplicit ønsket adfærd. En almindelig prompt leverer i stedet kontekst til den aktuelle anmodning; den opretter eller skifter ikke til en nytrænet model.

Et nyttigt trin i resultatgennemgangen kontrollerer, at den foreslåede kodeændring, transskription, de udtrukne fakta eller det skriftlige svar svarer til det leverede belæg. Angiv, hvordan usikkerhed og manglende oplysninger skal fremgå, især ved en prognose eller et faktuelt svar, hvis kilde er ufuldstændig. Producenten trænede Inkling-Small til prognosekalibrering ved reinforcement learning med proper scoring rules på spørgsmål fra virkeligheden med henblik på at udtrykke en sikkerhed, der passer til det tilgængelige belæg. Bevar materialet og værktøjsobservationerne sammen med produktet, så en opfølgning kan rette ét problem uden at miste den oprindelige opgave. Inkling-Smalls generelle flersprogede og multimodale evner forbliver adskilt fra en dedikeret talegenerator eller en garanteret tjeneste til eksterne handlinger.