Thinking Machines: Inkling Small (free)

Inkling-Small je menší multimodálny model s otvorenými váhami od Thinking Machines Lab pre uvažovanie, programovanie, konverzáciu a aplikácie používajúce nástroje. Prijíma text, obrázky a zvuk a vytvára text. Jeho návrh Mixture-of-Experts má celkovo 276 miliárd parametrov, z ktorých je aktívnych 12 miliárd, oproti celkovým 975 miliardám a 41 miliardám aktívnych parametrov Inklingu. Small je samostatne vydaný model s iným pomerom efektívnosti a schopností, nie režim kratšieho výstupu Inklingu.

Pri skúmaní kódu dodajte dotknuté súbory, pozorované správanie a potrebnú zmenu a potom požiadajte o zodpovednú cestu a cielenú opravu. Užitočný konečný artefakt zahŕňa navrhnutú úpravu a dôkazy z kontrol, ktoré pripojená aplikácia skutočne vykonala. Pri asistentovi podpory dodajte príslušné pravidlá a fakty konverzácie a požiadajte o ďalšiu odpoveď alebo chýbajúcu otázku. Medzi zamýšľané použitia modelu patria programovací asistenti, chatboty, odpovede rozšírené o vyhľadávanie a agentové systémy s nástrojmi aplikácie.

Kontextové okno dosahuje jeden milión tokenov. Dlhý repozitár alebo zbierku dokumentov usporiadajte pomocou názvov súborov, označení častí a jasnej otázky a zachovajte fakty, ktoré musí použiť neskoršia fáza. Veľké okno je užitočné na porovnávanie vzdialených informácií, ale požadovaný výsledok má zostať konkrétny: zmena kódu, vysvetlenie založené na zdrojoch alebo extrahované polia. Nové alebo súkromné informácie patria do dodaných dôkazov alebo vrátených výsledkov vyhľadávania a nemajú sa predpokladať ako súčasť naučených znalostí.

Úsilie premýšľania je nastaviteľné. Príručka radu výrobcu používa plynulé hodnoty od 0.0 vrátane po hodnotu menšiu než 1.0, s počiatočnými predvoľbami none, minimal, low, medium, high a xhigh zodpovedajúcimi hodnotám 0.0, 0.1, 0.2, 0.7, 0.9 a 0.99. Renderer výrobcu má predvolenú hodnotu high. Vyššie úsilie môže podporiť viac uvažovania a môže potrebovať väčší rozpočet generovania, ale nezaručuje dlhšiu ani presnejšiu odpoveď. Nulové nastavenie smeruje model k odpovedi bez uvažovania, ale nevynucuje jeho úplnú neprítomnosť. Úsilie vyberte podľa úlohy a požiadavku na konečný výstup udržte jasnú.

Obrázky môžu podporiť vizuálne otázky, interpretáciu grafov alebo diagramov a matematické uvažovanie z viditeľných informácií. Pre dobrý výkon používajte obrázky s rozmermi od 40 do 4 096 pixelov. Zachovajte čitateľné označenia a vysvetlite dôležitý detail. S nakonfigurovaným nástrojom Python môže model spájať vizuálne uvažovanie s orezávaním, približovaním a programovým preskúmaním dokumentu alebo grafu. Tieto operácie musí vykonať pripojené nástrojové prostredie; písomná odpoveď má používať pozorovania, ktoré z neho boli vrátené.

Zvukovým vstupom je WAV so vzorkovacou frekvenciou 16 kHz; pre optimálny výkon majú mať nahrávky ideálne menej ako dve minúty. Ide o odporúčanie na prípravu, nie o pevnú záruku trvania. Použite príslušnú hovorenú otázku alebo krátky klip a určte, či má písomný výsledok prepisovať reč, odpovedať na otázku o nahrávke alebo prepájať jej obsah s iným dodaným materiálom. Natívnou odpoveďou je text, nie generovaná reč. Samostatné odporúčanie Inklingu pre dlhší zvuk sa nemá prenášať na edíciu Small.

Postupy používajúce nástroje potrebujú zmysluplné opisy nástrojov, definície argumentov a výsledky operácií vykonaných aplikáciou. Výsledok vyhľadania, výpočet alebo pozorovanie súboru oddeľte od navrhnutej akcie modelu. Pri nezrovnalosti v grafe určte príslušné označenia, preskúmajte dodané hodnoty výpočtovým nástrojom a požiadajte o vysvetlenie, ktoré tieto hodnoty cituje. Model je trénovaný pre rôzne programovacie a agentové prostredia, preto majú byť okolitá úloha a nástroje opísané a nemajú zostať implicitné.

Otvorené váhy podporujú výskum modelov, dolaďovanie a integráciu do následných produktov. Vydanie Inkling-Small nadväzuje na skorší predbežný checkpoint a obsahuje ďalší tréning agentového programovania; konečný model a tento preview si majú zachovať samostatné identity. Pri špecializovanej extrakcii alebo štýle odpovede používa prispôsobenie reprezentatívne príklady a výslovné cieľové správanie. Bežné zadanie namiesto toho dodáva kontext pre aktuálnu požiadavku; nevytvára novo natrénovaný model ani naň neprepína.

Užitočná kontrola výsledku preveruje, či navrhnutá zmena kódu, prepis, extrahované fakty alebo písomná odpoveď zodpovedajú dodaným dôkazom. Určte, ako sa má prejaviť neistota a chýbajúce informácie, najmä pri prognóze alebo faktickej odpovedi s neúplným zdrojom. Výrobca trénoval Inkling-Small na kalibráciu prognóz pomocou posilňovacieho učenia s riadnymi skórovacími pravidlami pri otázkach zo skutočného sveta, s cieľom vyjadrovať istotu zodpovedajúcu dostupným dôkazom. Materiál a pozorovania nástrojov zachovajte s artefaktom, aby nadväzujúca požiadavka mohla upraviť jeden problém bez straty pôvodnej úlohy. Všeobecné viacjazyčné a multimodálne schopnosti Inkling-Small zostávajú odlišné od špecializovaného generátora reči alebo služby so zaručenými externými akciami.