Thinking Machines: Inkling Small (free)

Inkling-Small je menší multimodální model společnosti Thinking Machines Lab s otevřenými vahami pro uvažování, programování, konverzaci a aplikace používající nástroje. Přijímá text, obrázky a zvuk a vytváří text. Jeho architektura Mixture-of-Experts má celkem 276 miliard parametrů, z toho 12 miliard aktivních, oproti celkem 975 miliardám a 41 miliardám aktivních u Inklingu. Small je samostatně vydaný model s jiným poměrem efektivity a schopností, nikoli režim Inklingu pro kratší výstup.

Při zkoumání kódu dodejte dotčené soubory, pozorované chování a požadovanou změnu a poté požádejte o odpovědnou cestu a cílenou opravu. Užitečný konečný výstup zahrnuje navrženou úpravu a podklady z případných kontrol, které připojená aplikace skutečně provedla. U asistenta podpory dodejte příslušná pravidla a fakta z konverzace a požádejte o další odpověď nebo chybějící otázku. Zamýšlená použití modelu zahrnují programovací asistenty, chatboty, odpovědi rozšířené o vyhledávání a agentní systémy s nástroji aplikace.

Kontextové okno dosahuje až milionu tokenů. Dlouhý repozitář nebo sbírku dokumentů uspořádejte pomocí názvů souborů, označení částí a jasné otázky a zachovejte fakta, která musí použít pozdější fáze. Velké okno je užitečné pro porovnávání vzdálených informací, ale požadovaný výsledek má zůstat konkrétní: změna kódu, vysvětlení založené na zdrojích nebo vytěžená pole. Nové či soukromé informace patří do dodaných podkladů nebo vrácených výsledků vyhledávání a nemají se předpokládat jako součást naučených znalostí.

Míru uvažování lze nastavovat. Průvodce rodinou modelů výrobce používá plynulé hodnoty od 0.0 včetně do hodnoty menší než 1.0 s počátečními předvolbami none, minimal, low, medium, high a xhigh odpovídajícími hodnotám 0.0, 0.1, 0.2, 0.7, 0.9 a 0.99. Renderer výrobce má výchozí volbu high. Vyšší míra může podpořit více uvažování a potřebovat větší rozpočet generování, ale nezaručuje delší nebo přesnější odpověď. Nulové nastavení směřuje model k odpovědi bez uvažování, místo aby vynucovalo jeho úplnou nepřítomnost. Míru volte podle úlohy a požadavek na konečný výstup formulujte jasně.

Obrázky mohou podporovat vizuální otázky, výklad grafů či schémat a matematické uvažování z viditelných informací. Pro dobrý výkon používejte obrázky s rozměry mezi 40 a 4 096 pixely. Zachovejte čitelné popisky a vysvětlete důležitý detail. S nakonfigurovaným nástrojem Python může model propojit vizuální uvažování s ořezem, přibližováním a programovým zkoumáním dokumentu či grafu. Tyto operace vyžadují provedení v připojeném nástrojovém prostředí; písemná odpověď má využívat pozorování, která se z něj vrátí.

Zvukovým vstupem je WAV se vzorkovací frekvencí 16 kHz; pro optimální výkon mají být nahrávky ideálně kratší než dvě minuty. Jde o doporučení pro přípravu, nikoli pevnou záruku délky. Použijte příslušnou mluvenou otázku nebo krátký klip a určete, zda má písemný výsledek přepsat řeč, odpovědět na otázku k nahrávce nebo vztáhnout její obsah k jiným dodaným podkladům. Nativní odpovědí je text, nikoli generovaná řeč. Samostatné doporučení Inklingu pro delší zvuk se nemá přenášet na edici Small.

Postupy využívající nástroje potřebují smysluplné popisy nástrojů, definice argumentů a výsledky operací provedených aplikací. Výsledek vyhledání, výpočet nebo pozorování souboru odlišujte od navržené akce modelu. U nesrovnalosti v grafu určete příslušné popisky, prozkoumejte dodané hodnoty pomocí výpočetního nástroje a požádejte o vysvětlení, které tyto hodnoty cituje. Model je trénován pro různá programovací a agentní prostředí, takže okolní úlohu a nástroje je potřeba popsat, nikoli ponechat implicitní.

Otevřené váhy podporují výzkum modelů, jemné dotrénování a integraci do navazujících produktů. Vydání Inkling-Small navazuje na dřívější checkpoint preview a zahrnuje další trénování pro agentní programování; konečný model a toto preview si mají zachovat samostatné identity. Pro specializované vytěžování nebo styl odpovědí používá přizpůsobení reprezentativní příklady a výslovné cílové chování. Běžný prompt naproti tomu dodává kontext pro aktuální požadavek; nevytváří nově natrénovaný model ani na něj nepřepíná.

Užitečná kontrola výsledku ověřuje, zda navržená změna kódu, přepis, vytěžená fakta nebo písemná odpověď odpovídají dodaným podkladům. Určete, jak se má zobrazovat nejistota a chybějící informace, zvláště u prognózy nebo faktické odpovědi s neúplným zdrojem. Výrobce trénoval Inkling-Small pro kalibraci prognóz pomocí posilovaného učení vůči řádným skórovacím pravidlům na otázkách ze skutečného světa, s cílem vyjadřovat míru jistoty odpovídající dostupným podkladům. Podklady a pozorování nástrojů uchovávejte s výstupem, aby navazující krok mohl upravit jeden problém bez ztráty původní úlohy. Obecné vícejazyčné a multimodální schopnosti Inkling-Small zůstávají odlišné od specializovaného generátoru řeči nebo služby zaručující vnější akce.