Thinking Machines: Inkling Small (free)

Inkling-Small — меньшая мультимодальная модель Thinking Machines Lab с открытыми весами для рассуждений, программирования, диалога и приложений с инструментами. Она принимает текст, изображения и аудио и выдаёт текст. Архитектура Mixture-of-Experts содержит 276 миллиардов параметров всего и 12 миллиардов активных; у Inkling — 975 миллиардов всего и 41 миллиард активных. Small — отдельный релиз с другим соотношением эффективности и возможностей, а не режим укороченного вывода Inkling.

Для исследования кода передайте затронутые файлы, наблюдаемое поведение и нужное изменение, затем запросите отвечающий за него путь выполнения и точечное исправление. Полезный итоговый материал включает предлагаемую правку и свидетельства любых проверок, действительно выполненных подключённым приложением. Для помощника поддержки передайте нужные правила и факты диалога и запросите следующий ответ или недостающий вопрос. Предполагаемые применения модели включают помощников по программированию, чат-ботов, ответы с дополнением найденными материалами и агентные системы с инструментами приложения.

Контекстное окно — до одного миллиона токенов. Организуйте большой репозиторий или подборку документов с помощью имён файлов, обозначений разделов и ясного вопроса, сохраняя факты, которые понадобятся на следующем этапе. Большое окно полезно для сопоставления удалённых друг от друга сведений, но запрашиваемый результат должен оставаться конкретным: изменение кода, объяснение по источникам или извлечённые поля. Новые или частные сведения следует передавать в исходных данных либо результатах поиска, а не предполагать, что они входят в усвоенные моделью знания.

Усилие рассуждения регулируется. Руководство разработчика для семейства использует непрерывные значения от 0.0 включительно до 1.0, не включая верхнюю границу, с начальными предустановками none, minimal, low, medium, high и xhigh, соответствующими 0.0, 0.1, 0.2, 0.7, 0.9 и 0.99. Рендерер разработчика по умолчанию использует high. Более высокое усилие может побуждать к более подробным рассуждениям и требовать большего бюджета генерации, но не гарантирует более длинного или точного ответа. Нулевое значение настраивает модель на ответ без рассуждения, не вводя жёсткого запрета на него. Выбирайте усилие под задачу и ясно задавайте требования к итоговому выводу.

Изображения можно использовать для визуальных вопросов, интерпретации графиков или схем и математических рассуждений по видимым данным. Для хороших результатов используйте изображения с размерами от 40 до 4 096 пикселей. Сохраняйте читаемость подписей и объясняйте, какая деталь важна. С настроенным инструментом Python модель может объединять визуальное рассуждение с обрезкой, увеличением и программным изучением документа или графика. Эти операции должна выполнить подключённая инструментальная среда; письменный ответ должен опираться на возвращённые ею наблюдения.

Аудиоввод — WAV с частотой дискретизации 16 kHz; для оптимальной работы желательны записи короче двух минут. Это рекомендация по подготовке, а не гарантия жёсткого ограничения длительности. Используйте релевантный устный вопрос или короткий фрагмент и укажите, должен ли письменный результат расшифровать речь, ответить на вопрос о записи или сопоставить её содержание с другими переданными материалами. Собственный ответ модели — текст, а не сгенерированная речь. Отдельную рекомендацию Inkling для более длинного аудио не следует переносить на версию Small.

Процессы с инструментами требуют содержательных описаний инструментов, определений аргументов и результатов операций, выполненных приложением. Отделяйте результат поиска данных, вычисление или наблюдение о файле от предложенного моделью действия. При расхождении на графике обозначьте нужные подписи, проверьте переданные значения с помощью инструмента вычисления и попросите объяснение со ссылкой на эти значения. Модель обучена работе в разных средах программирования и агентных оболочках, поэтому задачу и инструменты следует описывать явно.

Открытые веса поддерживают исследование модели, дообучение и интеграцию в конечные продукты. Релиз Inkling-Small следует за более ранней предварительной контрольной точкой и включает дополнительное обучение агентному программированию; итоговую модель и предварительную версию следует идентифицировать отдельно. Для специализированного извлечения данных или стиля ответов кастомизация использует репрезентативные примеры и явно заданное целевое поведение. Обычный запрос вместо этого передаёт контекст текущего задания; он не создаёт новую обученную модель и не переключается на неё.

Полезный этап проверки результата сопоставляет предлагаемое изменение кода, расшифровку, извлечённые факты или письменный ответ с переданными данными. Задайте, как отражать неопределённость и отсутствующую информацию, особенно в прогнозе или фактическом ответе с неполным источником. Разработчик обучал Inkling-Small калибровке прогнозов с помощью обучения с подкреплением по правильным правилам оценки вероятностных прогнозов на вопросах о реальном мире, стремясь согласовать выражаемую уверенность с доступными данными. Сохраняйте материал и наблюдения инструментов вместе с результатом, чтобы в продолжении можно было исправить один вопрос, не потеряв исходную задачу. Общие многоязычные и мультимодальные возможности Inkling-Small отличаются от специализированного генератора речи или сервиса с гарантированным выполнением внешних действий.