NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightning — языковая модель для рассуждений, диалога и специализированных агентных процессов. Она имеет 30 млрд параметров в общей сложности, из которых активны 3 млрд, и использует гибридную архитектуру с чередованием слоёв Mamba-2, «смеси экспертов» и внимания. Слои Multi-Token Prediction добавляют обучающие сигналы для будущих токенов и поддерживают оптимизированные способы генерации модели. Модель обрабатывает текст и выдаёт текст, включая объяснения, код и ответы с опорой на переданный материал.

Производитель описывает применение в чат-ботах, генерации с дополнением извлечёнными сведениями, выполнении инструкций и агентах. Для ответа по базе знаний передайте вопрос и соответствующие фрагменты с устойчивыми обозначениями источников. Попросите ответить по этим фрагментам, указать подтверждение каждого важного утверждения и обозначить неизвестное. Например: «Используя эти статьи поддержки, объясни различия двух способов установки и верни предварительные условия, шаги и проверки для каждого». Оставляйте недостающее предварительное условие видимым, а не побуждайте модель его придумать.

Для программирования передайте соответствующий код, ожидаемое поведение и наблюдаемую ошибку. Практический запрос требует точечной правки и объяснения затронутых случаев. Если агент с подключёнными инструментами выполняет проверку, верните её фактический вывод перед запросом следующего изменения. Обучение модели включает код, многошаговое использование инструментов и задачи структурированного вывода, но итоговый артефакт всё равно должен соответствовать исходному требованию. Запросите изменённый код, причину каждого существенного изменения и наблюдения, необходимые для подтверждения устранения проблемы.

Производитель документирует размышление, включённое по умолчанию, и режим прямого ответа с отключением размышления через шаблон диалога. Режим рассуждений полезен для задачи с несколькими зависимыми условиями; прямой ответ может подходить для простого преобразования или извлечения. В клиентских примерах производитель рекомендует temperature 1.0 и top-p 0.95. Рассматривайте их как настройки сценария производителя и явно задавайте структуру итогового ответа — например, краткое объяснение, сравнительную таблицу или ответ с последующими подтверждающими сведениями.

Модель поддерживает контекст до 1 млн токенов. Опубликованные инструкции по развёртыванию BF16 также отделяют эту возможность модели от конфигураций с окном 256 тыс. при ограничениях памяти. Готовьте длинный материал под применимое рабочее окно, сохраняя структуру документов и место для ответа. Длинный контекст наиболее полезен, если запрос задаёт искомую связь: противоречия между документами, зависимости между исходными файлами или свидетельства для вывода. Это не причина включать постороннюю историю или считать, что итоговый ответ может занять всё окно.

Основной акцент — английский и языки программирования; также перечислены испанский, французский, немецкий, итальянский и японский. Задавайте требуемый язык вывода и сохраняйте имена, идентификаторы и процитированные исходные термины, когда важно их написание. Для многоязычных документов уточняйте, нужно ли перевести, кратко изложить или сравнить материалы: эти запросы дают разные артефакты. Попросите отмечать сомнительную терминологию, чтобы беглый перевод незаметно не менял технический смысл.

NVIDIA публикует эталонный выпуск BF16 преимущественно для настройки модели и исследований с полной точностью, а также отдельный выпуск NVFP4 с оптимизированными инструкциями по инференсу. Это различие важно при сравнении рекомендаций по развёртыванию: конфигурация оборудования или результат по пропускной способности одного выпуска автоматически не описывают другой. Название модели обозначает семейство Lightning, а точная версия весов и конфигурация сервинга определяют конкретный способ работы. Отделяйте возможности модели от предположений о производительности и памяти для конкретной конфигурации.

Для работы с инструментами передайте ясные описания функций и возвращайте фактический результат каждого выполненного шага. Предложенная операция становится пригодным свидетельством только после того, как окружающее приложение выполнит её и зафиксирует произошедшее. Попросите в итоговом ответе отделить наблюдения из источников, полученные выводы и незавершённые проверки. Если расчёт, команда или полученный фрагмент противоречат запланированному результату, используйте это противоречие для пересмотра вывода, а не формируйте аккуратную сводку непроверенного предположения.