NVIDIA: Nemotron 3.5 Lightning (free)

NVIDIA Nemotron 3.5 Lightningは、推論、会話、専門的なエージェントワークフロー向けの言語モデルです。総パラメータ数は30B、有効パラメータ数は3Bで、Mamba-2層、Mixture of Experts層、アテンション層を交互に配置するハイブリッドアーキテクチャを採用しています。Multi-Token Prediction層は、後続トークンに対する学習信号を追加し、モデル向けに最適化された生成手順を支えます。このモデルはテキストを処理し、説明、コード、提供された資料に基づく回答などのテキストを生成します。

開発元は、チャットボット、検索拡張生成、指示追従、エージェントでの用途を説明しています。ナレッジベースに基づく回答では、質問と関連箇所を、固定の出典ラベル付きで提示します。それらの箇所に基づいて回答し、重要な主張をどの箇所が支えているかを示し、何が不明なままかを述べるよう求めます。たとえば、「これらのサポート記事を使って2つのインストール方法の違いを説明し、それぞれの前提条件、手順、確認事項を返してください」と依頼できます。不足している前提条件をモデルに創作させず、不足として明示したままにします。

コーディングでは、関連コード、期待する動作、確認された不具合を提示します。実用的な依頼では、対象を絞った修正と、影響を受けるケースの説明を求めます。ツールに接続したエージェントが確認を実行した場合は、次の変更を求める前に、その実際の出力を返してください。このモデルの学習には、コード、複数ステップのツール利用、構造化出力のタスクが含まれますが、完成した成果物は元の要件に合っている必要があります。修正済みのコード、重要な変更ごとの理由、問題の解決を確かめるために必要な観測結果を求めます。

開発元の文書では、思考は既定で有効であり、チャットテンプレートで思考を無効にした直接回答モードも示されています。推論モードは、相互に依存する条件が複数あるタスクで役立ちます。直接回答は、単純な変換や抽出に適する場合があります。開発元のクライアント例での推奨設定は、temperature 1.0、top-p 0.95です。これらは開発元の手順の設定として扱い、簡潔な説明、比較表、回答とその根拠など、最終応答の構成を明示的に選んでください。

モデルは最大1Mトークンのコンテキストに対応します。公開されているBF16のデプロイ手順では、このモデルの能力と、メモリ制約のため256Kウィンドウを使う構成も区別されています。長い資料は、適用される作業用ウィンドウに収まるよう準備し、文書構造を保ち、応答用の余裕を残します。長いコンテキストが最も役立つのは、文書間の矛盾、ソースファイル間の依存関係、結論を支える証拠など、見つけるべき関係をプロンプトで指定した場合です。無関係な履歴を含めたり、最終回答だけでウィンドウ全体を使えると考えたりする理由にはなりません。

主な対象は英語とプログラミング言語ですが、スペイン語、フランス語、ドイツ語、イタリア語、日本語も挙げられています。必要な出力言語を指定し、綴りが重要な名前、識別子、出典から引用した用語は保持してください。多言語の文書作業では、翻訳、要約、比較のどれを求めるのかを指定します。それぞれ生成される成果物は異なります。流暢な翻訳によって技術的な意味が気付かないうちに変わらないよう、確信のない用語は明示するよう求めます。

NVIDIAは、主としてカスタマイズとフル精度の研究に向けたBF16参照リリースと、最適化された推論手順を備えた別のNVFP4リリースを公開しています。この区別はデプロイの指針を比較する際に重要です。あるリリースのハードウェア構成やスループットの結果が、別のリリースにもそのまま当てはまるわけではありません。モデル名はLightningファミリーを示し、正確なチェックポイントと提供構成が処理手順を決めます。モデル自体の能力と、手順に固有の性能・メモリに関する前提を分けて扱ってください。

ツールを使う作業では、関数の説明を明確に示し、実行した各ステップの実際の結果を返します。提案された処理が利用可能な証拠になるのは、周囲のアプリケーションがそれを実行し、何が起きたかを記録した後です。最終回答では、出典に記録された観測内容、そこから導いた結論、未完了の確認を区別するよう求めます。計算、コマンド、検索で取得した箇所が予定していた結果と矛盾する場合は、未検証の前提を整った要約にするのではなく、その矛盾を使って結論を修正します。