Cohere: North Mini Code (free)

North Mini Code 1.0 は、エージェントによるソフトウェアエンジニアリング、ターミナルタスク、コード生成のための Cohere のモデルです。テキストを受け取り、コード、説明、ツールリクエストなどのテキストを生成します。メーカーは重みを Apache 2.0 で公開し、North コードエージェントファミリーの最初のモデルとしています。これはコーディングに特化したプロファイルであり、画像理解モデルや汎用の意思決定スコアラーではありません。

スパースなアーキテクチャとコーディングの準備

モデルは総パラメータ数 300 億で、約 30 億がアクティブです。デコーダー専用 Transformer は、128 個のエキスパートを持つスパースな混合エキスパート構成を使い、1トークン当たり8個を有効化します。スパース層の前には密な層があります。回転位置を用いるスライディングウィンドウアテンションと、位置埋め込みなしのグローバルアテンションを 3:1 の比率で組み合わせます。アクティブパラメータ数は、トークンに使う計算を表し、保存すべき重み全体の量を表すものではありません。

Cohere の事後学習は、2段階の教師ありファインチューニングの後に、検証可能な報酬を使う強化学習を行い、ソフトウェアエンジニアリングとターミナル作業を重視しています。開発元は、単一の固定されたエージェント構成ではなく、複数のエージェント実行基盤を使った訓練を説明しています。そのため、必要な動作と利用できるツールを中心にタスクを準備できます。一方、ファイルの取得、コマンドの実行、観測結果の返却は、周辺の実行基盤の責任です。

リポジトリ単位の変更を準備する

現在のコードと動作、要求する変更、関連するファイルやインターフェースの境界、完了を判断する根拠を提供します。バグでは、観測されたエラーや失敗する入力と、期待する結果を含めます。機能追加では、必要な動作と互換性の制約を示します。有用な最終成果物は、説明と、実際に行ったチェックの結果を伴うコード変更案です。

依頼例として、既存の形式を保持しながら、対応入力を1つ追加するようパーサーを更新することを求められます。代表的な入力と、パーサーの動作を定義するリポジトリ部分を特定します。モデルは、コードとツールの観測結果を使って変更を作成できます。生成されたパッチや、コマンドを実行すべきだという記述は、コマンドが成功した根拠ではありません。

ターミナルツールと構造化された観測

ネイティブのモデルカードは、ツール利用の訓練を文書化し、モデルのチャットテンプレートを介した JSON Schema のツール説明を推奨しています。ツールの目的と引数を明確に説明します。コマンド実行ツールは、実際の出力とステータスを返せます。ファイル確認ツールは、次の工程に必要な資料を返せます。後の分析で意図した観測結果を使えるよう、各ツール結果と呼び出し識別子の対応を保持します。

開発元の例では、ツール呼び出しとアシスタントの推論を履歴に残し、ツールを実行し、その結果を追加してから再び生成します。ネイティブのテンプレート例は、ツール結果に構造化された辞書を使います。無関係な API もすべて同じ方法でツール結果をシリアライズすると仮定せず、文書化された統合に従ってその表現を保持します。ツール引数を記述する JSON Schema があることと、任意のスキーマで制約した最終出力への対応を主張することは別です。

思考の交互実行と複数ターンの履歴

North Mini Code は、思考の交互実行に対応し、開発元はエージェント作業で有効にすることを推奨しています。モデルが生成した思考内容とツール呼び出しを、その後のエージェント手順や対話ターンへ引き継ぎます。ネイティブの例は、アシスタントメッセージに reasoning フィールドを保持し、その後に対応するツール観測を返します。これにより、次に何を調べ、変更するかを判断した際にモデルが使った情報を保存できます。

タスク履歴には、現在の目標、資料、実際の観測結果を保持します。長いリポジトリタスクでは、確認に必要な根拠を残しながら、変更した動作と有用な成果物を中心に最終結果を要約します。思考の交互実行は、表示された回答が短ければ分析を行っていないという意味ではなく、モデルが説明した操作がすでに起きたことを示すものでもありません。

単独のコード・説明タスク

メーカーは、エージェントループ外の科学計算コードやアルゴリズム推論も挙げています。問題の定義、入出力形式、制約、関連する数値上の仮定、境界で期待する動作を提供します。完全な関数やプログラムが必要な成果物であれば、それを求め、読者に必要な水準の説明を添えます。

コード説明では、実装と、明確にしたい特定の動作や依存関係を提供します。データ可視化のコードでは、グラフの目的を暗黙にせず、提供フィールドと意図する比較を特定します。開発元の開発例には、コード説明、編集、可視化、仕様からの実装があります。これらは、コードを生成・変更するタスクパターンであり、あらゆるリポジトリやフレームワークで正しい結果を約束するものではありません。

コンテキスト、出力、生成設定

メーカーのモデルカードと API ページは、256K トークンのコンテキストウィンドウと、最大 64K トークンの出力を掲載しています。これらの別々の枠と、最終成果物のサイズを考慮して、大量のリポジトリ資料を準備します。ソースの境界と識別子を保ち、大きなウィンドウがあれば焦点を絞った依頼は不要だと考えず、無関係な資料を除きます。

ネイティブのモデルカードは、生成に temperature 1.0 と top_p 0.95 を推奨し、テキストとツールのワークフローに、生成プロンプトを含むモデルのチャットテンプレートを使います。例の出力上限は、その例の設定であり、モデルの公開最大値に代わるものではありません。Cohere は BF16 の重みと、別に命名された FP8 成果物を公開しています。導入を準備するときは、適切な成果物を選んでください。

有用な North Mini Code の結果は、提供要件に結び付いた、確認可能なコード成果物や技術説明です。結果を元の動作と実際のツール出力に照らし、コードに影響する仮定を確認し、レビューに必要なソースと観測結果を保持します。テキスト専用のコーディングモデルは、推論と生成内容を提供します。その提案を完了したソフトウェアタスクへ変える操作は、周辺のアプリケーションが実行します。