小型言語モデルを解説
Markdown言語モデルを小型にする要素、パラメーターと有効パラメーターの意味、小型モデルがスマートフォンで動作する理由、そして能力面で何を犠牲にするのかを解説します。
小型言語モデルとは?
小型言語モデル(SLM)とは、データセンターではなく、スマートフォンやノートパソコンなどの一般的な機器で動作できるほどコンパクトな言語モデルです。明確な境界は定まっていませんが、パラメーターが数十億個以下のモデルは通常、小型と呼ばれます。2024年のある調査では、1億から50億という範囲を採用しています。
小型言語モデルも大型言語モデルも、仕組みは同じです。どちらもニューラルネットワークで、ほとんどの場合はトランスフォーマーです。テキストの次のトークンを予測するように学習し、事前学習の後には指示に従うよう調整されます。前述の調査では、まさにこの種のデコーダー専用トランスフォーマーを扱っています。違いは規模です。スマートフォン向けモデルのパラメーター数は数十億個ですが、最先端のクラウドモデルははるかに大規模です。そのため、小型モデルは保持する知識が少なく、推論能力も限られます(「小型モデルが苦手とすることは?」を参照)。小型モデルによって、デバイス上でのAIが実用的になります。
品質を左右する要素はサイズだけではありません。したがって、小型モデルの品質はサイズと同じくらい学習方法にも左右されます。蒸留では、大型モデルの出力に一致するよう学習させることで、小型モデルが大型モデルから学べます。また、慎重に選ばれたデータも有効です。「教科書品質」のデータを主に使って学習した、パラメーター数13億個のコードモデルphi-1は、コーディングベンチマークHumanEvalでpass@1が50.6%に達しました。
「パラメーター」と「有効パラメーター」とは?
パラメーターとは、モデルが学習中に習得する数値で、その数がモデルの規模を測る一般的な指標です。Qwen3 1.7Bの「1.7B」は、約17億個を意味します。GoogleのGemma 4 E2BとE4Bの「E」が示す「有効パラメーター」は、モデルが計算に使うパラメーターを数え、参照するだけの大きな埋め込みテーブルを除外したものです。
パラメーターの大部分は、トランスフォーマーの注意機構とフィードフォワード層にある重み行列に含まれ、すべてのトークンがこれらの層を通ります。これとは別に、埋め込みは語彙内の各トークンをベクトルに対応付けます。小型モデルでは、埋め込みが全体に占める割合が大きいことがあります。Qwen3 1.7Bの埋め込みテーブルは、2,048次元で151,936行あります(設定上の語彙数で、トークナイザーの151,669項目を超えるようパディングされています)。これは約3億1,100万個の埋め込みパラメーターに相当し、合計17億個、うち埋め込み以外が14億個というモデルカードの記載と一致します 7。スケーリング研究では、埋め込み以外のパラメーターだけを数えることがよくあります。
Gemma 4のEシリーズでは、この考え方をさらに進めています。Googleのモデルカードには、「E2BとE4Bの『E』は『有効』パラメーターを表す」とあります。これらのモデルは層ごとの埋め込み(PLE)を使っており、「各デコーダー層が、すべてのトークンについて独自の小さな埋め込みを持ちます」。また、「この埋め込みテーブルは大きいものの、高速な参照にしか使われないため、有効パラメーター数は総数よりはるかに少なくなります」 8。モデルカードによると、Gemma 4 E2Bは有効パラメーターが23億個、埋め込み込みでは51億個です。E4Bは有効パラメーターが45億個、埋め込み込みでは80億個です。
参照にはメモリが必要でも計算量は少なく、ランタイムがテーブルをストレージに置いたままにできるため、この違いはスマートフォンで重要です。「有効」は「アクティブ」とも異なります。Gemma 4 26B A4Bはパラメーター数252億個の混合専門家モデルで、推論時にアクティブになるのはそのうち38億個です 8。
小型モデルがスマートフォンで動作する理由は?
モデルの重みが使う容量は、おおよそパラメーター数にパラメーターあたりの保存ビット数を掛け、8で割った値です。4 ビットの場合、17億個のパラメーターには約0.85 GBが必要です。RAMが4 GBのスマートフォンでも、Androidや他のアプリを動かす余裕が残ります。
パラメーター数と精度が、調整できる2つの要素です。図1では、32ビット浮動小数点から4ビットのモデルファイルまで、Qwen3 1.7Bについての計算を示しています。
- 32ビット浮動小数点数として保存すると、17億個のパラメーターには6.8 GB必要です。
- 16 ビットでは3.4 GB必要です。
- 8 ビットでは1.7 GB必要です。重みあたりのビット数を半分にすると、重みに必要なメモリも半分になります。
- 4 ビットでは約0.85 GBです。重みあたり半バイトになることで、この規模のモデルが4 GBのスマートフォンで実用的になります。
- 4ビットのモデルファイルは、未加工の重みより大きくなることがあります。ブロックのスケール値など、保存されるデータによってサイズが増えるためです。
| 精度 | パラメーターあたりのビット数 | 重みに必要なメモリの概算 |
|---|---|---|
| 32ビット浮動小数点 | 32 | 6.8 GB |
| 16ビット浮動小数点 | 16 | 3.4 GB |
| 8ビット整数 | 8 | 1.7 GB |
| 4ビット整数 | 4 | 0.85 GB |
このため、スマートフォン向けモデルでは、数十億個のパラメーターと4ビットまたは混合精度の重みを組み合わせます。量子化によって、重みに必要なストレージ容量を減らせます。
必要な容量は重みだけではありません。実行中のモデルには、コンテキストウィンドウの長さに応じて増えるキー・バリューキャッシュ用のメモリと、ランタイム自体のメモリも必要です。速度も同じ計算に従います。新しいトークンを生成するたびに、モデルの重みをメモリから読み込む必要があるため、同じスマートフォンなら、重みが少なく小さいほど回答が速くなります。
小型モデルが得意なことは?
小型モデルは、必要な情報がプロンプトに含まれているか、一般的な知識に属するタスクを得意とします。たとえば、言い換え、要約、文章の下書き、説明、与えられた文章に基づく回答です。デバイス上で動作するため、ネットワーク接続がなくても回答でき、プロンプトをサーバーに送る必要もありません。
Googleのモデルカードは、Gemma 4ファミリーについて「推論、エージェント型ワークフロー、コーディング、マルチモーダル理解に適している」と説明し、E2BとE4Bはテキスト、画像、音声を入力として受け付けます 8。これらは開発者自身による説明とベンチマークです。特定のスマートフォンで特定のタスクがどの程度うまく動くかは、実際に試す必要があります。
適切なテキストを与えることで、小型モデルが知らない情報を補えます。検索拡張生成(RAG)は、質問時に取得した文章を追加するため、モデルは記憶ではなく情報源に基づいて処理できます。また、小型モデルは実行コストを予測しやすいという利点もあります。質問ごとのサーバー料金も、待ち行列もなく、ダウンロード後は接続に依存しません。
小型モデルが苦手とすることは?
小型モデルは保持する知識が少なく、長い推論や複数段階の推論が苦手で、大型モデルより長いコンテキストをうまく扱えません。また、すべての言語モデルと同じく、誤った情報を流暢に述べることがあります。
この傾向は、同じファミリー内でも見られます。Googleのモデルカードによると、知識と推論のベンチマークMMLU Proで、Gemma 4 E2Bは60.0%、E4Bは69.4%を獲得しています。一方、パラメーター数310億個のGemma 4モデルは85.2%です。大学院レベルの科学問題のセットであるGPQA Diamondでは、それぞれ43.4%、58.6%、84.3%です 8。これらはGoogleが自社モデルについて得た結果です。
小型モデルは、同じ言葉を繰り返し続けることもあります。Qwenのモデルカードでは、貪欲デコーディングについて「性能の低下や無限の反復につながる可能性がある」と警告しています 7。
小型モデルが指示の形式をまねる理由は?
小型モデルは、指示の内容に従うだけでなく、プロンプトの形式もまねる傾向があります。そのため、長く構造化されたシステムプロンプトが、すべての回答に同じ構造として現れることがあります。
「まず直接的な答えを述べ、その後に役立つ詳細を加える」と指示するプロンプトを与えたところ、回答に「直接的な答え:」「役立つ詳細:」という太字のラベルが付くようになりました。指示は内容についての助言を意図していましたが、モデルはテンプレートとして受け取ったのです。
小型モデルの思考モードはどう動く?
思考モードでは、モデルは最終回答の前に中間的な推論を書き出します。複数段階の問題でより慎重な結果を得るため、時間とトークンを多く使います。Qwen3とGemma 4はどちらも、別個の推論モデルではなく、同じモデル内の切り替え機能として思考モードを備えています。
この考え方は、思考の連鎖を促すプロンプトに由来します。新しい小型モデルは推論するよう訓練されており、Qwen3の場合は一部、大型モデルから学ぶことで実現しています。
切り替えはプロンプトの一部です。Qwen3 1.7Bはデフォルトで思考モードになっており、推論を<think>…</think>ブロック内に出力します。開発者はenable_thinking設定で思考をオフにでき、ユーザーはメッセージに/thinkまたは/no_thinkを加えることで、ターンごとにモードを切り替えられます 7。Gemma 4では、システムプロンプトが<|think|>トークンで始まると、思考モードが有効になります 8。
推論トークンはモデルの出力の一部であり、コンテキストウィンドウを使うため、思考には時間とコンテキストが必要です。モデルが推論を表示するよう設定されていれば、回答の前に推論が現れますが、挙動はモデルとアプリケーションによって異なります。
Qwen3 1.7B、Gemma 4 E2B、Gemma 4 E4Bの比較は?
3つのモデルは、規模、入力、コンテキスト長が異なります。Qwen3 1.7Bのパラメーター数は17億個で、テキストのみを受け付けます。Googleによると、Gemma 4 E2BとE4Bの有効パラメーター数はそれぞれ23億個と45億個で、テキスト、画像、音声を入力できます。3つともApache 2.0の下で公開されています。
| Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B | |
|---|---|---|---|
| 開発元 | Alibaba(Qwenチーム) | Google DeepMind | Google DeepMind |
| パラメーター | 1.7B、うち埋め込み以外は1.4B | 有効2.3B、埋め込み込みで5.1B | 有効4.5B、埋め込み込みで8B |
| 層数 | 28 | 35 | 42 |
| コンテキスト長 | 32,768 トークン | 128Kトークン | 128Kトークン |
| 入力 | テキスト | テキスト、画像、音声 | テキスト、画像、音声 |
| 思考モード | あり、デフォルトでオン | あり | あり |
| ライセンス | Apache 2.0 | Apache 2.0 | Apache 2.0 |
表1. QwenのQwen3-1.7BモデルカードとGoogleのGemma 4モデルカードに掲載された仕様。2026年10月5日に確認 7 8。
参考資料
- Qwen.「Qwen3-1.7B」。モデルカードおよび設定、Hugging Face。2026年10月5日閲覧。huggingface.co/Qwen/Qwen3-1.7B
- Google DeepMind.「Gemma 4モデルカード」。Google AI for Developers。2026年10月5日閲覧。ai.google.dev/gemma/docs/core/model_card_4
Ailootでこのガイドを活用する
1つのAiloot APIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、Ailootドキュメントに沿って始めましょう。