ローカルで実行できる最適な小型LLM:包括的ガイド
Markdown2026年にローカルで実行できる最適な小型LLM、Qwen3、Gemma 3、Llama 3.2、Phi-4-miniを紹介します。必要なRAMと、Ollamaでの実行方法も解説します。
小型言語モデルは、開発者が自分のマシンで使える最も便利なツールのひとつとして、いつの間にか定着しました。高性能なモデルに質問への回答、コードの作成、文書の要約をすべてオフラインで行わせるために、GPUラックやクラウド料金はもう必要ありません。
初期のオープンウェイト時代に登場した初代LLaMA、Alpaca、GPT-Jの頃から、状況は大きく変わりました。2026年には、ノートパソコン上の40億パラメーターのモデルが、かつてはその10倍の規模のモデルが必要だった作業をこなせます。このガイドでは、現在ローカルで実行できる最適な小型LLM、必要なハードウェア、そして最も簡単な実行方法を紹介します。
要点。 2026年にローカルで実行できる最適な小型LLMは、Qwen3(1.7B~14B)、Google Gemma 3(1B~12B)、Meta Llama 3.2(1B/3B)、Microsoft Phi-4-mini(3.8B)です。総合的に無難な初期選択肢はQwen3です。OllamaまたはLM Studioで実行でき、ほとんどのモデルに必要なRAMはわずか8~16 GBです。
2026年、小型LLMとは何を指す?
小型LLM(小型言語モデル、またはSLMとも呼ばれます)とは、クラウドGPUクラスターではなく、一般向けのハードウェアで実行できるコンパクトなモデルです。公式な境界はありませんが、現在の小型モデルには、実際のところ次の3つの特徴があります。
- およそ0.5B~14Bのパラメーター数。量子化版なら一般的なノートパソコンのメモリーやミドルレンジGPU 1基に収まるほど小さいサイズです。
- 4ビット量子化で良好に動作し、品質をわずかに犠牲にするだけでメモリー使用量をおよそ4分の1に抑えられます。
- オープンウェイトとして提供されるため、APIキーなしでダウンロードして実行でき、多くの場合ファインチューニングも可能です。
2023年以降の大きな変化は、パラメーターあたりの品質です。現代の3~4Bモデルは指示チューニング済みで、多言語に対応し、2年前の13Bモデルより推論能力が高い場合もよくあります。そのため、以前の定番だった素のLLaMA 7B、Alpaca、Vicuna、GPT-J、GPT-Neo、Falcon 7Bは、以下のモデルファミリーに取って代わられました。
小型LLMをローカルで実行する理由は?
自分のマシンでモデルを実行すると、ホスト型APIでは得られない利点がいくつかあります。
- プライバシー。 プロンプトやデータはデバイスの外に出ません。独自コード、法律、医療関連の作業では重要です。
- コスト。 トークンごとの課金はありません。モデルをダウンロードすれば、推論は無料です。
- オフラインでの利用。 飛行機の中でも、セキュアなネットワークでも、安定したインターネットがない場所でも動作します。
- レイテンシーと制御。 ネットワーク往復がなく、レート制限もありません。特定のバージョンを固定できるため、知らないうちに挙動が変わることもありません。
- カスタマイズ。 ファインチューニングや検索機能の追加によって、モデルを独自の分野に適応できます。
2026年にローカルで実行できる最適な小型LLMは?
2026年にダウンロードする価値のあるモデルファミリーを、開発元と得意分野ごとに紹介します。
Qwen3 — 総合向けの標準モデル
AlibabaのQwen3ファミリーは、多くの開発者にとって「ローカルで何を実行すればいい?」への答えとして、いつの間にか定着しました。denseモデルは0.6B、1.7B、4B、8B、14Bと幅広いサイズがあり、すべて商用制限のない寛容なApache 2.0ライセンスで提供されています。
- 最適な用途: 一般的なチャット、コーディング支援、リファクタリング、多言語作業。
- 最適なサイズ: Qwen3 8Bは8 GB GPUで最も総合力の高い選択肢として広く評価されています。Qwen3 4BはCPUのみのノートパソコンに適した有力候補です。
- 選ばれる理由: パラメーターあたりの品質が高く、ライセンスが明快で、ツールのサポートも優れています。
Google Gemma 3 — 高性能でマルチモーダル
GoogleのGemma 3には1B、4B、12B、27Bのサイズがあります。4B以上のバリエーションはマルチモーダル(画像を読み取れます)で、140以上の言語に対応しているため、デバイス上で画像認識や幅広い言語対応が必要なときに適しています。
- 最適な用途: マルチモーダル入力、多言語タスク、16 GBのマシンでの一般利用(Gemma 3 12B)。
- 注意: GemmaはGoogle独自のライセンスで提供されています。商用利用の条件を確認してください。
Meta Llama 3.2 — 手軽に始められるモデル
Metaの小型Llamaモデル、Llama 3.2 1Bと3Bは、最も手軽に始められる選択肢です。非常に小型で、ドキュメントが充実し、幅広くサポートされており、要約や簡単なチャットなどのデバイス上のタスクに適しています。
- 最適な用途: 初めてのローカルモデル、要約、デバイス上のアシスタント。
- トレードオフ: 1B/3Bモデルは難しい推論ではQwen3やPhi-4に及びませんが、速度と手軽さではなかなか敵いません。
Microsoft Phi-4とPhi-4-mini — サイズ以上の推論力
MicrosoftのPhiモデルは、厳選されたデータと合成データを大量に使って訓練されているため、サイズ以上の実力を数学、論理、構造化された問題解決で発揮します。Phi-4は14Bモデルで、推論タスクでははるかに大きなモデルと定期的に競い合います。一方、Phi-4-mini(3.8B)は、最小限のハードウェアで実行できる小型推論モデルとして、おそらく最良の選択肢です。4ビットで必要なVRAMは約3 GBです。どちらも寛容なMITライセンスで提供されています。
- 最適な用途: 控えめなハードウェアでの数学、論理、段階的な推論。
Mistral 7B — 成熟したコード優先の選択肢
Mistral 7Bは、ファインチューニング版や統合機能のエコシステムが特に充実した、今も頼れる主力モデルです。Apache 2.0ライセンスで、8 GB GPU上でも余裕をもって動作し、コードを重視するローカル環境で今も人気があります。より小型のMinistralモデル(3B、8B)も加わり、エッジ用途に向けてファミリーが広がっています。
- 最適な用途: コーディング、サポートの充実した汎用モデル、手軽なファインチューニング。
DeepSeek-R1蒸留モデル — 論理重視の作業向け
DeepSeekは、QwenおよびLlamaをベースにした蒸留推論モデル(一般的なサイズは7B、8B、14B)を公開しました。これらは思考の連鎖のような推論をローカルで実行できるサイズに収めており、段階的な問題解決を得意とします。MITライセンスで、Ollamaから利用できます。
- 最適な用途: 推論、数学、思考過程を段階的に示すと役立つ問題。
SmolLM2 — とにかく最小サイズが必要なとき
Hugging FaceのSmolLM2には135M、360M、1.7Bのサイズがあります。最も制約の厳しいハードウェア、ブラウザー、エッジデバイスで使うモデルです。要約や簡単な指示には対応しますが、複雑な推論向けには設計されていません。
- 最適な用途: 極めて少ないRAM、組み込み機器やエッジでの利用、実験。
小型LLMの比較表
4ビット(Q4)量子化版のおおよその数値です。実際のメモリー使用量はコンテキスト長やランタイムによって異なります。
| モデル | パラメーター数 | 概算RAM/VRAM(Q4) | 最適な用途 | ライセンス |
|---|---|---|---|---|
| Qwen3 1.7B | 1.7B | 約2 GB | どのノートパソコンでも高速なチャット | Apache 2.0 |
| Qwen3 4B | 4B | 約3~4 GB | チャットと軽いコーディングの両立 | Apache 2.0 |
| Qwen3 8B | 8B | 約6~8 GB | 8 GB GPUで最も総合力の高い選択肢 | Apache 2.0 |
| Qwen3 14B | 14B | 約10~12 GB | コーディング、リファクタリング、推論 | Apache 2.0 |
| Gemma 3 4B | 4B | 約3~4 GB | マルチモーダル/140以上の言語 | Gemma |
| Gemma 3 12B | 12B | 約9~10 GB | 16 GB環境での高性能な一般利用 | Gemma |
| Llama 3.2 3B | 3B | 約3 GB | 手軽に始められるモデル | Llama |
| Phi-4-mini | 3.8B | 約3 GB | 小型ハードウェアでの推論/数学 | MIT |
| Phi-4 | 14B | 約10~12 GB | サイズ以上の数学/論理能力 | MIT |
| Mistral 7B | 7B | 約5~6 GB | コード優先、成熟したエコシステム | Apache 2.0 |
| DeepSeek-R1蒸留8B | 8B | 約6~8 GB | 論理重視、段階的な推論 | MIT |
| SmolLM2 1.7B | 1.7B | 約1.5 GB | エッジ/極めて少ないRAM | Apache 2.0 |
必要なRAMとハードウェアの容量は?
目安として、4ビット量子化モデルには、パラメーター10億個あたり約0.6~0.75 GBのメモリーに加え、コンテキスト用の余裕が少し必要です。したがって、7Bモデルには約5~6 GB、14Bモデルには約10~12 GBが必要です。使えるメモリーに応じて選択肢が変わります。
| 使用可能な容量 | 快適に動くモデルサイズ | おすすめ |
|---|---|---|
| GPUなし、RAM 8 GB | 1~4B | Qwen3 4B、Phi-4-mini、Gemma 3 1B、Llama 3.2 3B |
| GPU 8 GB(VRAM) | 7~8B | Qwen3 8B、Mistral 7B、DeepSeek-R1蒸留8B |
| RAM/VRAM 16 GB | 12~14B | Gemma 3 12B、Qwen3 14B、Phi-4 |
| GPU 24 GB以上 | 14~32B | Qwen3 32B、より大きなDeepSeekのバリエーション |
Apple Silicon搭載Macは特殊なケースです。ユニファイドメモリーによってGPUがシステムRAMの大部分を使えるため、16~32 GBのMシリーズMacBookなら、PCでは専用GPUが必要なモデルを実行できます。
基本原則: 最初から最大のモデルを選ばないでください。ハードウェア上で快適に動く最良のモデルから始めましょう。メモリーをスワップし、毎秒1トークンで回答する14Bモデルより、高速な4Bモデルの方が優れています。
小型LLMをローカルで実行するには?
始めるのにPythonを使う必要はありません。ほとんどの用途は、次の3つのツールでカバーできます。
- Ollama — 最も簡単な方法です。インストール後、1つのコマンドでモデルを取得して実行できます。ダウンロード、量子化、
localhost:11434上のOpenAI互換APIを扱います。 - LM Studio — チャットUI、モデルブラウザー、ワンクリックダウンロードを備えた洗練されたデスクトップアプリです。グラフィカルなインターフェースを好む場合に最適です。
- llama.cpp — エコシステムの多くを支える基盤のC/C++エンジンです。最大限の制御が必要な場合や、CPUまたはApple Silicon上でGGUFファイルを直接実行する場合に使います。
Ollamaで初回実行すると、次のようになります。
# Pull and chat with Qwen3 8B (best all-rounder on an 8 GB GPU)
ollama pull qwen3:8b
ollama run qwen3:8b
# Lighter options for CPU-only laptops
ollama pull qwen3:4b
ollama pull llama3.2:3b
ollama pull phi4-mini
ollama pull gemma3:4b
モデルを実行すると、OllamaとLM Studioの両方がOpenAI互換エンドポイントを公開するため、ベースURLを変更するだけで既存のツールやスクリプトをローカルモデルに向けられます。
適切な小型LLMを選ぶには?
ランキングを追いかけるのではなく、作業に合ったモデルを選びましょう。
- 一般的なチャットや日常の作業: Qwen3(4Bまたは8B)。最も無難な初期選択肢です。
- コーディングとリファクタリング: 12~16 GB GPUなら、Qwen3 14B、Mistral、またはDeepSeek-R1蒸留モデル。
- 小型ハードウェアでの数学、論理、推論: Phi-4-mini。16 GBあればPhi-4も候補です。
- 画像や多言語対応: Gemma 3 4Bまたは12B。
- 設置面積を最小限にしたい場合: Llama 3.2 1B、Gemma 3 1B、またはSmolLM2。
小型ローカルLLMにはどのような限界がある?
小型モデルは本当に役立ちますが、どこまで対応できるかを知っておくとよいでしょう。
- 世界知識が少ない。 最先端のクラウドモデルほど多くの知識を持たず、確信をもって間違えることがあります。重要な事実は検証してください。
- 非常に難しい推論は苦手。 3Bモデルは、複雑で複数段階にわたる問題では、大規模なホスト型モデルに匹敵しません。
- コンテキストと速度のトレードオフ。 長いコンテキストはより多くのメモリーを使い、CPUでは大型モデルの動作が遅くなることがあります。
- タスクによって品質が異なる。 チャットが得意なモデルでも、コーディングは平凡かもしれません。採用を決める前に2、3種類試してください。
多くのワークフローでは、検索拡張生成(RAG)や簡単なファインチューニングによってモデルに独自データを与えることで解決できます。どちらも、ローカルで行うと聞こえるほど費用はかかりません。
よくある質問
2026年にローカルで実行できる最適な小型LLMは?
多くの人にとって、8 GB GPUではQwen3 8Bが最も総合力の高い選択肢です。CPUのみのノートパソコンではQwen3 4BまたはLlama 3.2 3Bがよく動きます。入手可能な最大モデルではなく、ハードウェア上で快適に動く最大のモデルを選んでください。
ローカルで実行できる最小のLLMは?
SmolLM2(135M~1.7B)、Llama 3.2 1B、Gemma 3 1B、Qwen3 0.6Bなどのモデルは、ほとんどの最新ノートパソコンで実行でき、4ビット量子化なら必要なRAMが2 GB未満の場合もよくあります。要約や簡単なチャットには対応しますが、複雑な推論は苦手です。
小型LLMをローカルで実行するには、どれくらいのRAMが必要?
4ビット量子化した3~4Bモデルには、空きRAMまたはVRAMが約3~4 GB、7~8Bモデルには約6~8 GB、12~14Bモデルには10~16 GB必要です。ほとんどの小型モデルでは、システムRAM 16 GBが余裕のある基準になります。
小型LLMをローカルで実行する最も簡単な方法は?
OllamaまたはLM Studioをインストールし、1つのコマンドでモデルを取得します(例:ollama pull qwen3:8b)。どちらもダウンロードと量子化を扱い、ローカルのチャットインターフェースを備えています。また、独自アプリ向けのOpenAI互換APIも公開します。
GPUなしで小型LLMを実行できる?
できます。4ビット量子化なら、最新CPUで約7~8Bまでのモデルを実行でき、ユニファイドメモリーのおかげでApple Silicon搭載Macでは大幅に高速化します。専用GPUよりトークン生成は遅くなりますが、チャットや文章作成には十分使えます。
小型ローカルLLMはコーディングに向いている?
向いている場合もあります。小型モデルの中ではQwen3とDeepSeek-R1蒸留モデルがコーディングに強く、Mistralはコードを重視した成熟したエコシステムを持っています。大規模なリファクタリングでは、12~16 GB GPU上の14Bモデルが、ローカルで得られる最良の品質を提供します。
まとめ
小型ローカルLLMは、趣味の実験から実用的な日常ツールへと進化しました。バランスのよい標準モデルにはQwen3を、軽量ハードウェアで推論が必要ならPhi-4-miniを、画像認識や多言語対応が必要ならGemma 3を選びましょう。いずれもOllamaまたはLM Studioを使えば数分で実行できます。Ailootのドキュメントの利用方法については、Ailootのドキュメントをご覧ください。