# 소형 언어 모델 설명

> 언어 모델이 작다는 것은 무엇을 의미하는지, 매개변수와 유효 매개변수는 무엇인지, 작은 모델이 휴대폰에 들어가는 이유와 어떤 능력을 포기하는지 설명합니다.

Source: https://ailoot.ai/blog/ko/small-language-models-explained/
Canonical: https://ailoot.ai/blog/ko/small-language-models-explained/
Language: ko
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100072
Revision: sha256-ee9ffb5d72675b25d8ff825e739c1e1f84f6ef297dd43574b09eeee8096ad95a


## 소형 언어 모델이란?

소형 언어 모델(SLM)은 데이터 센터가 아니라 휴대폰이나 노트북 같은 일상적인 하드웨어에서 실행할 수 있을 만큼 작은 언어 모델입니다. 합의된 경계는 없습니다. 일반적으로 매개변수가 수십억 개 이하인 모델을 소형이라고 부르며, 2024년 한 조사에서는 1억~50억 개를 범위로 제시했습니다.

소형 언어 모델과 대형 언어 모델은 같은 방식으로 작동합니다. 둘 다 신경망이며 거의 항상 트랜스포머입니다. 텍스트의 다음 토큰을 예측하도록 학습하고, 사전 학습 후에는 지시를 따르도록 조정합니다. 앞서 언급한 조사는 바로 이런 종류의 디코더 전용 트랜스포머를 다룹니다. 차이는 규모입니다. 휴대폰 크기의 모델에는 매개변수가 수십억 개 있지만, 최첨단 클라우드 모델은 훨씬 더 큽니다. 따라서 소형 모델은 보유한 지식이 적고 추론 능력도 제한적입니다(‘소형 모델의 한계는 무엇인가요?’ 참조). 온디바이스 AI를 실용적으로 만드는 것이 소형 모델입니다.

크기만이 품질을 좌우하는 요소는 아닙니다. 따라서 소형 모델의 품질은 크기만큼이나 학습 방식에도 달려 있습니다. 증류를 통해 대형 모델의 출력을 따라 하도록 학습함으로써 대형 모델로부터 배울 수 있으며, 신중하게 선별한 데이터에서도 이점을 얻습니다. 주로 ‘교과서 수준의 품질’ 데이터로 학습한 매개변수 13억 개의 코드 모델 phi-1은 HumanEval 코딩 벤치마크에서 pass@1 50.6%를 기록했습니다.

## 매개변수와 ‘유효 매개변수’는 무엇을 뜻하나요?

매개변수는 모델이 학습 중에 배우는 숫자이며, 매개변수 개수는 모델 크기를 재는 일반적인 기준입니다. Qwen3 1.7B의 ‘1.7B’는 약 17억 개를 뜻합니다. Google의 Gemma 4 E2B와 E4B에서 ‘E’로 표시되는 ‘유효 매개변수’는 모델이 계산에 사용하는 매개변수를 가리키며, 값을 조회하기만 하는 대형 임베딩 테이블은 제외합니다.

대부분의 매개변수는 트랜스포머의 어텐션 및 피드포워드 계층에 있는 가중치 행렬에 놓이며, 모든 토큰은 이 계층들을 통과합니다. 별도의 블록인 임베딩은 어휘의 각 토큰을 벡터로 매핑합니다. 소형 모델에서는 임베딩이 전체 매개변수에서 큰 비중을 차지할 수 있습니다. Qwen3 1.7B의 임베딩 테이블은 2,048차원에 151,936개 행으로 구성됩니다(설정된 어휘 크기로, 토크나이저의 151,669개 항목보다 크게 패딩됨). 임베딩 매개변수는 약 3억 1,100만 개입니다. 이는 전체 매개변수 17억 개, 임베딩을 제외한 매개변수 14억 개라고 기재한 모델 카드와 일치합니다 7. 스케일링 연구에서는 임베딩이 아닌 매개변수만 세는 경우가 많습니다.

Gemma 4의 E 시리즈는 이 개념을 한 단계 더 발전시킵니다. Google의 모델 카드는 ‘E2B와 E4B의 “E”는 “유효(effective)” 매개변수를 뜻한다’고 설명합니다. 이 모델은 계층별 임베딩(Per-Layer Embeddings, PLE)을 사용해 ‘각 디코더 계층에 모든 토큰을 위한 고유한 소형 임베딩을 제공’합니다. 또한 ‘이 임베딩 테이블은 크지만 빠른 조회에만 사용되므로 유효 매개변수 수는 전체 매개변수 수보다 훨씬 적다’고 설명합니다 8. 모델 카드에 따르면 Gemma 4 E2B는 유효 매개변수가 23억 개이고 임베딩을 포함하면 51억 개이며, E4B는 각각 45억 개와 80억 개입니다.

조회에는 메모리가 필요하지만 계산량은 적고, 런타임은 테이블을 저장 공간에 둘 수 있으므로 이 차이는 휴대폰에서 중요합니다. ‘유효’는 ‘활성’과도 다릅니다. Gemma 4 26B A4B는 매개변수가 252억 개인 전문가 혼합 모델이며, 추론 중 활성화되는 매개변수는 38억 개입니다 8.

## 소형 모델은 왜 휴대폰에 들어가나요?

모델 가중치가 차지하는 공간은 대략 매개변수 수에 매개변수당 저장 비트 수를 곱한 뒤 8로 나눈 값입니다. 4비트에서는 매개변수 17억 개가 약 0.85 GB를 차지하므로, RAM이 4 GB인 휴대폰에서도 Android와 다른 앱을 위한 공간이 남습니다.

매개변수 수와 정밀도가 두 가지 조절 요소입니다. 그림 1은 Qwen3 1.7B를 32비트 부동소수점에서 4비트 모델 파일로 바꿀 때의 계산을 보여 줍니다.

<figure id="la-fit">
<ol>
<li><strong>32비트 부동소수점으로 저장하면 매개변수 17억 개는 6.8 GB를 차지합니다.</strong></li>
<li><strong>16비트에서는 3.4 GB를 차지합니다.</strong></li>
<li><strong>8비트에서는 1.7 GB를 차지합니다.</strong> 가중치당 비트 수를 절반으로 줄일 때마다 가중치에 필요한 메모리도 절반으로 줄어듭니다.</li>
<li><strong>4비트에서는 약 0.85 GB입니다.</strong> 가중치당 반 바이트를 사용하면 이 크기의 모델을 4 GB 휴대폰에서 실용적으로 사용할 수 있습니다.</li>
<li><strong>4비트 모델 파일은 원시 가중치보다 클 수 있습니다.</strong> 블록 스케일과 기타 저장 데이터가 파일 크기를 늘립니다.</li>
</ol>
<figcaption>그림 1. Qwen3 1.7B의 가중치를 저장하는 데 필요한 메모리(십진 기가바이트). 파란색 막대는 매개변수 17억 개에 대해 매개변수 수 × 비트 수 ÷ 8로 계산한 값이며, 가중치만 계산한다. 실행 중인 모델에는 키–값 캐시와 런타임을 위한 메모리도 필요하다. 주황색 막대는 다운로드한 모델 파일이다.</figcaption>
</figure>

| 정밀도 | 매개변수당 비트 | 가중치 메모리(약) |
|---|---:|---:|
| 32비트 부동소수점 | 32 | 6.8 GB |
| 16비트 부동소수점 | 16 | 3.4 GB |
| 8비트 정수 | 8 | 1.7 GB |
| 4비트 정수 | 4 | 0.85 GB |

휴대폰에 맞는 모델은 이러한 이유로 수십억 개의 매개변수와 4비트 또는 혼합 정밀도 가중치를 결합합니다. 양자화는 가중치에 필요한 저장 공간을 줄입니다.

가중치가 메모리 사용량의 전부는 아닙니다. 실행 중인 모델에는 컨텍스트 창이 길어질수록 커지는 키–값 캐시와 런타임 자체를 위한 메모리도 필요합니다. 속도도 같은 원리로 결정됩니다. 새 토큰을 생성할 때마다 메모리에서 모델 가중치를 읽어야 하므로, 같은 휴대폰에서는 가중치가 더 적고 작을수록 답변이 빨라집니다.

## 소형 모델은 어떤 작업을 잘하나요?

필요한 내용이 프롬프트에 있거나 일반적인 지식에 속하는 작업에서 소형 모델은 강점을 보입니다. 문장 바꾸기, 요약, 초안 작성, 설명, 제공된 구절을 바탕으로 한 답변 등이 이에 해당합니다. 기기에서 실행되므로 네트워크에 연결하지 않고도 답할 수 있고 프롬프트를 서버로 보내지 않아도 됩니다.

Google의 모델 카드는 Gemma 4 제품군이 ‘추론, 에이전트 워크플로, 코딩, 멀티모달 이해에 적합하다’고 설명하며, E2B와 E4B는 텍스트, 이미지, 오디오 입력을 받습니다 8. 이는 개발자가 직접 제시한 설명과 벤치마크입니다. 특정 휴대폰에서 특정 작업이 얼마나 잘 되는지는 직접 시험해야 합니다.

소형 모델이 모르는 내용을 보완하려면 적절한 텍스트를 제공하면 됩니다. 검색 증강 생성(retrieval-augmented generation)은 질문 시점에 검색한 구절을 추가하므로 모델은 기억에 의존하는 대신 출처를 바탕으로 답합니다. 소형 모델은 실행 비용도 예측하기 쉽습니다. 질문마다 서버 비용이 발생하지 않고, 대기열이 없으며, 다운로드 후에는 연결에 의존하지 않습니다.

## 소형 모델의 한계는 무엇인가요?

소형 모델은 보유한 지식이 적고, 긴 추론이나 여러 단계로 이루어진 추론에 약하며, 대형 모델보다 긴 컨텍스트를 잘 다루지 못합니다. 또한 모든 언어 모델과 마찬가지로 틀린 내용을 유창하게 말할 수 있습니다.

이러한 경향은 같은 제품군 안에서도 나타납니다. Google의 모델 카드에서 Gemma 4 E2B는 지식 및 추론 벤치마크 MMLU Pro에서 60.0%를, E4B는 69.4%를 기록했습니다. 매개변수 310억 개의 Gemma 4 모델은 85.2%를 기록했습니다. 대학원 수준의 과학 질문으로 구성된 GPQA Diamond에서는 각각 43.4%, 58.6%, 84.3%였습니다 8. 이는 Google이 자사 모델을 대상으로 얻은 결과입니다.

소형 모델은 같은 말을 반복하는 데 빠질 수도 있습니다. Qwen의 모델 카드는 탐욕적 디코딩이 ‘성능 저하와 끝없는 반복으로 이어질 수 있다’고 경고합니다 7.

## 소형 모델은 왜 지시문의 형식을 따라 하나요?

소형 모델은 프롬프트의 내용을 따르는 동시에 그 형식도 모방하는 경향이 있습니다. 따라서 길고 구조화된 시스템 프롬프트의 형식이 모든 답변에 반복될 수 있습니다.

모델에 ‘직접적인 답변을 먼저 제시하고, 그다음 유용한 세부 정보를 덧붙이라’고 지시했더니 ‘직접적인 답변:’과 ‘유용한 세부 정보:’라는 굵은 라벨이 붙은 답변이 나왔습니다. 이 지시는 내용에 관한 조언이었지만, 모델은 이를 템플릿으로 취급했습니다.

## 소형 모델의 사고 모드는 어떻게 작동하나요?

사고 모드를 사용하면 모델은 최종 답변 전에 중간 추론을 작성합니다. 다단계 문제에서 더 신중한 결과를 얻기 위해 시간과 토큰을 더 씁니다. Qwen3와 Gemma 4 모두 별도의 추론 모델이 아니라 하나의 모델 안에서 전환할 수 있는 기능으로 사고 모드를 제공합니다.

이 개념은 사고 연쇄 프롬프팅(chain-of-thought prompting)에서 비롯되었습니다. 최신 소형 모델은 추론하도록 학습되며, Qwen3는 그 과정에서 더 큰 모델로부터 일부를 학습합니다.

전환 기능은 프롬프트에 포함됩니다. Qwen3 1.7B는 기본적으로 사고 모드로 작동하며 추론을 `<think>…</think>` 블록 안에 작성합니다. 개발자는 `enable_thinking` 설정으로 사고 모드를 끄고, 사용자는 메시지에 `/think` 또는 `/no_think`를 추가해 대화 차례마다 모드를 바꿀 수 있습니다 7. Gemma 4는 시스템 프롬프트가 `<|think|>` 토큰으로 시작하면 사고 모드를 활성화합니다 8.

추론 토큰은 모델 출력의 일부이며 컨텍스트 창을 함께 사용하므로 사고 모드에는 시간과 컨텍스트 공간이 듭니다. 모델이 추론을 표시하도록 설정된 경우 답변 전에 추론이 나타나지만, 동작은 모델과 애플리케이션에 따라 다릅니다.

## Qwen3 1.7B, Gemma 4 E2B, Gemma 4 E4B는 어떻게 다른가요?

세 모델은 크기, 입력, 컨텍스트 길이가 다릅니다. Qwen3 1.7B는 매개변수가 17억 개이며 텍스트만 입력으로 받습니다. Google은 Gemma 4 E2B와 E4B의 유효 매개변수를 각각 23억 개와 45억 개로 제시하며, 두 모델은 텍스트, 이미지, 오디오를 입력으로 받습니다. 세 모델 모두 Apache 2.0 라이선스로 공개됩니다.

|  | Qwen3 1.7B | Gemma 4 E2B | Gemma 4 E4B |
|---|---|---|---|
| 개발자 | Alibaba (Qwen 팀) | Google DeepMind | Google DeepMind |
| 매개변수 | 1.7B, 이 중 임베딩 외부는 1.4B | 유효 2.3B, 임베딩 포함 5.1B | 유효 4.5B, 임베딩 포함 8B |
| 계층 | 28 | 35 | 42 |
| 컨텍스트 길이 | 32,768 토큰 | 128K 토큰 | 128K 토큰 |
| 입력 | 텍스트 | 텍스트, 이미지, 오디오 | 텍스트, 이미지, 오디오 |
| 사고 모드 | 예, 기본 활성화 | 예 | 예 |
| 라이선스 | Apache 2.0 | Apache 2.0 | Apache 2.0 |

표 1. Qwen의 Qwen3-1.7B 모델 카드와 Google의 Gemma 4 모델 카드에 게시된 사양. 2026년 10월 5일 확인 7 8.



## 참고 자료

7. Qwen. “Qwen3-1.7B.” 모델 카드 및 구성, Hugging Face. 2026년 10월 5일 열람. [huggingface.co/Qwen/Qwen3-1.7B](https://huggingface.co/Qwen/Qwen3-1.7B)
8. Google DeepMind. “Gemma 4 모델 카드.” Google AI for Developers. 2026년 10월 5일 열람. [ai.google.dev/gemma/docs/core/model_card_4](https://ai.google.dev/gemma/docs/core/model_card_4)

## Ailoot으로 이 가이드를 실제로 활용하세요

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 [Ailoot 문서](https://ailoot.ai/docs/)를 따라 시작하세요.

## Ailoot · 회사와 그 프로젝트 포트폴리오

Ailoot는 축적된 운영 경험, 폭넓은 고객 기반, 안정적인 서비스, 지속적인 KPI 관리를 바탕으로 합니다.

회사와 그 프로젝트 포트폴리오: 수백만 고객, 매월 수십억 규모의 매출.

Ailoot는 이러한 운영 경험을 고객의 제품, 에이전트, 애플리케이션, 자동화에서 AI 기능을 이용할 수 있는 API 접근에 활용합니다.
