Pequenos modelos de linguagem (SLM): uma visão abrangente
MarkdownUma visão geral dos pequenos modelos de linguagem (SLM), incluindo a forma como são criados, as suas vantagens e limitações, aplicações práticas, opções de utilização no dispositivo e métodos de afinação.
Os últimos anos têm sido extraordinários para a inteligência artificial: os grandes modelos de linguagem (LLM) surpreenderam todos com as suas capacidades e alimentam tudo, desde chatbots a assistentes de programação. No entanto, nem todas as aplicações exigem a dimensão e a complexidade enormes dos LLM; o poder computacional necessário torna-os impraticáveis para muitos casos de utilização. Foi por isso que surgiram os pequenos modelos de linguagem (SLM), que tornam os modelos de IA potentes mais acessíveis ao reduzir a sua dimensão.
Vamos ver o que são os SLM, como são reduzidos, quais as suas vantagens e limitações, que aplicações têm no mundo real e como podem ser utilizados em dispositivos móveis e computadores de secretária.
O que são pequenos modelos de linguagem?
Os pequenos modelos de linguagem (SLM) são versões leves dos modelos de linguagem tradicionais, concebidas para funcionar de forma eficiente em ambientes com recursos limitados, como smartphones, sistemas incorporados ou computadores de baixo consumo. Enquanto os grandes modelos de linguagem têm centenas de milhares de milhões — ou até biliões — de parâmetros, os SLM têm normalmente entre 1 milhão e 10 mil milhões de parâmetros. São significativamente mais pequenos, mas mantêm capacidades essenciais de PLN, como geração de texto, sumarização, tradução e resposta a perguntas.
Alguns profissionais não gostam do termo «pequeno modelo de linguagem», porque mil milhões de parâmetros não são nada pouco. Preferem «pequeno grande modelo de linguagem», que soa bastante complicado. Mas a maioria optou por «pequeno modelo de linguagem», por isso fica SLM. A propósito, convém ter presente que só é pequeno em comparação com os modelos grandes.
Como são reduzidos?
O processo de redução de um modelo de linguagem envolve várias técnicas destinadas a diminuir a sua dimensão sem comprometer demasiado o desempenho:
- Destilação de conhecimento: treinar um modelo «aluno» mais pequeno com conhecimentos transferidos de um modelo «professor» maior.
- Poda: remover parâmetros redundantes ou menos importantes da arquitetura da rede neuronal.
- Quantização: reduzir a precisão dos valores numéricos utilizados nos cálculos (por exemplo, converter números de vírgula flutuante em números inteiros).
Exemplos de pequenos modelos de linguagem
Surgiram vários modelos de linguagem pequenos, mas potentes, que mostram que o tamanho não é tudo. Os exemplos seguintes são SLM com 1–4 mil milhões de parâmetros:
- Llama3.2-1B – Uma variante desenvolvida pela Meta, com 1 mil milhão de parâmetros, otimizada para dispositivos de periferia.
- Qwen2.5-1.5B – Um modelo da Alibaba concebido para aplicações multilingues, com 1,5 mil milhões de parâmetros.
- DeepSeeek-R1-1.5B - O modelo de raciocínio de primeira geração da DeepSeek, destilado do Qwen2.5, com 1,5 mil milhões de parâmetros.
- SmolLM2-1.7B – Da HuggingFaceTB, um modelo de linguagem «pequeno» de última geração (1,7 mil milhões de parâmetros), treinado com conjuntos de dados abertos especializados (FineMath, Stack-Edu e SmolTalk).
- Phi-3.5-Mini-3.8B – O modelo aberto pequeno, mas poderoso, da Microsoft, com 3,8 mil milhões de parâmetros, otimizado para raciocínio e geração de código.
- Gemma3-4B - Desenvolvido pela Google DeepMind, este modelo leve, mas potente, com 4 mil milhões de parâmetros é multilingue e multimodal.
Existem também outros pequenos modelos de linguagem mais potentes: Mistral 7B, Gemma 9B e Phi-4 14B (embora não tenha a certeza de que o Phi-4, com 14 mil milhões de parâmetros, ainda se possa considerar «pequeno», mas é tão capaz :)
Vantagens dos pequenos modelos de linguagem
- Baixos requisitos computacionais – Podem ser executados em computadores portáteis convencionais, dispositivos de periferia e telemóveis.
- Menor consumo de energia – Os modelos eficientes reduzem o consumo de energia, tornando-se mais amigos do ambiente.
- Inferência mais rápida – Os modelos mais pequenos geram respostas rapidamente, o que é ideal para aplicações em tempo real.
- IA no dispositivo – Não é necessária uma ligação à Internet nem serviços na cloud, o que reforça a privacidade e a segurança.
- Implementação mais barata – Os custos mais baixos de hardware e cloud tornam a IA mais acessível a startups e programadores.
- Personalização: Podem ser facilmente afinados para tarefas específicas de uma área (por exemplo, análise de documentos jurídicos).
Limitações dos pequenos modelos de linguagem
Apesar das inúmeras vantagens, os SLM também implicam algumas contrapartidas:
- Âmbito restrito: Capacidade limitada de generalização fora do domínio de treino (por exemplo, um SLM médico tem dificuldade com programação).
- Riscos de enviesamento: Conjuntos de dados mais pequenos podem amplificar enviesamentos se não forem cuidadosamente selecionados.
- Menor capacidade para lidar com a complexidade: Os modelos mais pequenos podem ter dificuldade com tarefas muito subtis ou complexas que exijam uma compreensão contextual profunda.
- Menor robustez: São mais propensos a erros em situações ambíguas ou perante entradas adversariais.
Aplicações reais dos pequenos modelos de linguagem
Apesar das suas limitações, os SLM têm uma vasta gama de aplicações práticas:
- Chatbots e assistentes virtuais: São suficientemente eficientes para funcionar em dispositivos móveis e proporcionar interação em tempo real.
- Geração de código: Modelos como o Phi-3.5 Mini ajudam os programadores a escrever e depurar código.
- Tradução de idiomas: Os modelos leves podem disponibilizar tradução no dispositivo para viajantes.
- Sumarização e geração de conteúdo: As empresas utilizam SLM para gerar textos de marketing, publicações nas redes sociais e relatórios.
- Aplicações na área da saúde: IA no dispositivo para verificação de sintomas e investigação médica.
- IoT e computação de periferia: Execução de IA em dispositivos domésticos inteligentes sem dependência da cloud.
- Ferramentas educativas: Os sistemas de tutoria podem utilizar SLM para gerar explicações personalizadas, questionários e feedback em tempo real.
Executar pequenos modelos de linguagem em dispositivos de periferia
Os SLM levam o poder da IA diretamente ao seu smartphone (com o PocketPal) ou PC (com o Ollama), oferecendo acesso offline, maior privacidade e menor latência.
SLM em dispositivos móveis com o PocketPal
Para quem tem interesse em experimentar os SLM em primeira mão, a aplicação PocketPal AI oferece uma forma intuitiva de interagir com estes modelos diretamente no smartphone, sem necessidade de ligação à Internet. Quer pretenda redigir e-mails, trocar ideias ou obter respostas a perguntas rápidas, o PocketPal disponibiliza uma interface simples, alimentada por SLM otimizados. As funcionalidades offline garantem a privacidade das suas consultas.
Funcionalidades
- Assistência de IA offline: Execute modelos de linguagem diretamente no dispositivo, sem ligação à Internet.
- Flexibilidade de modelos: Transfira e alterne entre vários SLM, como Phi, Gemma, Qwen e outros.
- Libertação/carregamento automáticos: Faça a gestão automática da memória, libertando modelos quando a aplicação está em segundo plano.
- Definições de inferência: Personalize parâmetros do modelo, como o prompt de sistema, a temperatura, o token BOS e os modelos de chat.
- Métricas de desempenho em tempo real: Consulte os tokens por segundo e os milissegundos por token durante a geração de respostas de IA.
Transfira o PocketPal AI para iOS e Android.
Executar SLM num PC com o Ollama
O Ollama, uma ferramenta de código aberto, simplifica a implementação de SLM em PCs:
- Gestão local: Execute modelos como o Llama3.2-1B ou o Phi-3.5 Mini com uma configuração mínima.
- Otimização da GPU: Aproveita GPUs de consumo para acelerar a inferência.
- Fluxos de trabalho personalizados: Integre SLM em pipelines de dados ou ferramentas criativas (por exemplo, para revisões automatizadas de código).
Começar a utilizar o Ollama:
- Instale o Ollama a partir de ollama.com
- Abra o terminal e transfira um modelo:
ollama pull qwen2.5:1.5b
- Execute o modelo de forma interativa:
ollama run qwen2.5:1.5b
Esta configuração permite utilizar chatbots, assistentes de programação e ferramentas de sumarização de documentos com IA localmente, sem necessidade de serviços na cloud.
Afinação de pequenos modelos de linguagem
Um dos aspetos mais interessantes dos SLM é a sua adaptabilidade através da afinação. Ao expor um SLM a conjuntos de dados específicos de uma área, pode melhorar o seu desempenho em aplicações especializadas.
Por exemplo:
- Afine um modelo com documentos jurídicos para criar um assistente de análise de contratos.
- Treine um SLM com manuais técnicos para criar um guia de resolução de problemas para engenheiros.
Existem várias formas de afinar um SLM:
- Afinação completa – Treinar novamente todos os parâmetros com novos dados (requer uma capacidade computacional significativa).
- LoRA (adaptação de baixa ordem) – Afina apenas algumas camadas, sendo um método leve e eficiente.
- Adaptadores e afinação de prompts – Adiciona camadas extra ou otimiza prompts para orientar as respostas do modelo.
Exemplo: afinação com LoRA utilizando a biblioteca peft da Hugging Face:
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "gemma-2-2b"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
config = LoraConfig(r=8, lora_alpha=16, lora_dropout=0.1)
model = get_peft_model(model, config)
# Train the model on new data...
A afinação não só melhora a precisão, como também garante que o modelo se adapta melhor aos seus requisitos específicos.
Conclusão
Os pequenos modelos de linguagem (SLM) representam um passo importante rumo a uma IA eficiente, acessível e económica. Oferecem soluções práticas a empresas, programadores e investigadores que procuram IA potente sem o elevado esforço computacional dos LLM.
Com ferramentas como o Ollama para PCs e as opções de afinação para personalização, os SLM estão a transformar o panorama da IA, tornando-a mais pessoal, privada e acessível a todos.
Vamos descobrir como a IA compacta pode transformar os nossos projetos.
Referências
Uma análise dos pequenos modelos de linguagem (artigo de investigação)
Ponha este guia em prática com a Ailoot
Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.