# O que é a inferência de IA? O processo por detrás de cada resultado de IA

> Saiba o que é inferência de IA, como os modelos treinados geram previsões em tempo real e porque a latência, os custos e a escalabilidade são importantes no desenvolvimento de aplicações de IA.

Source: https://ailoot.ai/blog/pt-pt/what-is-ai-inference-the-process-behind-every-ai-output/
Canonical: https://ailoot.ai/blog/pt-pt/what-is-ai-inference-the-process-behind-every-ai-output/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100073
Revision: sha256-7584912267edb867b51487a80dd0dec75c97209cc10c6b7884a67382bf163f81


Sempre que uma aplicação de IA gera uma resposta ou assinala uma transação fraudulenta, está a executar inferência. Um modelo treinado recebe novos dados e passa-os por camadas de parâmetros aprendidos para produzir um resultado. Isto acontece em milissegundos e, muitas vezes, milhões de vezes por dia. Mas essa velocidade tem um custo. Cada pedido de inferência exige capacidade de computação da GPU e largura de banda de memória, que aumentam com o tamanho do modelo e o volume de tráfego. Os picos de latência frustram os utilizadores. As faturas de GPU crescem mais depressa do que o esperado. Além disso, escalar cargas de trabalho entre regiões introduz uma complexidade de infraestrutura que a maioria das equipas não prevê. Segundo digitalocean.com/currents/february-2026), a inferência consome agora cerca de 76-100% dos orçamentos de IA em muitas organizações.

Se está a implementar modelos de aprendizagem automática ou fluxos de trabalho de IA, o mais importante não é apenas a forma como o seu modelo aprende. É também a eficiência com que disponibiliza previsões em tempo real. Compreender o que é a inferência de IA e o que determina o seu desempenho pode ajudar a tomar decisões arquiteturais mais informadas para o seu próximo projeto de IA.

**Principais conclusões:**

- Enquanto o treino desenvolve a inteligência do modelo, a inferência alimenta aplicações como a deteção de fraude, as interfaces de chat com LLM e os sistemas de recomendação.

- À medida que os orçamentos de IA se orientam para a implementação, a capacidade de processamento, o custo por pedido, a utilização da GPU e a latência P95/P99 são fatores importantes no desenvolvimento de aplicações de IA/ML.

- Os ambientes de inferência de IA, como a cloud, a edge e os dispositivos, respondem a diferentes necessidades de latência, privacidade, largura de banda e escalabilidade. Muitos sistemas de produção adotam uma abordagem híbrida.

- Com os GPU Droplets, Bare Metal GPUs e Gradient™ AI Inference Cloud da DigitalOcean, pode implementar inferência escalável e eficiente em termos de custos, sem a complexidade dos hyperscalers.

## O que é a inferência de IA?

Imagem do ciclo de vida de um produto de IA

A inferência de IA é a fase do ciclo de vida da IA em que um modelo treinado faz previsões ou gera resultados com base em novos dados. É o que alimenta aplicações em funcionamento, como motores de recomendação, diagnósticos médicos e interfaces de chat com grandes modelos de linguagem (LLM). Nos ambientes de produção, a inferência de IA determina a rapidez com que os utilizadores obtêm resultados, a capacidade do sistema para lidar com picos de tráfego e o custo de disponibilizar cada previsão.

**A Workato reduz os custos de inferência em 67%**:

Para executar IA agêntica à escala de um bilião de cargas de trabalho, a Workato estabeleceu uma parceria com a cloud de inferência agêntica da DigitalOcean para otimizar a inferência de LLM com contexto longo. Ao implementar NVIDIA Dynamo e vLLM em DOKS com encaminhamento ciente de KV, alcançou mais 67% de tokens por segundo por GPU e reduziu os custos dos modelos em 67%, utilizando metade das GPUs.

### Qual é a diferença entre treino e inferência?

O treino é a forma como um modelo aprende. São-lhe fornecidos conjuntos de dados massivos e o modelo ajusta iterativamente milhões de parâmetros internos até conseguir reconhecer padrões por si próprio. O modelo recebe dados de entrada juntamente com as respostas corretas (como imagens com etiquetas ou texto com resultados esperados), faz previsões, compara-as com as respostas corretas e ajusta-se para reduzir os erros. Isto repete-se ao longo de muitos ciclos até o modelo conseguir fazer previsões precisas. Este processo exige muitos recursos computacionais, mas acontece uma vez ou periodicamente. A inferência ocorre depois: o modelo treinado recebe novos dados que ainda não viu e gera uma previsão ou resposta em tempo real.

| Fator | Treino de IA | Inferência de IA |
|----|----|----|
| Objetivo | Aprender padrões e otimizar a precisão do modelo | Gerar previsões ou resultados a partir de novos dados |
| Dados utilizados | Grandes conjuntos de dados etiquetados (por exemplo, transações fraudulentas históricas, imagens médicas anotadas, avaliações etiquetadas por sentimento) | Dados de entrada novos e nunca vistos |
| Resultado | Pesos do modelo atualizados (modelo final treinado) | Previsão, pontuação, classificação ou resposta gerada |
| Requisitos computacionais | Muito elevados (como clusters de GPU distribuídos) | Mais baixos por pedido, mas sensíveis à latência |
| Sensibilidade temporal | Offline, sem interação direta com o utilizador | Em tempo real ou quase em tempo real, com interação com o utilizador |
| Frequência | Ocasional (treino inicial e novo treino) | Contínua, executada em cada pedido |
| Estrutura de custos | Custo inicial de treino elevado | Custo contínuo por pedido |
| Foco da otimização | Precisão e redução da perda | Latência, capacidade de processamento e eficiência de custos |
| Exemplo: sistema de moderação de conteúdos com IA | O sistema é treinado com milhões de publicações etiquetadas como «seguras», «spam», «discurso de ódio» ou «violação de políticas». Durante o treino, o modelo aprende padrões no texto, no tom, nas palavras-chave e no contexto, ajustando os pesos internos para distinguir conteúdo prejudicial de conteúdo aceitável. | Quando um utilizador envia uma nova publicação, o modelo treinado processa o texto em tempo real e atribui pontuações de probabilidade a cada categoria de conteúdo. Com base nessas pontuações, o sistema publica automaticamente a publicação, assinala-a, limita a sua visibilidade ou encaminha-a para revisão humana. |

O treino e a inferência são muitas vezes tratados como se fossem a mesma coisa, mas impõem exigências muito diferentes à infraestrutura e ao orçamento. O nosso artigo sobre inferência de IA vs. treino explica para onde vai realmente o dinheiro e o que deve ser prioritário ao executar modelos em produção.

## Ambientes de inferência de IA

A inferência pode ser executada em locais diferentes, consoante as necessidades da aplicação, a sensibilidade dos dados e os requisitos de desempenho. Pode ocorrer em centros de dados cloud centralizados, mais perto dos utilizadores na edge ou diretamente em dispositivos locais.

### Ambientes de inferência na cloud

Os ambientes de inferência na cloud são o contexto mais comum para a inferência de IA em produção, com recursos de computação escaláveis, como GPUs. Este ambiente suporta estruturas de disponibilização de modelos, monitorização e integração com APIs e sistemas distribuídos.

Por exemplo, uma equipa que implemente um motor de recomendação pode seguir este fluxo de trabalho:

- Executar o serviço de inferência em GPU Droplets da DigitalOcean

- Implementar APIs com App Platform para disponibilizar APIs

- Guardar artefactos dos modelos em Spaces

### Ambientes de inferência na edge

A inferência na edge é executada mais perto da origem dos dados, como em lojas, fábricas ou torres de telecomunicações, para reduzir a latência e a utilização de largura de banda. Em aplicações como a análise de vídeo, o processamento local dos dados permite tomar decisões em milissegundos, em vez de depender da comunicação de ida e volta com servidores cloud centralizados.

Numa loja, uma câmara de segurança monitoriza as caixas. Um pequeno dispositivo edge instalado no local executa um modelo de visão por computador que deteta comportamentos suspeitos, como alguém não pagar. Se for assinalado, o sistema alerta imediatamente os funcionários da loja. Os alertas resumidos e os relatórios de análise diários são carregados mais tarde para revisão centralizada.

### Inferência no dispositivo

A inferência no dispositivo é executada diretamente no hardware do utilizador, como smartphones, portáteis ou sistemas embebidos. O objetivo é melhorar a privacidade, reduzir a dependência da ligação à rede e proporcionar respostas instantâneas em aplicações como assistentes de voz e autenticação biométrica.

Quando um utilizador diz uma frase de ativação, como «Olá, assistente», um modelo de rede neuronal executado localmente no dispositivo está continuamente à escuta dessa frase específica. O áudio é processado em tempo real pelo CPU do dispositivo ou por um chip de IA dedicado. Quando a palavra de ativação é detetada, o sistema é ativado e envia o pedido para a cloud para processamento adicional. Nesta configuração:

- O modelo treinado de deteção da palavra de ativação é armazenado no dispositivo.

- A inferência é executada continuamente no hardware local.

- O áudio bruto não sai do dispositivo, a menos que este seja ativado.

- O assistente responde instantaneamente, mesmo sem uma ligação ativa à Internet.

### Como escolher o ambiente de inferência de IA adequado

O ambiente de inferência escolhido dependerá dos requisitos de latência, do volume de tráfego, da sensibilidade dos dados e das limitações de custos. Em muitos sistemas de produção, as equipas adotam uma abordagem híbrida, combinando processamento no dispositivo ou na edge com inferência baseada na cloud.

- **Escolha a inferência na cloud**: Se precisar de elevada escalabilidade, gestão centralizada de modelos e capacidade para lidar com grandes volumes de tráfego ou cargas de trabalho intensivas em GPU.

- **Escolha a inferência na edge**: Se a sua aplicação exigir baixa latência perto da origem dos dados, menor utilização de largura de banda ou processamento em tempo real em locais distribuídos.

- **Escolha a inferência no dispositivo**: Se a privacidade for importante, for necessária funcionalidade offline ou forem necessários tempos de resposta instantâneos no hardware do utilizador, como smartphones.

Não sabe se deve escolher edge ou cloud? Comece com uma pergunta: com que rapidez precisa o seu sistema de responder? Leia o nosso artigo sobre computação cloud vs. edge para perceber quando e como utilizar cada opção de forma eficaz.

## Benefícios da inferência de IA

A inferência de IA determina a rapidez de resposta da sua aplicação, a fiabilidade com que escala e a eficiência com que gere os custos da infraestrutura. Quando corretamente implementada, proporciona vantagens de desempenho e operacionais mensuráveis:

- **Tomada de decisões em tempo real**: A inferência converte continuamente dados em tempo real em resultados estruturados, como pontuações de risco, classificações, ordenações ou texto gerado. Estes resultados são enviados para as aplicações. Por exemplo, os modelos de deteção de anomalias podem assinalar atividade invulgar em tempo real para gerar alertas automáticos e acelerar as respostas operacionais.

- **Utilização de modelos eficiente em termos de custos**: Depois de treinado, um modelo pode servir milhões de previsões sem novo treino. Embora a inferência seja dispendiosa à escala, técnicas como o processamento em lotes e a quantização podem reduzir o custo por pedido ao servir cargas de trabalho de grande volume, como assistentes baseados em LLM.

- **Melhoria da experiência do utilizador**: A inferência de baixa latência afeta diretamente a perceção de «inteligência» de uma aplicação. Se uma funcionalidade de IA responder em 100 milissegundos em vez de 2 segundos, os utilizadores consideram o produto responsivo, fiável e digno de confiança.

- **Implementação escalável em produção**: À medida que o tráfego cresce, os pipelines de inferência escalam horizontalmente com infraestrutura distribuída e escalabilidade automática. Um assistente de escrita com IA generativa integrado numa plataforma SaaS pode ter algumas centenas de utilizadores durante o horário normal e acomodar confortavelmente dezenas de milhares após o lançamento de um produto.

- **Experimentação e iteração de modelos mais rápidas:** Os pipelines de inferência permitem testar e lançar novas versões de modelos sem voltar a treinar do início. Pode testar dois modelos com testes A/B, servindo-os a diferentes segmentos de utilizadores; executar implementações shadow para avaliar um novo modelo com tráfego em tempo real sem afetar os utilizadores; ou usar lançamentos canary para transferir gradualmente o tráfego para uma nova versão antes da implementação completa.

Execute modelos de IA generativa instantaneamente, sem servidores. Aceda a vários modelos com uma única chave API, alterne entre fornecedores e mantenha as suas cargas de trabalho de inferência em execução. Veja como implementar modelos de geração de imagem e áudio Fal na plataforma Gradient AI da DigitalOcean, utilizando chamadas Python simples numa aplicação Streamlit.

## Desafios da inferência

A complexidade da inferência de IA torna-se evidente quando os modelos enfrentam cargas de trabalho de produção. Ao passar da experimentação para uma implementação em grande escala, tem de avaliar os custos, o desempenho e as limitações da infraestrutura.

- **Custo elevado da inferência à escala**: A utilização contínua de GPU, os preços baseados em tokens e os padrões de tráfego imprevisíveis contribuem para o aumento destes custos.

- **Sensibilidade à latência nas cargas de trabalho de produção**: As aplicações em tempo real exigem respostas consistentemente de baixa latência perante tráfego variável. Os estrangulamentos na disponibilização de modelos, na rede ou no aprovisionamento de hardware podem degradar a experiência do utilizador e a fiabilidade do sistema.

- **Complexidade da infraestrutura e sobrecarga de orquestração**: Muitas equipas dependem de várias ferramentas e APIs para executar inferência, aumentando a complexidade operacional. A orquestração da implementação, a configuração da escalabilidade automática e a observabilidade em sistemas distribuídos exigem conhecimentos especializados em agendamento de GPU e balanceamento de carga.

- **Fiabilidade e questões de produção**: Os pipelines de inferência têm de permanecer estáveis sob carga e manter a consistência dos resultados. Se os nós de inferência GPU que processam a assistência de renderização falharem com elevada concorrência, as sessões de edição de vídeo ativas podem falhar ou as pré-visualizações podem bloquear.

Quer passar de GPUs genéricas para uma cloud de inferência otimizada? A DigitalOcean estabeleceu uma parceria com a Character.AI e a AMD para reduzir os custos de inferência em 50%, escalar para cerca de 2X QPS e oferecer um desempenho cerca de 91% superior ao das configurações de GPU padrão.

## Tipos de inferência de IA

A inferência de IA é classificada de acordo com a forma e o momento em que as previsões são geradas. Alguns sistemas respondem instantaneamente às entradas dos utilizadores, enquanto outros processam grandes volumes de dados periodicamente ou continuamente à medida que ocorrem eventos. A distinção está em:

- **Momento do pedido**: Quando as previsões são geradas: imediatamente para cada pedido, em intervalos programados ou continuamente à medida que os dados chegam.

- **Padrão do fluxo de dados**: Como os dados de entrada percorrem o sistema: pedido-resposta único, processamento em massa de conjuntos de dados ou transmissão contínua orientada a eventos.

- **Requisitos de capacidade de resposta:** O tempo de resposta aceitável para a aplicação: milissegundos em sistemas em tempo real ou resultados atrasados para cargas de trabalho não urgentes.

### Inferência em tempo real (online)

A inferência em tempo real processa um pedido de cada vez, à medida que chega, e devolve imediatamente uma previsão. Segue um padrão de «pedido–resposta», em que cada ação do utilizador ou chamada API desencadeia uma previsão do modelo. Os tempos de resposta variam normalmente entre milissegundos e alguns segundos, consoante a complexidade do modelo e a infraestrutura.

### Inferência em streaming

A inferência em streaming avalia continuamente os fluxos de dados recebidos, em vez de esperar por pedidos discretos ou tarefas programadas. Os dados percorrem o sistema de forma contínua e orientada a eventos, e as previsões são geradas quase em tempo real à medida que chegam novos dados. Em termos de capacidade de resposta, situa-se entre a inferência em tempo real e a inferência em lotes: é mais rápida do que as tarefas programadas em lotes, mas opera sobre dados em streaming em vez de pedidos isolados.

### Inferência em lotes

A inferência em lotes executa previsões sobre grandes conjuntos de dados em simultâneo, em intervalos programados. O sistema processa os dados em massa, em tarefas periódicas que podem demorar minutos ou horas. As cargas de trabalho são orquestradas por agendadores de tarefas ou motores de fluxos de trabalho e executadas em clusters de computação distribuídos. Os dados são lidos a partir de sistemas de armazenamento, processados em paralelo e escritos novamente como tabelas, ficheiros ou registos de base de dados atualizados.

| Tipo | Descrição | Tempo de resposta | Fluxo de dados | Casos de utilização |
|----|----|----|----|----|
| Inferência em tempo real (online) | Processa um pedido de cada vez, à medida que chega | Milissegundos a segundos | Pedido-resposta | Chatbots, deteção de fraude e motores de recomendação |
| Inferência em streaming | Avalia continuamente os fluxos de dados recebidos | Quase em tempo real | Fluxo contínuo orientado a eventos | Monitorização de IoT, deteção de eventos financeiros, deteção de anomalias |
| Inferência em lotes | Executa previsões sobre grandes conjuntos de dados em simultâneo, em intervalos programados | Minutos a horas (tarefas programadas) | Processamento em massa | Avaliação de risco de crédito, relatórios analíticos, pontuação periódica de modelos |

## Como funciona a inferência de IA

O processo de inferência de IA ocorre numa camada de disponibilização de modelos, que trata os pedidos, realiza os cálculos (em CPUs ou GPUs) e devolve resultados através de uma API ou num formato específico. Vamos analisar cada passo através de um sistema de deteção de fraude que avalia uma transação com cartão de crédito.

Imagem do fluxo de trabalho de inferência de IA

1.  **Pré-processamento dos dados de entrada**: As entradas em bruto, como texto, imagens, áudio ou dados estruturados, são validadas e transformadas no formato esperado pelo modelo. Isto pode incluir tokenização (para LLM), normalização, extração de características ou conversão em tensores.

Por exemplo, imagine que um cliente utiliza o cartão de crédito para comprar produtos eletrónicos no valor de \$2,400 num retalhista em São Paulo, mas a conta está associada a Chicago e o dispositivo é um que o sistema ainda não reconheceu. O sistema extrai características estruturadas da transação: montante, categoria do comerciante, impressão digital do dispositivo, geolocalização, hora do dia e histórico recente de despesas. Estas características são normalizadas e convertidas num vetor numérico de características que o modelo pode processar.

2.  **Carregamento e inicialização do modelo**: O modelo treinado, incluindo a sua arquitetura e os pesos aprendidos, é carregado para a memória. Nos ambientes de produção, os modelos são maioritariamente conteinerizados e disponibilizados através de estruturas como TensorFlow Serving, TorchServe ou serviços personalizados baseados em FastAPI.

Neste cenário, uma rede neuronal de deteção de fraude pré-treinada já está a ser executada na memória, implementada através de um servidor de modelos conteinerizado com TorchServe. Quando a transação chega, o gateway API encaminha o vetor de características para o endpoint do modelo.

3.  **Cálculo da passagem direta**: A entrada processada é transmitida pelo modelo, onde as multiplicações de matrizes e as funções de ativação calculam o resultado. No caso da aprendizagem profunda e da inferência de LLM, este passo é executado em GPUs ou noutros aceleradores para otimizar a latência e a capacidade de processamento.

Continuando o exemplo de deteção de fraude, o modelo faz passar o vetor de características pelas camadas da rede e pondera a combinação de um dispositivo desconhecido, uma localização internacional e um montante de transação elevado face aos padrões aprendidos a partir de milhões de transações históricas. Produz uma pontuação bruta de probabilidade de fraude de 0.92.

4.  **Pós-processamento das previsões**: O resultado bruto do modelo é convertido num resultado utilizável, como uma pontuação de probabilidade, uma etiqueta de classificação, uma lista ordenada ou tokens gerados. Podem ser aplicados limiares, estratégias de descodificação (por exemplo, descodificação gulosa ou pesquisa em feixe) ou regras empresariais.

Neste caso, um motor de regras interpreta a pontuação de 0.92 de acordo com a lógica empresarial do sistema. Como ultrapassa o limiar de 0.85 *e* a transação é transfronteiriça, o motor classifica-a como de alto risco e assinala-a para autenticação reforçada, em vez de a recusar de imediato.

5.  **Entrega da resposta e registo**: O resultado final é devolvido a APIs, bases de dados ou sistemas subsequentes (como fluxos Kafka, gateways de pagamento, sistemas de alerta, etc.), consoante a arquitetura da aplicação. Ao mesmo tempo, são registadas métricas como a latência (P95/P99), a capacidade de processamento e as taxas de erro para monitorização, escalabilidade e otimização do desempenho.

Em suma, no espaço de 120 milissegundos após a leitura inicial do cartão, o gateway de pagamento recebe a classificação de alto risco e desencadeia um pedido de verificação OTP para o telemóvel do cliente. Simultaneamente, o sistema regista a pontuação do modelo, os metadados da transação, a latência (P95) e o resultado da autenticação — dados que alimentarão o novo treino do modelo e a monitorização do desempenho.

Deixe de perseguir FLOPs em bruto e faça benchmarking da inferência LLM onde realmente importa. Leia o guia completo sobre benchmarking de inferência LLM para saber como medir a latência, a capacidade de processamento, a concorrência e os custos.

## Indicadores-chave de desempenho para a inferência de IA

A otimização da inferência começa por saber a que métricas deve prestar atenção. Nem todas serão igualmente importantes para o seu caso de utilização, mas ignorar qualquer uma delas pode levar a respostas lentas, desperdício de recursos computacionais ou custos que aumentam silenciosamente. Eis as mais importantes:

| Indicador de desempenho | Descrição | Porque é importante | Exemplo |
|----|----|----|----|
| Latência | Tempo necessário para gerar uma previsão para um único pedido | Determina a rapidez percecionada pelo utilizador; a latência de cauda (P95/P99) reflete os maiores atrasos sob carga | Um chatbot responde, em média, em 120ms, mas demora 2 segundos em P99 durante os picos de tráfego |
| Capacidade de processamento | Número de pedidos por segundo (RPS) ou de tokens por segundo (para LLM) | Indica o volume de tráfego que o sistema consegue suportar antes de o desempenho se degradar | Um LLM que gera 80 tokens/segundo em vez de 20 tokens/segundo afeta a velocidade de resposta à escala |
| Custo por pedido | Custo computacional consumido em cada chamada de inferência | Afeta a economia da produção a longo prazo e a viabilidade da escalabilidade | Inferência com GPU a custar \$0.002 por pedido, em comparação com \$0.02 em volumes elevados |
| Utilização de hardware | Eficiência da utilização da CPU, GPU ou acelerador | Uma utilização fraca aumenta os custos e cria estrangulamentos de desempenho | Uma GPU a funcionar com 30% de utilização desperdiça capacidade e aumenta o custo por previsão |
| Escalabilidade sob carga | Capacidade de manter o desempenho durante picos de tráfego | Garante fiabilidade e latência consistente durante os períodos de maior procura | Um sistema de recomendação de comércio eletrónico que lida com o tráfego da Black Friday sem picos de latência |

## Casos de utilização da inferência de IA

A inferência de IA começa no momento em que a sua aplicação responde. Quer atribua uma pontuação a uma transação, ordene resultados de pesquisa ou gere texto, a inferência é a camada de execução que transforma a inteligência do modelo em ações visíveis para o utilizador.

- **Deteção de fraude em transações financeiras**: A H2o.ai, uma empresa de sistemas de pagamento sediada nos EUA, processa modelos de aprendizagem profunda treinados com 160 milhões de registos e 1,500 características para detetar fraude em tempo real. Quando é iniciada uma nova transação, o modelo implementado atribui-lhe uma pontuação em milissegundos. O sistema bloqueia ou assinala atividades suspeitas antes da autorização.

- **Análise de imagens médicas**: Na área da saúde, um estudo sobre a deteção de tumores cerebrais mostra como funciona, na prática, a inferência de imagens médicas. As imagens de MRI foram primeiro etiquetadas, redimensionadas para 150×150 píxeis e normalizadas antes de serem introduzidas numa rede neuronal convolucional (CNN) personalizada. Durante a inferência, o modelo treinado classificou cada imagem como tumoral ou não tumoral, com uma precisão de validação de 98.67%. Para apoiar a tomada de decisões clínicas, técnicas de pós-processamento como SHAP, LIME e Grad-CAM produziram mapas térmicos visuais que destacaram as regiões que influenciaram a previsão.

- **Ordenação de pesquisa e sistemas de recomendação**: Quando um utilizador envia uma consulta ou visita uma página, são codificadas características contextuais como cliques anteriores, comportamento na sessão e metadados. Um modelo de ordenação ou recomendação atribui pontuações a vários itens candidatos em tempo real. O sistema de inferência de IA ordena os resultados com base nas pontuações de relevância previstas e devolve uma lista ordenada dentro de limites de latência rigorosos. A Netflix utiliza inferência em que uma primeira fase de recuperação usa cliques na sessão, comportamento de navegação e preferências a longo prazo para criar um conjunto de candidatos. Depois, um modelo de aprendizagem profunda numa segunda fase calcula pontuações de relevância e disponibiliza uma lista ordenada em cerca de 40 milissegundos.

- **Perceção de veículos autónomos**: A Tata Elxsi integrou IA com sensores LiDAR de longo alcance (até 1 km), a operar a 10 Hz, para permitir a perceção de veículos autónomos em tempo real. Os dados cloud do LiDAR e as imagens das câmaras foram combinados e convertidos em tensores. Os dados tensoriais são depois introduzidos em modelos de aprendizagem profunda que executam inferência para detetar veículos, peões e sinais de trânsito e segmentar áreas transitáveis. Os resultados do modelo, como classificações de objetos, estimativas de distância e deteções de infrações (como condução em contramão ou excesso de velocidade), são transmitidos diretamente para sistemas de monitorização e controlo, para gerar alertas imediatos ou tomar decisões de condução em diferentes condições de iluminação e meteorológicas.

- **IA generativa e criação de conteúdos**: A Writer é uma plataforma de IA agêntica que implementa LLM com 40 mil milhões de parâmetros para gerar textos de marketing e conteúdos empresariais. Os prompts dos utilizadores são enviados através de uma API, processados por modelos acelerados por GPU e disponibilizados através do NVIDIA Triton Inference Server; as respostas são geradas token a token. Neste caso, a inferência suporta até um bilião de chamadas API por mês e produz 90,000 palavras por segundo.

Como é que a DigitalOcean desenvolve a inferência de próxima geração? Veja como os engenheiros da DigitalOcean utilizam Ray, vLLM e Kubernetes para criar inferência escalável e otimizada para GPU para IA generativa. Assista à sessão para perceber como funcionam os modos serverless e dedicado, o processamento dinâmico em lotes e as estratégias avançadas de cache KV.

## Perguntas frequentes sobre inferência de IA

**O que é a inferência de IA?**

A inferência de IA é o processo de utilizar um modelo de aprendizagem automática treinado para gerar previsões ou resultados a partir de dados novos e nunca vistos. É a fase de produção da IA, em que os modelos são executados para criar aplicações em tempo real, análises e sistemas automatizados de decisão.

**Qual é a diferença entre treino e inferência?** O treino constrói um modelo aprendendo padrões a partir de grandes conjuntos de dados e ajustando os seus parâmetros internos. A inferência aplica o modelo treinado a novos dados para produzir previsões, classificações ou resultados gerados.

**A inferência é mais importante do que o treino em produção?** Nos sistemas de produção, a inferência é mais importante do ponto de vista operacional, porque é executada continuamente e afeta diretamente a latência, a escalabilidade e os custos. O treino determina a precisão do modelo, enquanto a inferência determina a experiência do utilizador e a economia da produção.

**Que hardware é utilizado para a inferência de IA?** A inferência de IA é executada em GPUs e aceleradores especializados, como TPUs, consoante os requisitos de desempenho e da carga de trabalho. A inferência em GPU é comum em cargas de trabalho de aprendizagem profunda e LLM.

**Qual é a diferença entre inferência em tempo real e inferência em lotes?**

A inferência em tempo real gera previsões imediatamente quando chega um pedido, normalmente em milissegundos ou segundos. É utilizada em aplicações interativas nas quais os utilizadores ou sistemas precisam de respostas imediatas, como chatbots, deteção de fraude ou sistemas de recomendação.

A inferência em lotes processa grandes volumes de dados em intervalos programados, em vez de responder a pedidos individuais. Os modelos geram previsões sobre conjuntos de dados acumulados em tarefas periódicas, produzindo resultados como pontuações de risco, previsões da procura ou relatórios analíticos.

**Quais são as melhores plataformas para inferência de IA?**

As melhores plataformas de inferência de IA oferecem infraestrutura GPU escalável, preços previsíveis e ferramentas integradas de disponibilização de modelos. A Gradient™ AI inference Cloud da DigitalOcean oferece inferência com GPU, escalabilidade automática e infraestrutura simplificada para cargas de trabalho de IA em produção.

## Ponha este guia em prática com a Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e consulte a [documentação da Ailoot](https://ailoot.ai/docs/) para começar.


## Ailoot · A empresa e a sua carteira de projetos

A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.

A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.

A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.
