# Wat is inferentie?

> Lees wat AI-inferentie is, hoe batch-, edge-, realtime- en streaminginferentie werken en hoe teams uitdagingen op het gebied van nauwkeurigheid, prestaties en kosten kunnen aanpakken.

Source: https://ailoot.ai/blog/nl/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/nl/what-is-ai-inferencing/
Language: nl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-1e833f86ded63234158933c76849f92c55a211da86887e52f297c40d38437b90


## Wat is inferentie (AI)?

Inferentie is het proces waarbij een kunstmatige-intelligentie-model voorspellingen of uitvoer genereert op basis van nieuwe gegevens. Na de training heeft een AI-model parameters en representaties geleerd. Wanneer het nieuwe gegevens ontvangt, gebruikt het die om uitvoer te genereren. Inferentie vindt plaats tijdens de runtime- of implementatiefase van een AI-toepassing en maakt uiteenlopende toepassingen in de praktijk mogelijk.

## Waarom is inferentie belangrijk?

AI-inferentie is het proces waarbij uitvoer wordt gegenereerd op basis van ongeziene gegevens. Nadat een model algemene patronen uit trainingsdatasets heeft geleerd, past het die patronen toe op nieuwe gegevens.

Een AI-model kan bijvoorbeeld worden getraind met medische scans die door medische professionals zijn geannoteerd. Tijdens de training leert het model visuele aanwijzingen en verbanden in de gegevens. Vervolgens kan het met inferentie mogelijke tumoren of afwijkingen op nieuwe scans herkennen. Medische professionals kunnen de nauwkeurigheid van het proces beoordelen door conclusies te trekken uit dezelfde scans.

In tegenstelling tot traditionele [analysetechnieken](https://aws.amazon.com/what-is/data-analytics/), waarbij mensen regels definiëren en statistische technieken kiezen, kan een model dankzij training complexe patronen ontdekken die moeilijk handmatig vast te leggen zijn. Die patronen komen voort uit de parameters van het model. Inferentie past ze toe op nieuwe gegevens.

## Welke soorten inferentie zijn er bij machine learning?

Er zijn verschillende soorten inferentie bij [machine learning](https://aws.amazon.com/what-is/machine-learning/) (ML).

### **Batchinferentie**

Batchinferentie doet voorspellingen op basis van groepen met meerdere gegevensinvoer. Dit is nuttig voor toepassingen waarbij tijd niet kritiek is en die op uitvoer kunnen wachten. Een generatieve AI-toepassing voor bedrijfsanalyse kan updates bijvoorbeeld één keer per uur verwerken in plaats van in realtime.

### **Edge-inferentie**

[Edge-AI-inferentie](https://aws.amazon.com/what-is/edge-computing/) voert een model uit op het apparaat van een gebruiker of dicht bij de bron van de gegevens. Omdat gegevens niet naar een centrale hub hoeven te worden gestuurd om te worden verwerkt, kan edge-inferentie de netwerklatentie verlagen. Dit is nuttig op afgelegen locaties met beperkte connectiviteit of op apparaten waarop inferentie essentieel is. De verwerkingssnelheid hangt af van het apparaat en de latentie van het model.

### **Realtime-inferentie**

Realtime-inferentie genereert onmiddellijk uitvoer als reactie op invoerverzoeken. Modellen ontvangen gegevens van gebruikersinvoer of verbonden gegevensbronnen, waardoor direct uitvoer nodig is. Realtime-inferentie is afhankelijk van AI-systemen met een lage latentie en wordt vaak gebruikt in systemen waarbij tijd kritiek is. Zo gebruiken autonome voertuigen het om tijdige besluitvorming te ondersteunen.

### **Streaminginferentie**

Streaminginferentie gebruikt een datapijplijn die voortdurend informatie aan een model levert, dat in realtime uitvoer genereert. Net als realtime-inferentie reageert deze op binnenkomende gegevens, maar produceert ze voortdurend uitvoer op basis van de [invoerstroom](https://aws.amazon.com/what-is/streaming-data/). Realtime-inferentie reageert op gebruikersinvoer of liveverzoeken, terwijl streaminginferentie een continue stroom nieuwe gegevens verwerkt.

## Hoe werkt inferentie?

Verschillende technologieën en datasystemen werken samen om de infrastructuur voor AI-inferentie te leveren.

### **Infrastructuur voor machinelearningmodellen**

AI-inferentie is mogelijk nadat een model is getraind. Voordat het wordt geïmplementeerd, kan een model training, finetuning, validatie en optimalisatie voor inferentie doorlopen.

Een getraind model in productie kan aanzienlijke rekenkracht vereisen van grafische verwerkingseenheden (GPU's), centrale verwerkingseenheden (CPU's) en gespecialiseerde AI-versnellers zoals [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/). De rekenbronnen hebben ook opslag, netwerken en datapijplijnen nodig.

### **Gebruikersinvoer en voorbewerking van gegevens**

Gegevens moeten mogelijk worden voorbewerkt voordat ze aan een model worden aangeboden. Visuele modellen kunnen bijvoorbeeld normalisatie gebruiken, terwijl [grote taalmodellen](https://aws.amazon.com/what-is/large-language-model/) (LLM's) tokenisatie kunnen gebruiken. Gegevens kunnen ook worden opgeschoond om de kwaliteit te verbeteren.

### **Het inferentieproces**

Het inferentieproces neemt schone gegevens en voert een forward pass uit: de voorbewerkte gegevens gaan door de lagen van het model om uitvoer te genereren. Dit omvat een reeks berekeningen.

### **Uitvoer genereren en nabewerken**

Na de forward pass genereert een model uitvoer op basis van patronen die het uit trainingsgegevens heeft geleerd.

Tijdens de nabewerking kan uitvoer worden gescand, gefilterd en opgemaakt volgens vangrails en beleidsregels. Vangrails kunnen bijvoorbeeld helpen scheldwoorden of schadelijke inhoud te voorkomen, en de opmaak kan uitvoer aanpassen aan de tone of voice van een bedrijf.

## Wat zijn de uitdagingen van inferentie voor AI-modellen?

Verschillende uitdagingen kunnen invloed hebben op het vermogen van een AI-model om inferenties te maken.

### **Modeldrift**

Modeldrift treedt op wanneer een model na verloop van tijd minder effectief wordt doordat gegevens uit de echte wereld veranderen ten opzichte van de gegevens waarop het is getraind. Datadrift treedt op wanneer patronen in invoergegevens verschuiven. Als de gewichten van het model ongewijzigd blijven op basis van oudere trainingsgegevens, kunnen die verschuivingen de uitvoer onnauwkeurig maken.

Conceptdrift treedt op wanneer de relatie tussen invoer en uitvoer van een model verandert of complexer wordt. Een AI-model dat is getraind om phishingmails te herkennen, gebruikt bijvoorbeeld aangeleerde patronen om voorspellingen te doen. Als nieuwe technologieën veranderen hoe phishingpogingen worden uitgevoerd, kan de uitvoer van het model minder nauwkeurig worden. Mogelijk moet het model opnieuw worden getraind om rekening te houden met die veranderingen.

In beide gevallen kan een model dat eerst goed presteerde, minder nauwkeurige of onjuiste antwoorden gaan geven.

### **Snelheid en prestaties**

Voor de implementatie van een AI-model op schaal is infrastructuur nodig die betrouwbaar uitvoer kan leveren. Organisaties hebben mogelijk grafische processors, lage latentie, hoge netwerksnelheden en extra krachtige verwerkingseenheden nodig voor complexe modellen.

Andere manieren om snelheid en prestaties te verbeteren zijn het verfijnen van de infrastructuurarchitectuur, het gebruik van gespecialiseerde hardware en het toepassen van optimalisatietechnieken voor inferentie, zoals kwantisatie, om de modelgrootte te verkleinen.

Een andere inferentieaanpak kiezen, zoals batchinferentie, kan de prestaties voor specifieke toepassingen verbeteren.

### **Kosten**

Het uitvoeren van inferentieworkloads kan tot onverwachte kosten leiden. Op schaal of in veel verschillende contexten kunnen de benodigde rekenkracht en het volume aan inferentieverzoeken de uitgaven verhogen. Organisaties kunnen de kosten beheersen met strategieën zoals het verkleinen van modellen, het parallel uitvoeren van verwerking en het gebruiken van automatisch schaalbare cloudinfrastructuur voor online inferentie.

## Best practices om de nauwkeurigheid en bruikbaarheid van AI te verbeteren

Het verbeteren van de nauwkeurigheid en bruikbaarheid van AI-inferentie hangt deels af van de trainings- en optimalisatieprocessen. Deze praktijken kunnen helpen.

### **Investeer in gegevenskwaliteit**

De kwaliteit van trainingsdatasets heeft rechtstreeks invloed op het vermogen van een model om voorspellingen te doen over nieuwe gegevens en bruikbare uitvoer te genereren. Gegevens van hoge kwaliteit die goed zijn gelabeld, consistent zijn en vrij zijn van ruis, kunnen het vermogen van een model om patronen te herkennen verbeteren. Stel strenge processen in voor het voorbereiden van gegevens, waaronder opschonen, valideren, standaardiseren en inconsistenties oplossen.

### **Zet deskundig personeel in**

Betrek waar mogelijk mensen met expertise in modeltraining en de architectuur van de technologiestack die u wilt gebruiken. Domeinexperts kunnen helpen gegevens te annoteren, waardoor die van hogere kwaliteit en vollediger worden. Een model trainen met gegevens van hoge kwaliteit kan de nauwkeurigheid van de uitvoer verbeteren.

### **Neem uitlegbaarheid op voor naleving**

Inferentie-uitvoer moet uitlegbaar zijn. Uitlegbaarheidstechnieken kunnen laten zien welke invoerkenmerken een bepaalde uitvoer hebben beïnvloed. Verschillende typen ML-modellen gebruiken verschillende technieken. Shapley Additive exPlanations (SHAP) kan bijvoorbeeld op elk model worden toegepast en is het meest geschikt voor boomgebaseerde modellen, lineaire modellen en neurale netwerken. Uitlegbaarheid kan organisaties ook helpen zich te richten naar AI-compliancekaders, waaronder het recht op uitleg onder de AVG voor beslissingen die door AI worden genomen.

## Hoe kan AWS AI-inferentie ondersteunen?

AWS beschrijft services en speciaal ontwikkelde infrastructuur voor verschillende fasen van de levenscyclus van [machine learning](https://aws.amazon.com/ai/machine-learning/) en AI-modellen.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) biedt een machinelearningomgeving voor het bouwen, trainen, optimaliseren, testen en beheren van aangepaste modellen.

Amazon SageMaker AI is een volledig beheerde service met tools voor machine learning voor uiteenlopende toepassingen. De service ondersteunt het op schaal bouwen, trainen en implementeren van modellen met tools zoals notebooks, debuggers, profilers, pijplijnen en MLOps in een geïntegreerde ontwikkelomgeving (IDE).

SageMaker AI ondersteunt governancevereisten voor training en inferentie met toegangsbeheer en transparantie over ML-projecten. De service biedt ook tools voor het bouwen van foundation models (FM's), grote modellen die op uitgebreide datasets zijn getraind, en voor het finetunen, ermee experimenteren, opnieuw trainen en implementeren ervan.

AWS biedt cloudinfrastructuur voor AI-inferentie, waaronder gespecialiseerde GPU's op [Amazon EC2](https://aws.amazon.com/ec2/) en machinelearningchips zoals [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/).

Ga vandaag nog aan de slag met inferentie van ML-modellen op AWS door [een gratis account aan te maken](https://aws.amazon.com/free/).

## Pas deze gids toe met Ailoot

Verbind AI-modellen via één Ailoot API met je applicaties, agents en automatiseringen. Kies het model dat bij je taak past en volg de [Ailoot-documentatie](https://ailoot.ai/docs/) om aan de slag te gaan.

## Ailoot · Het bedrijf en zijn projectenportefeuille

Ailoot bouwt op opgebouwde operationele ervaring, een groot klantenbestand, een stabiele dienst en doorlopende KPI-controle.

Het bedrijf en zijn projectenportefeuille: miljoenen klanten; maandelijkse verkopen in de miljarden.

Ailoot gebruikt die operationele ervaring voor API-toegang tot AI-functies in klantproducten, agents, applicaties en automatiseringen.
