Wat is inferentie?
MarkdownLees wat AI-inferentie is, hoe batch-, edge-, realtime- en streaminginferentie werken en hoe teams uitdagingen op het gebied van nauwkeurigheid, prestaties en kosten kunnen aanpakken.
Wat is inferentie (AI)?
Inferentie is het proces waarbij een kunstmatige-intelligentie-model voorspellingen of uitvoer genereert op basis van nieuwe gegevens. Na de training heeft een AI-model parameters en representaties geleerd. Wanneer het nieuwe gegevens ontvangt, gebruikt het die om uitvoer te genereren. Inferentie vindt plaats tijdens de runtime- of implementatiefase van een AI-toepassing en maakt uiteenlopende toepassingen in de praktijk mogelijk.
Waarom is inferentie belangrijk?
AI-inferentie is het proces waarbij uitvoer wordt gegenereerd op basis van ongeziene gegevens. Nadat een model algemene patronen uit trainingsdatasets heeft geleerd, past het die patronen toe op nieuwe gegevens.
Een AI-model kan bijvoorbeeld worden getraind met medische scans die door medische professionals zijn geannoteerd. Tijdens de training leert het model visuele aanwijzingen en verbanden in de gegevens. Vervolgens kan het met inferentie mogelijke tumoren of afwijkingen op nieuwe scans herkennen. Medische professionals kunnen de nauwkeurigheid van het proces beoordelen door conclusies te trekken uit dezelfde scans.
In tegenstelling tot traditionele analysetechnieken, waarbij mensen regels definiëren en statistische technieken kiezen, kan een model dankzij training complexe patronen ontdekken die moeilijk handmatig vast te leggen zijn. Die patronen komen voort uit de parameters van het model. Inferentie past ze toe op nieuwe gegevens.
Welke soorten inferentie zijn er bij machine learning?
Er zijn verschillende soorten inferentie bij machine learning (ML).
Batchinferentie
Batchinferentie doet voorspellingen op basis van groepen met meerdere gegevensinvoer. Dit is nuttig voor toepassingen waarbij tijd niet kritiek is en die op uitvoer kunnen wachten. Een generatieve AI-toepassing voor bedrijfsanalyse kan updates bijvoorbeeld één keer per uur verwerken in plaats van in realtime.
Edge-inferentie
Edge-AI-inferentie voert een model uit op het apparaat van een gebruiker of dicht bij de bron van de gegevens. Omdat gegevens niet naar een centrale hub hoeven te worden gestuurd om te worden verwerkt, kan edge-inferentie de netwerklatentie verlagen. Dit is nuttig op afgelegen locaties met beperkte connectiviteit of op apparaten waarop inferentie essentieel is. De verwerkingssnelheid hangt af van het apparaat en de latentie van het model.
Realtime-inferentie
Realtime-inferentie genereert onmiddellijk uitvoer als reactie op invoerverzoeken. Modellen ontvangen gegevens van gebruikersinvoer of verbonden gegevensbronnen, waardoor direct uitvoer nodig is. Realtime-inferentie is afhankelijk van AI-systemen met een lage latentie en wordt vaak gebruikt in systemen waarbij tijd kritiek is. Zo gebruiken autonome voertuigen het om tijdige besluitvorming te ondersteunen.
Streaminginferentie
Streaminginferentie gebruikt een datapijplijn die voortdurend informatie aan een model levert, dat in realtime uitvoer genereert. Net als realtime-inferentie reageert deze op binnenkomende gegevens, maar produceert ze voortdurend uitvoer op basis van de invoerstroom. Realtime-inferentie reageert op gebruikersinvoer of liveverzoeken, terwijl streaminginferentie een continue stroom nieuwe gegevens verwerkt.
Hoe werkt inferentie?
Verschillende technologieën en datasystemen werken samen om de infrastructuur voor AI-inferentie te leveren.
Infrastructuur voor machinelearningmodellen
AI-inferentie is mogelijk nadat een model is getraind. Voordat het wordt geïmplementeerd, kan een model training, finetuning, validatie en optimalisatie voor inferentie doorlopen.
Een getraind model in productie kan aanzienlijke rekenkracht vereisen van grafische verwerkingseenheden (GPU's), centrale verwerkingseenheden (CPU's) en gespecialiseerde AI-versnellers zoals AWS Inferentia. De rekenbronnen hebben ook opslag, netwerken en datapijplijnen nodig.
Gebruikersinvoer en voorbewerking van gegevens
Gegevens moeten mogelijk worden voorbewerkt voordat ze aan een model worden aangeboden. Visuele modellen kunnen bijvoorbeeld normalisatie gebruiken, terwijl grote taalmodellen (LLM's) tokenisatie kunnen gebruiken. Gegevens kunnen ook worden opgeschoond om de kwaliteit te verbeteren.
Het inferentieproces
Het inferentieproces neemt schone gegevens en voert een forward pass uit: de voorbewerkte gegevens gaan door de lagen van het model om uitvoer te genereren. Dit omvat een reeks berekeningen.
Uitvoer genereren en nabewerken
Na de forward pass genereert een model uitvoer op basis van patronen die het uit trainingsgegevens heeft geleerd.
Tijdens de nabewerking kan uitvoer worden gescand, gefilterd en opgemaakt volgens vangrails en beleidsregels. Vangrails kunnen bijvoorbeeld helpen scheldwoorden of schadelijke inhoud te voorkomen, en de opmaak kan uitvoer aanpassen aan de tone of voice van een bedrijf.
Wat zijn de uitdagingen van inferentie voor AI-modellen?
Verschillende uitdagingen kunnen invloed hebben op het vermogen van een AI-model om inferenties te maken.
Modeldrift
Modeldrift treedt op wanneer een model na verloop van tijd minder effectief wordt doordat gegevens uit de echte wereld veranderen ten opzichte van de gegevens waarop het is getraind. Datadrift treedt op wanneer patronen in invoergegevens verschuiven. Als de gewichten van het model ongewijzigd blijven op basis van oudere trainingsgegevens, kunnen die verschuivingen de uitvoer onnauwkeurig maken.
Conceptdrift treedt op wanneer de relatie tussen invoer en uitvoer van een model verandert of complexer wordt. Een AI-model dat is getraind om phishingmails te herkennen, gebruikt bijvoorbeeld aangeleerde patronen om voorspellingen te doen. Als nieuwe technologieën veranderen hoe phishingpogingen worden uitgevoerd, kan de uitvoer van het model minder nauwkeurig worden. Mogelijk moet het model opnieuw worden getraind om rekening te houden met die veranderingen.
In beide gevallen kan een model dat eerst goed presteerde, minder nauwkeurige of onjuiste antwoorden gaan geven.
Snelheid en prestaties
Voor de implementatie van een AI-model op schaal is infrastructuur nodig die betrouwbaar uitvoer kan leveren. Organisaties hebben mogelijk grafische processors, lage latentie, hoge netwerksnelheden en extra krachtige verwerkingseenheden nodig voor complexe modellen.
Andere manieren om snelheid en prestaties te verbeteren zijn het verfijnen van de infrastructuurarchitectuur, het gebruik van gespecialiseerde hardware en het toepassen van optimalisatietechnieken voor inferentie, zoals kwantisatie, om de modelgrootte te verkleinen.
Een andere inferentieaanpak kiezen, zoals batchinferentie, kan de prestaties voor specifieke toepassingen verbeteren.
Kosten
Het uitvoeren van inferentieworkloads kan tot onverwachte kosten leiden. Op schaal of in veel verschillende contexten kunnen de benodigde rekenkracht en het volume aan inferentieverzoeken de uitgaven verhogen. Organisaties kunnen de kosten beheersen met strategieën zoals het verkleinen van modellen, het parallel uitvoeren van verwerking en het gebruiken van automatisch schaalbare cloudinfrastructuur voor online inferentie.
Best practices om de nauwkeurigheid en bruikbaarheid van AI te verbeteren
Het verbeteren van de nauwkeurigheid en bruikbaarheid van AI-inferentie hangt deels af van de trainings- en optimalisatieprocessen. Deze praktijken kunnen helpen.
Investeer in gegevenskwaliteit
De kwaliteit van trainingsdatasets heeft rechtstreeks invloed op het vermogen van een model om voorspellingen te doen over nieuwe gegevens en bruikbare uitvoer te genereren. Gegevens van hoge kwaliteit die goed zijn gelabeld, consistent zijn en vrij zijn van ruis, kunnen het vermogen van een model om patronen te herkennen verbeteren. Stel strenge processen in voor het voorbereiden van gegevens, waaronder opschonen, valideren, standaardiseren en inconsistenties oplossen.
Zet deskundig personeel in
Betrek waar mogelijk mensen met expertise in modeltraining en de architectuur van de technologiestack die u wilt gebruiken. Domeinexperts kunnen helpen gegevens te annoteren, waardoor die van hogere kwaliteit en vollediger worden. Een model trainen met gegevens van hoge kwaliteit kan de nauwkeurigheid van de uitvoer verbeteren.
Neem uitlegbaarheid op voor naleving
Inferentie-uitvoer moet uitlegbaar zijn. Uitlegbaarheidstechnieken kunnen laten zien welke invoerkenmerken een bepaalde uitvoer hebben beïnvloed. Verschillende typen ML-modellen gebruiken verschillende technieken. Shapley Additive exPlanations (SHAP) kan bijvoorbeeld op elk model worden toegepast en is het meest geschikt voor boomgebaseerde modellen, lineaire modellen en neurale netwerken. Uitlegbaarheid kan organisaties ook helpen zich te richten naar AI-compliancekaders, waaronder het recht op uitleg onder de AVG voor beslissingen die door AI worden genomen.
Hoe kan AWS AI-inferentie ondersteunen?
AWS beschrijft services en speciaal ontwikkelde infrastructuur voor verschillende fasen van de levenscyclus van machine learning en AI-modellen.
Amazon SageMaker AI biedt een machinelearningomgeving voor het bouwen, trainen, optimaliseren, testen en beheren van aangepaste modellen.
Amazon SageMaker AI is een volledig beheerde service met tools voor machine learning voor uiteenlopende toepassingen. De service ondersteunt het op schaal bouwen, trainen en implementeren van modellen met tools zoals notebooks, debuggers, profilers, pijplijnen en MLOps in een geïntegreerde ontwikkelomgeving (IDE).
SageMaker AI ondersteunt governancevereisten voor training en inferentie met toegangsbeheer en transparantie over ML-projecten. De service biedt ook tools voor het bouwen van foundation models (FM's), grote modellen die op uitgebreide datasets zijn getraind, en voor het finetunen, ermee experimenteren, opnieuw trainen en implementeren ervan.
AWS biedt cloudinfrastructuur voor AI-inferentie, waaronder gespecialiseerde GPU's op Amazon EC2 en machinelearningchips zoals AWS Inferentia.
Ga vandaag nog aan de slag met inferentie van ML-modellen op AWS door een gratis account aan te maken.
Pas deze gids toe met Ailoot
Verbind AI-modellen via één Ailoot API met je applicaties, agents en automatiseringen. Kies het model dat bij je taak past en volg de Ailoot-documentatie om aan de slag te gaan.