Blogg

Vad är inferens?

Markdown

Lär dig vad AI-inferens är, hur inferens i batch, vid kanten, i realtid och i strömning fungerar och hur team kan hantera utmaningar kring noggrannhet, prestanda och kostnader.

Vad är inferens (AI)?

Inferens är processen där en modell för artificiell intelligens genererar förutsägelser eller resultat från nya data. Efter träningen har en AI-modell lärt sig parametrar och representationer. När den tar emot nya data använder den dem för att generera ett resultat. Inferens sker under en AI-applikations körnings- eller driftsättningsfas och möjliggör en rad verkliga användningsområden.

Varför är inferens viktigt?

AI-inferens är processen att generera resultat från data som modellen inte har sett tidigare. När modellen har lärt sig generaliserade mönster från träningsdata tillämpar den dessa mönster på nya data.

En AI-modell kan till exempel tränas på medicinska bildskanningar som har annoterats av medicinsk personal. Under träningen lär sig modellen visuella ledtrådar och samband i data. Därefter kan den identifiera möjliga tumörer eller avvikelser i nya skanningar genom inferens. Medicinsk personal kan bedöma processens noggrannhet genom att dra slutsatser från samma skanningar.

Jämfört med traditionella tekniker för dataanalys, där människor definierar regler och väljer statistiska metoder, gör modellträning det möjligt för en modell att upptäcka komplexa mönster som är svåra att koda för hand. Dessa mönster framträder ur modellens parametrar. Inferens tillämpar dem på nya data.

Vilka typer av inferens inom maskininlärning finns det?

Det finns flera typer av inferens inom maskininlärning (ML).

Inferens i batch

Inferens i batch gör förutsägelser med grupper av flera datainmatningar. Den är användbar i applikationer där tiden inte är kritisk och där man kan vänta på resultat. En generativ AI-applikation för affärsanalys kan till exempel behandla uppdateringar en gång i timmen i stället för i realtid.

Inferens vid kanten

Inferens med AI vid kanten kör en modell på en användares enhet eller nära datakällan. Eftersom data inte behöver skickas till en central hubb för behandling kan inferens vid kanten minska nätverksfördröjningen. Den är användbar på avlägsna platser med begränsad anslutning eller på enheter där inferens är avgörande. Bearbetningshastigheten beror på enheten och modellens fördröjning.

Inferens i realtid

Inferens i realtid genererar resultat omedelbart som svar på indataförfrågningar. Modeller tar emot data från användarinmatning eller anslutna datakällor, vilket skapar behov av ett omedelbart resultat. Inferens i realtid bygger på AI-system med låg fördröjning och används ofta i tidskritiska system. Autonoma fordon använder den till exempel för att fatta beslut i rätt tid.

Inferens i strömning

Inferens i strömning använder en datapipeline som kontinuerligt levererar information till en modell, som genererar resultat i realtid. Precis som inferens i realtid reagerar den på inkommande data, men producerar kontinuerligt resultat baserat på indataströmmen. Inferens i realtid reagerar på användarinmatning eller förfrågningar i realtid, medan inferens i strömning bearbetar ett kontinuerligt flöde av nya data.

Hur fungerar inferens?

Flera tekniker och datasystem samverkar för att tillhandahålla infrastrukturen för AI-inferens.

Infrastruktur för maskininlärningsmodeller

AI-inferens blir möjlig när en modell har tränats. Före driftsättning kan en modell genomgå träning, finjustering, validering och inferensoptimering.

En tränad modell i produktion kan kräva betydande beräkningskraft från grafikprocessorer (GPU:er), centralprocessorer (CPU:er) och specialiserade AI-acceleratorer som AWS Inferentia. Beräkningsresurser behöver också lagring, nätverk och datapipelines.

Användarinmatning och förbehandling av data

Data kan behöva förbehandlas innan de matas in i en modell. Synmodeller kan till exempel använda normalisering, medan stora språkmodeller (LLM:er) kan använda tokenisering. Data kan också rensas för att förbättra kvaliteten.

Inferensprocessen

Inferensprocessen tar rena data och utför en framåtpassering genom att flytta de förbehandlade data genom modellens lager för att generera ett resultat. Det innebär en serie beräkningar.

Resultatgenerering och efterbehandling

Efter framåtpasseringen genererar en modell ett resultat baserat på mönster som den har lärt sig från träningsdata.

Efterbehandling kan skanna, filtrera och formatera resultat enligt skyddsräcken och policyer. Skyddsräcken kan till exempel bidra till att förhindra svordomar eller skadligt innehåll, och formatering kan anpassa ett resultat till ett företags tonläge.

Vilka utmaningar finns det med inferens för AI-modeller?

Flera utmaningar kan påverka en AI-modells förmåga att göra inferenser.

Modellförskjutning

Modellförskjutning uppstår när en modell blir mindre effektiv med tiden i takt med att verkliga data förändras jämfört med de data som den tränades på. Dataförskjutning inträffar när mönster i indata förändras. Om modellens vikter förblir fasta utifrån tidigare träningsdata kan dessa förändringar göra resultaten felaktiga.

Konceptförskjutning inträffar när sambandet mellan modellens indata och resultat förändras eller blir mer komplext. En AI-modell som tränats för att identifiera nätfiskemejl använder till exempel inlärda mönster för att göra förutsägelser. Om ny teknik förändrar hur nätfiskeförsök genomförs kan modellens resultat bli mindre träffsäkra. Modellen kan behöva tränas om för att ta hänsyn till dessa förändringar.

I båda fallen kan en modell som tidigare fungerade bra börja ge mindre träffsäkra eller felaktiga svar.

Hastighet och prestanda

Att driftsätta en AI-modell i stor skala kräver en infrastruktur som kan leverera resultat tillförlitligt. Organisationer kan behöva grafikprocessorer, låg fördröjning, höga nätverkshastigheter och ytterligare högpresterande processorenheter för komplexa modeller.

Andra sätt att förbättra hastighet och prestanda är att förfina infrastrukturarkitekturen, använda specialiserad hårdvara och tillämpa inferensoptimeringstekniker som kvantisering för att minska modellstorleken.

Att välja en annan inferensmetod, till exempel inferens i batch, kan förbättra prestandan för specifika användningsområden.

Kostnad

Körning av inferensarbetsbelastningar kan leda till oväntade kostnader. I stor skala eller i många olika sammanhang kan beräkningskraften och volymen av inferensförfrågningar öka utgifterna. Organisationer kan hantera kostnader med strategier som att minska modellstorleken, parallellisera bearbetningen och använda molninfrastruktur med automatisk skalning för inferens online.

Bästa praxis för att förbättra AI:s noggrannhet och användbarhet

Att förbättra AI-inferensens noggrannhet och användbarhet beror delvis på tränings- och optimeringsprocesserna. Dessa metoder kan hjälpa.

Satsa på datakvalitet

Träningsdatauppsättningarnas kvalitet påverkar direkt en modells förmåga att göra förutsägelser om nya data och producera användbara resultat. Högkvalitativa data som är väl märkta, konsekventa och fria från brus kan förbättra modellens förmåga att identifiera mönster. Upprätta rigorösa processer för att förbereda data, inklusive rensning, validering, standardisering och hantering av inkonsekvenser.

Använd kompetent personal

Involvera om möjligt personer med erfarenhet av modellträning och av arkitekturen för den tekniska stack du planerar att använda. Domänexperter kan hjälpa till att annotera data så att de blir av högre kvalitet och mer heltäckande. Att träna en modell på högkvalitativa data kan förbättra resultatens noggrannhet.

Inkludera förklarbarhet för regelefterlevnad

Inferensresultat bör vara förklarbara. Förklarbarhetstekniker kan hjälpa till att visa vilka indatafunktioner som påverkade ett visst resultat. Olika typer av ML-modeller använder olika tekniker. Shapley Additive exPlanations (SHAP) kan till exempel användas på alla modeller och lämpar sig bäst för trädbaserade modeller, linjära modeller och neurala nätverk. Förklarbarhet kan också hjälpa organisationer att anpassa sig till ramverk för AI-efterlevnad, däribland GDPR:s rätt till förklaring av beslut som fattats av AI.

Hur kan AWS stödja AI-inferens?

AWS beskriver tjänster och specialbyggd infrastruktur för olika skeden i livscykeln för maskininlärning och AI-modeller.

Amazon SageMaker AI tillhandahåller en miljö för maskininlärning där man kan bygga, träna, optimera, testa och styra anpassade modeller.

Amazon SageMaker AI är en helt hanterad tjänst med verktyg för maskininlärning inom en rad användningsområden. Den stöder byggande, träning och driftsättning av modeller i stor skala med verktyg som anteckningsböcker, felsökare, profilerare, pipelines och MLOps i en integrerad utvecklingsmiljö (IDE).

SageMaker AI stöder styrningskrav under träning och inferens med åtkomstkontroller och insyn i ML-projekt. Tjänsten tillhandahåller också verktyg för att bygga grundmodeller (FM:er), det vill säga stora modeller som tränats på omfattande datauppsättningar, samt för att finjustera, experimentera med, träna om och driftsätta dem.

AWS erbjuder molninfrastruktur för AI-inferens, inklusive specialiserade GPU:er på Amazon EC2 och maskininlärningschip som AWS Inferentia.

Kom igång med inferens av ML-modeller på AWS genom att skapa ett kostnadsfritt konto redan i dag.

Använd den här guiden med Ailoot

Anslut AI-modeller till dina appar, agenter och automatiseringar via ett enda Ailoot-API. Välj den modell som passar din uppgift och följ Ailoot-dokumentationen för att komma igång.