Blogg

Hva er inferens?

Markdown

Lær hva AI-inferens er, hvordan inferens i batch, på kanten, i sanntid og strømming fungerer, og hvordan team kan håndtere utfordringer knyttet til nøyaktighet, ytelse og kostnader.

Hva er inferens (AI)?

Inferens er prosessen der en kunstig intelligens-modell genererer prediksjoner eller utdata fra nye data. Etter trening har en AI-modell lært parametere og representasjoner. Når den mottar nye data, bruker den disse til å generere et resultat. Inferens skjer under kjøretiden eller distribusjonsfasen til en AI-applikasjon og muliggjør en rekke bruksområder i den virkelige verden.

Hvorfor er inferens viktig?

AI-inferens er prosessen med å generere utdata fra data modellen ikke har sett før. Etter å ha lært generaliserte mønstre fra treningsdatasett anvender en modell disse mønstrene på nye data.

For eksempel kan en AI-modell trenes på medisinske bildeskanninger som er annotert av medisinsk fagpersonell. Under trening lærer modellen visuelle kjennetegn og sammenhenger i dataene. Deretter kan den identifisere mulige svulster eller unormale funn i nye skanninger gjennom inferens. Medisinsk fagpersonell kan vurdere hvor nøyaktig prosessen er ved å trekke konklusjoner fra de samme skanningene.

Sammenlignet med tradisjonelle analysemetoder, der mennesker definerer regler og velger statistiske metoder, gjør modelltrening det mulig for en modell å oppdage komplekse mønstre som er vanskelige å kode manuelt. Disse mønstrene kommer til uttrykk gjennom modellens parametere. Inferens anvender dem på nye data.

Hvilke typer inferens finnes innen maskinlæring?

Det finnes flere typer maskinlæring (ML)-inferens.

Inferens i batch

Inferens i batch lager prediksjoner ved hjelp av grupper med flere datainndata. Den er nyttig i applikasjoner der tid ikke er kritisk, og der man kan vente på resultatene. En generativ AI-applikasjon for forretningsanalyse kan for eksempel behandle oppdateringer én gang i timen i stedet for i sanntid.

Inferens på kanten

Edge-AI-inferens kjører en modell på brukerens enhet eller nær datakilden. Siden dataene ikke trenger å sendes til et sentralt knutepunkt for behandling, kan edge-inferens redusere nettverksforsinkelsen. Den er nyttig på avsidesliggende steder med begrenset tilkobling eller på enheter der inferens er avgjørende. Behandlingshastigheten avhenger av enheten og modellens forsinkelse.

Inferens i sanntid

Inferens i sanntid genererer utdata umiddelbart som svar på inndataforespørsler. Modeller mottar data fra brukerinndata eller tilkoblede datakilder, noe som utløser behovet for et umiddelbart resultat. Inferens i sanntid er avhengig av AI-systemer med lav forsinkelse og brukes ofte i tidskritiske systemer. Selvkjørende kjøretøy bruker den for eksempel til å støtte beslutninger i tide.

Strømmeinferens

Strømmeinferens bruker en datapipeline som kontinuerlig leverer informasjon til en modell, som genererer utdata i sanntid. Som inferens i sanntid reagerer den på innkommende data, men produserer kontinuerlig utdata basert på inndatastrømmen. Inferens i sanntid reagerer på brukerinndata eller direkte forespørsler, mens strømmeinferens behandler en kontinuerlig strøm av nye data.

Hvordan fungerer inferens?

Flere teknologier og datasystemer samarbeider om å levere infrastrukturen for AI-inferens.

Infrastruktur for maskinlæringsmodeller

AI-inferens er mulig etter at en modell er trent. Før distribusjon kan en modell gjennomgå trening, finjustering, validering og inferensoptimalisering.

En trent modell i produksjon kan kreve betydelig datakraft fra grafikkprosessorer (GPU-er), sentralprosessorer (CPU-er) og spesialiserte AI-akseleratorer som AWS Inferentia. Datakraftressurser trenger også lagring, nettverk og datapipelines.

Brukerinndata og forbehandling av data

Data kan trenge forbehandling før de mates inn i en modell. Visjonsmodeller kan for eksempel bruke normalisering, mens store språkmodeller (LLM-er) kan bruke tokenisering. Data kan også renses for å forbedre kvaliteten.

Inferensprosessen

Inferensprosessen tar rene data og utfører en foroverpassering, der de forhåndsbehandlede dataene føres gjennom modellens lag for å generere et resultat. Dette omfatter en rekke beregninger.

Generering og etterbehandling av utdata

Etter foroverpasseringen genererer en modell et resultat basert på mønstre den har lært fra treningsdata.

Etterbehandling kan skanne, filtrere og formatere utdata i henhold til sikkerhetsmekanismer og retningslinjer. Sikkerhetsmekanismer kan for eksempel bidra til å forhindre banneord eller skadelig innhold, og formatering kan tilpasse et resultat til bedriftens tone.

Hvilke utfordringer møter AI-modeller ved inferens?

Flere utfordringer kan påvirke en AI-modells evne til å trekke slutninger.

Modellforskyvning

Modellforskyvning oppstår når en modell blir mindre effektiv over tid fordi data fra den virkelige verden endrer seg sammenlignet med dataene den ble trent på. Dataforskyvning oppstår når mønstre i inndataene endrer seg. Hvis modellens vekter forblir faste basert på tidligere treningsdata, kan slike endringer gjøre utdataene unøyaktige.

Konseptforskyvning oppstår når forholdet mellom modellens inndata og utdata endrer seg eller blir mer komplekst. En AI-modell som er trent til å identifisere phishing-e-poster, bruker for eksempel lærte mønstre til å lage prediksjoner. Hvis ny teknologi endrer hvordan phishing-forsøk utføres, kan modellens utdata bli mindre nøyaktige. Det kan bli nødvendig å trene modellen på nytt for å ta hensyn til disse endringene.

I begge tilfeller kan en modell som tidligere fungerte godt, begynne å produsere mindre nøyaktige eller feilaktige svar.

Hastighet og ytelse

Distribusjon av en AI-modell i stor skala krever infrastruktur som kan levere utdata pålitelig. Organisasjoner kan trenge grafikkprosessorer, lav forsinkelse, høy nettverkshastighet og ekstra høyytelsesprosessorer for komplekse modeller.

Andre måter å forbedre hastighet og ytelse på omfatter å forbedre infrastruktursarkitekturen, bruke spesialisert maskinvare og ta i bruk inferensoptimaliseringsteknikker som kvantisering for å redusere modellstørrelsen.

Valg av en annen inferenstilnærming, for eksempel inferens i batch, kan forbedre ytelsen for bestemte bruksområder.

Kostnader

Kjøring av inferensarbeidsbelastninger kan føre til uventede kostnader. I stor skala eller på tvers av mange ulike sammenhenger kan datakraften og volumet av inferensforespørsler øke utgiftene. Organisasjoner kan håndtere kostnadene med strategier som å redusere modellstørrelsen, parallellisere behandlingen og bruke automatisk skalering av skyinfrastruktur for inferens på nett.

Beste praksis for å forbedre AI-nøyaktighet og nytte

Forbedring av nøyaktigheten og nytten til AI-inferens avhenger delvis av trenings- og optimaliseringsprosessene. Disse fremgangsmåtene kan være til hjelp.

Invester i datakvalitet

Kvaliteten på treningsdatasett påvirker direkte en modells evne til å lage prediksjoner om nye data og produsere nyttige utdata. Data av høy kvalitet som er godt merket, konsistente og uten støy, kan forbedre modellens evne til å identifisere mønstre. Etabler grundige prosesser for klargjøring av data, blant annet rensing, validering, standardisering og løsning av inkonsekvenser.

Bruk kvalifisert personell

Involver om mulig personer med ekspertise innen modelltrening og arkitekturen til teknologistakken du planlegger å bruke. Fageksperter kan bidra med å annotere data slik at de blir av høyere kvalitet og mer omfattende. Trening av en modell på data av høy kvalitet kan forbedre nøyaktigheten til utdataene.

Inkluder forklarbarhet for etterlevelse

Inferensresultater bør være forklarbare. Teknikker for forklarbarhet kan bidra til å vise hvilke inndatafunksjoner som påvirket et bestemt resultat. Ulike typer ML-modeller bruker ulike teknikker. Shapley Additive exPlanations (SHAP) kan for eksempel brukes på alle modeller og egner seg best for trebaserte modeller, lineære modeller og nevrale nettverk. Forklarbarhet kan også hjelpe organisasjoner med å følge rammeverk for AI-etterlevelse, blant annet GDPRs rett til forklaring av beslutninger tatt av AI.

Hvordan kan AWS støtte AI-inferens?

AWS beskriver tjenester og spesialbygd infrastruktur for ulike stadier i livssyklusen til maskinlæring og AI-modeller.

Amazon SageMaker AI tilbyr et maskinlæringsmiljø for å bygge, trene, optimalisere, teste og styre tilpassede modeller.

Amazon SageMaker AI er en fullstendig administrert tjeneste med verktøy for maskinlæring på tvers av en rekke bruksområder. Den støtter bygging, trening og distribusjon av modeller i stor skala med verktøy som notatbøker, feilsøkere, profileringsverktøy, pipelines og MLOps i et integrert utviklingsmiljø (IDE).

SageMaker AI støtter styringskrav for trening og inferens med tilgangskontroller og innsyn i ML-prosjekter. Tjenesten tilbyr også verktøy for å bygge grunnmodeller (FM-er), som er store modeller trent på omfattende datasett, og for å finjustere, eksperimentere med, trene på nytt og distribuere dem.

AWS tilbyr skyinfrastruktur for AI-inferens, inkludert spesialiserte GPU-er på Amazon EC2 og maskinlæringsbrikker som AWS Inferentia.

Kom i gang med ML-modellinferens på AWS ved å opprette en gratis konto i dag.

Ta denne veiledningen i bruk med Ailoot

Koble AI-modeller til appene, agentene og automatiseringene dine gjennom ett Ailoot API. Velg modellen som passer til oppgaven, og følg Ailoot-dokumentasjonen for å komme i gang.