# Hvad er inferens?

> Læs om, hvad AI-inferens er, hvordan inferens i batches, ved kanten, i realtid og i streaming fungerer, og hvordan teams kan håndtere udfordringer med nøjagtighed, ydeevne og omkostninger.

Source: https://ailoot.ai/blog/da/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/da/what-is-ai-inferencing/
Language: da
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-f5c0a7aa2f281eddec0ac2bd7ade5befcdd99f58fa0c70b5bf19ca710c11104f


## Hvad er inferens (AI)?

Inferens er den proces, hvor en kunstig intelligens-model genererer forudsigelser eller output fra nye data. Efter træningen har en AI-model lært parametre og repræsentationer. Når den modtager nye data, bruger den dem til at generere et output. Inferens finder sted under en AI-applikations drift- eller implementeringsfase og muliggør en række anvendelser i den virkelige verden.

## Hvorfor er inferens vigtig?

AI-inferens er processen med at generere output fra data, som modellen ikke har set før. Når en model har lært generaliserede mønstre fra træningsdatasæt, anvender den disse mønstre på nye data.

En AI-model kan for eksempel trænes på medicinske billedscanninger, der er annoteret af sundhedspersonale. Under træningen lærer modellen visuelle tegn og sammenhænge i dataene. Derefter kan den identificere mulige tumorer eller afvigelser i nye scanninger ved hjælp af inferens. Sundhedspersonale kan vurdere processens nøjagtighed ved at drage konklusioner ud fra de samme scanninger.

Sammenlignet med traditionelle [analyseteknikker](https://aws.amazon.com/what-is/data-analytics/), hvor mennesker definerer regler og vælger statistiske teknikker, gør modeltræning det muligt for en model at finde komplekse mønstre, som er svære at indkode manuelt. Disse mønstre opstår ud fra modellens parametre. Inferens anvender dem på nye data.

## Hvilke typer inferens inden for maskinlæring findes der?

Der findes flere typer inferens inden for [maskinlæring](https://aws.amazon.com/what-is/machine-learning/) (ML).

### **Batchinferens**

Batchinferens foretager forudsigelser ved hjælp af grupper med flere datainput. Den er nyttig i applikationer, hvor tiden ikke er kritisk, og hvor man kan vente på resultater. En generativ AI-applikation til forretningsanalyse kan for eksempel behandle opdateringer én gang i timen i stedet for i realtid.

### **Edge-inferens**

Edge-inferens med [edge-AI](https://aws.amazon.com/what-is/edge-computing/) kører en model på en brugers enhed eller tæt på datakilden. Da data ikke behøver at blive sendt til en central hub til behandling, kan edge-inferens reducere netværksforsinkelsen. Den er nyttig på afsidesliggende steder med begrænset forbindelse eller på enheder, hvor inferens er afgørende. Behandlingshastigheden afhænger af enheden og modellens forsinkelse.

### **Inferens i realtid**

Inferens i realtid genererer output med det samme som svar på inputforespørgsler. Modeller modtager data fra brugerinput eller tilsluttede datakilder, hvilket udløser behovet for et øjeblikkeligt output. Inferens i realtid bygger på AI-systemer med lav forsinkelse og bruges ofte i tidskritiske systemer. Selvstyrende køretøjer bruger den for eksempel til at understøtte rettidige beslutninger.

### **Streaminginferens**

Streaminginferens bruger en datapipeline, der kontinuerligt leverer information til en model, som genererer output i realtid. Ligesom inferens i realtid reagerer den på indgående data, men den producerer løbende output baseret på [inputstrømmen](https://aws.amazon.com/what-is/streaming-data/). Inferens i realtid reagerer på brugerinput eller liveforespørgsler, mens streaminginferens behandler en kontinuerlig strøm af nye data.

## Hvordan fungerer inferens?

Flere teknologier og datasystemer arbejder sammen om at levere infrastrukturen til AI-inferens.

### **Infrastruktur til maskinlæringsmodeller**

AI-inferens er mulig, når en model er blevet trænet. Før implementering kan en model gennemgå træning, finjustering, validering og inferensoptimering.

En trænet model i produktion kan kræve betydelig computerkraft fra grafikprocessorer (GPU'er), centralprocessorer (CPU'er) og specialiserede AI-acceleratorer som [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/). Computerressourcer har også brug for lagerplads, netværk og datapipelines.

### **Brugerinput og forbehandling af data**

Data skal muligvis forbehandles, før de føres ind i en model. Synsmodeller kan for eksempel bruge normalisering, mens [store sprogmodeller](https://aws.amazon.com/what-is/large-language-model/) (LLM'er) kan bruge tokenisering. Data kan også renses for at forbedre kvaliteten.

### **Inferensprocessen**

Inferensprocessen tager rene data og udfører et fremadgående gennemløb, hvor de forbehandlede data føres gennem modellens lag for at generere et output. Det indebærer en række beregninger.

### **Generering af output og efterbehandling**

Efter det fremadgående gennemløb genererer en model et output baseret på mønstre, den har lært fra træningsdata.

Efterbehandling kan scanne, filtrere og formatere output i forhold til sikkerhedsforanstaltninger og politikker. Sikkerhedsforanstaltninger kan for eksempel hjælpe med at forhindre bandeord eller skadeligt indhold, og formatering kan tilpasse et output til en virksomheds tone.

## Hvilke udfordringer er der ved inferens for AI-modeller?

Flere udfordringer kan påvirke en AI-models evne til at foretage inferenser.

### **Modeldrift**

Modeldrift opstår, når en model bliver mindre effektiv med tiden, fordi data fra den virkelige verden ændrer sig i forhold til de data, den blev trænet på. Datadrift opstår, når mønstre i inputdata forskydes. Hvis modellens vægte forbliver faste ud fra tidligere træningsdata, kan disse forskydninger gøre dens output unøjagtigt.

Begrebsdrift opstår, når forholdet mellem modellens input og output ændrer sig eller bliver mere komplekst. En AI-model, der er trænet til at identificere phishingmails, bruger for eksempel indlærte mønstre til at lave forudsigelser. Hvis nye teknologier ændrer, hvordan phishingforsøg udføres, kan modellens output blive mindre nøjagtigt. Det kan være nødvendigt at træne modellen igen for at tage højde for disse ændringer.

I begge tilfælde kan en model, der tidligere fungerede godt, begynde at producere mindre nøjagtige eller forkerte svar.

### **Hastighed og ydeevne**

Implementering af en AI-model i stor skala kræver infrastruktur, der kan levere output pålideligt. Organisationer kan have brug for grafikprocessorer, lav forsinkelse, høje netværkshastigheder og yderligere højtydende processorenheder til komplekse modeller.

Andre måder at forbedre hastighed og ydeevne på omfatter optimering af infrastrukturarkitekturen, brug af specialiseret hardware og anvendelse af inferensoptimeringsteknikker som kvantisering for at reducere modellens størrelse.

Valg af en anden inferensmetode, såsom batchinferens, kan forbedre ydeevnen for specifikke anvendelser.

### **Omkostninger**

Kørsel af inferensarbejdsbelastninger kan føre til uventede omkostninger. I stor skala eller på tværs af mange forskellige sammenhænge kan computerkraften og mængden af inferensforespørgsler øge udgifterne. Organisationer kan styre omkostningerne med strategier som at reducere modellens størrelse, parallelisere behandlingen og bruge cloudinfrastruktur med automatisk skalering til onlineinferens.

## Bedste praksis til at forbedre AI's nøjagtighed og anvendelighed

Forbedring af AI-inferensens nøjagtighed og anvendelighed afhænger til dels af trænings- og optimeringsprocesserne. Disse metoder kan hjælpe.

### **Invester i datakvalitet**

Træningsdatasættenes kvalitet påvirker direkte en models evne til at forudsige nye data og producere nyttigt output. Data af høj kvalitet, som er godt mærket, ensartet og fri for støj, kan forbedre modellens evne til at identificere mønstre. Etabler grundige processer til klargøring af data, herunder rensning, validering, standardisering og håndtering af uoverensstemmelser.

### **Brug kvalificeret personale**

Inddrag om muligt personer med ekspertise i modeltræning og i arkitekturen for den teknologistak, du planlægger at bruge. Fageksperter kan hjælpe med at annotere data, så de bliver af højere kvalitet og mere omfattende. Træning af en model på data af høj kvalitet kan forbedre nøjagtigheden af dens output.

### **Medtag forklarlighed af hensyn til compliance**

Inferensoutput bør kunne forklares. Forklarlighedsteknikker kan hjælpe med at vise, hvilke inputfunktioner der påvirkede et bestemt output. Forskellige typer ML-modeller bruger forskellige teknikker. Shapley Additive exPlanations (SHAP) kan for eksempel anvendes på enhver model og egner sig bedst til træbaserede modeller, lineære modeller og neurale netværk. Forklarlighed kan også hjælpe organisationer med at tilpasse sig rammer for AI-compliance, herunder GDPR's ret til forklaring af beslutninger truffet af AI.

## Hvordan kan AWS understøtte AI-inferens?

AWS beskriver tjenester og specialbygget infrastruktur til forskellige faser i livscyklussen for [maskinlæring](https://aws.amazon.com/ai/machine-learning/) og AI-modeller.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) tilbyder et maskinlæringsmiljø til at bygge, træne, optimere, teste og styre tilpassede modeller.

Amazon SageMaker AI er en fuldt administreret tjeneste med værktøjer til maskinlæring på tværs af en række anvendelser. Den understøtter bygning, træning og implementering af modeller i stor skala med værktøjer som notesbøger, debuggere, profilere, pipelines og MLOps i et integreret udviklingsmiljø (IDE).

SageMaker AI understøtter styringskrav under træning og inferens med adgangskontroller og gennemsigtighed i ML-projekter. Tjenesten tilbyder også værktøjer til at bygge foundation-modeller (FM'er), som er store modeller trænet på omfattende datasæt, samt til at finjustere, eksperimentere med, genoptræne og implementere dem.

AWS tilbyder cloudinfrastruktur til AI-inferens, herunder specialiserede GPU'er på [Amazon EC2](https://aws.amazon.com/ec2/) og maskinlæringschips som [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/).

Kom i gang med inferens af ML-modeller på AWS ved at [oprette en gratis konto](https://aws.amazon.com/free/) i dag.

## Brug denne guide med Ailoot

Forbind AI-modeller med dine applikationer, agenter og automatiseringer via ét Ailoot-API. Vælg den model, der passer til din opgave, og følg [Ailoot-dokumentationen](https://ailoot.ai/docs/) for at komme i gang.

## Ailoot · Virksomheden og dens projektportefølje

Ailoot bygger på solid driftserfaring, en stor kundebase, stabil service og løbende kontrol af KPI.

Virksomheden og dens projektportefølje: millioner af kunder; månedligt salg for milliarder.

Ailoot bruger denne driftserfaring til API-adgang til AI-funktioner i kundernes produkter, agenter, applikationer og automatiseringer.
