Spørg en teknologiekspert: Hvad er inferens?
MarkdownGoogle-eksperter forklarer AI-inferens i et fuldt interview om mønstermatching, modeltyper, forudsigelse, klassificering, evaluering, privatliv, AI Overviews, agentiske systemer og effektivitet.
Inferens er en vigtig del af det, der gør AI mere kapabel. I dette Google Techspert-interview forklarer to Google-eksperter, hvad inferens er, og hvordan den hjælper AI-systemer med at skabe nyttige resultater.
I april præsenterede Google Ironwood, sin syvende generation af Tensor Processing Unit (TPU), der er designet til at drive generativ AI-inferens. TPU'er er chips, der driver AI-systemer, og de er ikke nye for Google, men denne generation er designet til at hjælpe AI-systemer med at gå fra at være reaktive til at blive proaktive. Inferens er den proces, der gør det muligt for AI-systemer at bruge modeller til at skabe vidensbaserede resultater.
Jeg ved, hvad ordet inferens betyder – at man på baggrund af de oplysninger, man får, kan drage en eller anden form for konklusion. Betyder det på nogen måde det samme, når vi taler om AI?
Google-ekspert: På en måde, ja. Det er en forenkling, men jeg tror, det er lettest at forstå inferens som mønstermatching. I bredeste forstand spørger vi, når vi taler om generativ AI og inferens: Kan AI-modeller matche mønstre for at forudsige, hvad du ønsker? Hvis jeg for eksempel sagde »peanut butter and ____« og bad et amerikansk publikum om at udfylde det tomme felt, ville de sandsynligvis sige »jelly«. Det er et godt eksempel på inferens for talemønstre, og det er noget, AI-inferens kan gøre, men det rækker langt ud over det.
Google-ekspert: Inferens er generelt den måde, vi bruger modellen på til at gøre noget nyttigt. Først skal vi træne modellen: En AI-model indeholder modelparametrene, modelarkitekturen og konfigurationen, som er den kode, den skal bruge til at udføre opgaver – og disse ting kombineres for at skabe funktionaliteten. Inferens er altså det, der gør det muligt rent faktisk at tage alt dette og bruge det.
Hvilke typer AI-modeller bruger inferens?
Google-ekspert: AI med dyb læring, såsom sprogmodeller, billedgenereringsmodeller og lydmodeller, bruger alle inferens, fordi de forudsiger, hvad der vil »ske«, ud fra det, de har lært af tidligere datamønstre.
Google-ekspert: Anbefalingsmodeller bruger også inferens.
Hvad er et eksempel på en anbefalingsmodel?
Google-ekspert: De fleste annoncemodeller er anbefalingsmodeller, og det samme gælder modellen, der anbefaler YouTube-videoer til dig. Det er »traditionel« AI (som nogle gange kaldes »klassisk« AI) – ikke generativ AI såsom LLM'er og modeller til billed- eller videogenerering – og den har brugt inferens i lang tid.
Så inferens er ikke nyt inden for AI, den er bare blevet bedre, efterhånden som AI er blevet mere kapabel?
Google-ekspert: Ja. Og inferens gør ikke kun AI-modeller i stand til at forudsige. Den gør dem også i stand til at klassificere. Modellen kan mærke ting ud fra det, den har lært. Her er et berømt eksempel: For mange år siden gav Google en AI-model et billede og spurgte, om den kunne identificere en kat på billedet. Ved hjælp af data – og inferens – kunne den lære sig selv, hvad en kat er, hvordan den ser ud, og identificere katten korrekt.
Det kan jeg huske!
Google-ekspert: Det var et eksempel på en model, der brugte inferens.
Google-ekspert: Mere for nylig, kan du huske, at folk for et par år siden talte om AI-skabte billeder, der nærmest ignorerede fysikkens love? Folks hænder blev for eksempel ofte ikke afbildet korrekt. Nutidens modeller klarer det meget bedre. De er blandt andet blevet bedre til fysik og tekstur. Det samme gælder tekstoversættelse. For eksempel var sprogoversættelse tidligere statistisk. Den kunne bruges, men var ikke helt præcis, og den var bestemt ikke samtalepræget. Men statistisk oversættelse førte os frem til generativ AI-oversættelse, som mange i dag føler sig trygge ved at bruge, selv i deres produkter, der henvender sig direkte til kunder. Vi bruger stadig processen, der kaldes inferens, men den underliggende AI og vores beregningskapacitet er blevet dramatisk forbedret.
Kan man måle, hvor godt inferens fungerer?
Google-ekspert: Det kan vi, når vi måler, hvor godt en model klarer bestemte opgaver. Vi bruger også inferens til at evaluere og træne modeller for at gøre dem bedre. Mens vi træner modellen, kører vi altså løbende inferens for samtidig at forsøge at forbedre modellens kvalitet.
Og på grund af den slags træningsopsætninger ser man vel, at inferens bliver bedre og bedre målt på branchens benchmarks?
Google-ekspert: Ja. Men der er også spørgsmålet om menneskers opfattelse – hvor meget har vi alle sammen lagt mærke til, at de her ting bliver bedre? Generelt en hel del. Noget andet, vi går meget op i hos Google, når vi arbejder med inferens, er privatliv: Vi er omhyggelige med, hvad vi har brug for at gemme, for at disse oplevelser kan fungere.
Hvad er nogle eksempler på Google AI, hvor vi kan se forbedret inferens?
Google-ekspert: En af Googles bedste anvendelser af inferens er AI Overviews. Du skriver en forespørgsel i Search, og et meget komplekst system sender den videre til en række modeller for at forsøge at hente resultater. Systemet bruger inferens til at forstå din forespørgsel og vide, hvilket svar du ønsker, og til sidst opsummerer det, hvad det finder ud af, til noget meget nyttigt. Inferens er også afgørende for meget af det agentiske arbejde, Google udfører. Med agenter kan du ud over at bede en AI-model om at levere oplysninger på grundlag af sin inferens få den til at gøre ting for dig. Det er på en måde en udvidelse af den måde, vi tidligere forstod inferens på.
Så inferens bliver bedre til at bruge data eller viden til at give svar og endda handle. Hvordan ændrer den sig ellers?
Google-ekspert: En ting, der er meget vigtig, er omkostningerne. Vi forsøger at gøre inferens så overkommelig som muligt. Lad os sige, at vi forsøger at gøre en mindre og mere overkommelig version af Gemini tilgængelig for folk. Så ville vi arbejde med modellens inferens for at finde måder at ændre beregningsparadigmet eller den kode, modellen består af, uden at ændre semantikken – altså den primære opgave, den er beregnet til at udføre – for at reducere omkostningerne. Grundlæggende handler det om at lave en mindre og mere effektiv version af modellen, så flere kan få adgang til dens muligheder.
Hvordan får vi omkostningerne ned?
Google-ekspert: En måde er at optimere hardwaren. Derfor lancerer Google Ironwood i år. Den er optimeret til inferens på grund af sit inferensfokuserede design: mere regnekraft og hukommelse samt optimering til bestemte numeriske typer. På softwaresiden forbedrer Google sine compilere og frameworks. Med tiden er målet, at AI-inferens bliver mere effektiv: bedre kvalitet med et mindre ressourceaftryk, så det koster mindre at levere hjælp.
Udforsk Ailoots API-dokumentation på ailoot.ai/docs.