Spør en teknologiekspert: Hva er inferens?
MarkdownGoogle-eksperter forklarer KI-inferens i et grundig intervju om mønstergjenkjenning, modelltyper, prediksjon, klassifisering, evaluering, personvern, AI Overviews, agentiske systemer og effektivitet.
Inferens er en viktig del av det som gjør KI stadig mer kapabel. I dette intervjuet med en Google Techspert forklarer to Google-eksperter hva inferens er, og hvordan det hjelper KI-systemer med å lage nyttige resultater.
I april introduserte Google Ironwood, sin sjuende generasjon Tensor Processing Unit (TPU), utviklet for å drive generativ KI-inferens. TPU-er er brikker som driver KI-systemer, og de er ikke nye for Google, men denne generasjonen er utviklet for å hjelpe KI-systemer med å gå fra å bare reagere til å bli proaktive. Inferens er prosessen som gjør det mulig for KI-systemer å bruke modeller til å lage kunnskapsbaserte resultater.
Jeg vet hva ordet inferens betyr — at man, basert på informasjonen man får, kan komme fram til en eller annen konklusjon. Betyr det på noen måte det samme når vi snakker om KI?
Google-ekspert: Ja, på en måte. Det er en forenkling, men jeg tror det er enklest å forstå inferens som mønstergjenkjenning. I videste forstand, når vi snakker om generativ KI og inferens, spør vi: Kan KI-modeller gjenkjenne mønstre for å forutsi hva du ønsker? Hvis jeg for eksempel sa «peanøttsmør og ____» og ba et amerikansk publikum fylle inn det som mangler, ville de sannsynligvis sagt «syltetøy». Det er et godt eksempel på inferens for talemønstre, og det er noe KI-inferens kan gjøre, men bruksområdet er mye bredere.
Google-ekspert: Inferens er generelt måten vi faktisk bruker modellen på for å gjøre noe nyttig. Først må vi trene modellen: En KI-modell inneholder modellparametere, modellarkitektur og konfigurasjon, altså koden den trenger for å utføre oppgaver — og disse tingene virker sammen for å utføre funksjonen. Inferens er det som gjør at vi faktisk kan ta alt dette i bruk.
Hvilke typer KI-modeller bruker inferens?
Google-ekspert: Dyp læring innen KI, som språkmodeller, bildegenereringsmodeller og lydmodeller, bruker alle inferens fordi de lager forutsigelser om hva som kommer til å «skje», basert på det de har lært fra mønstre i tidligere data.
Google-ekspert: Anbefalingsmodeller bruker også inferens.
Hva er et eksempel på en anbefalingsmodell?
Google-ekspert: De fleste annonsemodeller er anbefalingsmodeller, og det samme gjelder modellen som anbefaler YouTube-videoer til deg. Dette er «tradisjonell» KI (noen ganger kalt «klassisk» KI) — ikke generativ KI som LLM-er og modeller for bilde- eller videogenerering — som har brukt inferens i lang tid.
Så inferens er ikke nytt innen KI, det har bare blitt bedre i takt med at KI har blitt mer kapabel?
Google-ekspert: Ja. Og inferens gjør det ikke bare mulig for KI-modeller å forutsi. Den gjør dem også i stand til å klassifisere. Modellen kan merke ting basert på det den har lært. Her er et kjent eksempel: For mange år siden ga Google en KI-modell et bilde og spurte om den kunne identifisere en katt i bildet. Ved hjelp av data — og inferens — klarte den å lære seg selv hva en katt er og hvordan den ser ut, og identifiserte katten riktig.
Det husker jeg!
Google-ekspert: Det var et eksempel på en modell som brukte inferens.
Google-ekspert: Mer nylig — husker du at folk for et par år siden snakket om KI-genererte bilder som nærmest ignorerte fysikkens lover? Hender, for eksempel, ble ofte gjengitt feil. Dagens modeller gjør dette mye bedre. De er bedre på fysikk og tekstur, blant annet. Det samme gjelder tekstoversettelse. Språkoversettelse var for eksempel tidligere statistisk. Den kunne brukes, men var ikke helt riktig, og den var slett ikke samtalepreget. Men statistisk oversettelse førte oss fram til oversettelse med generativ KI, som mange i dag føler seg komfortable med å bruke, også i produkter rettet mot kundene. Vi bruker fortsatt prosessen som kalles inferens, men den underliggende KI-en og beregningskapasiteten vår er blitt dramatisk bedre.
Kan man måle hvor godt inferens fungerer?
Google-ekspert: Det kan vi når vi måler hvor godt en modell presterer på bestemte oppgaver. Vi bruker også inferens til å evaluere og trene modeller for å gjøre dem bedre. Mens vi trener modellen, kjører vi derfor inferens kontinuerlig for å prøve å forbedre modellkvaliteten samtidig.
Og på grunn av slike oppsett for trening ser du vel at inferensnivåene blir stadig bedre målt etter bransjestandarder?
Google-ekspert: Ja. Men spørsmålet er også hvordan mennesker oppfatter dette — hvor mye har vi alle lagt merke til at ting blir bedre? Generelt er det ganske mye. Noe annet vi er svært opptatt av hos Google når vi jobber med inferens, er personvern: Vi er nøye med hva vi trenger å lagre for at disse opplevelsene skal fungere.
Hva er noen eksempler på Google KI der vi kan se forbedret inferens?
Google-ekspert: Et av Googles beste bruksområder for inferens er AI Overviews. Du skriver inn et søk i Search, og et svært komplekst system fordeler det på en rekke modeller for å hente inn resultater. Det bruker inferens til å forstå søket ditt og finne ut hvilket svar du ønsker, og til slutt oppsummerer det det systemet har lært til noe svært nyttig. Inferens er også avgjørende for mye av det agentiske arbeidet Google utfører. Med agenter kan du, i tillegg til å be en KI-modell levere informasjon basert på inferensen sin, få den til å gjøre ting for deg. Dette er på en måte en utvidelse av slik vi tidligere forsto inferens.
Så inferens blir bedre til å bruke data eller kunnskap for å gi svar og til og med utføre handlinger. Hvordan utvikler den seg ellers?
Google-ekspert: En svært viktig faktor er kostnaden. Vi prøver å gjøre inferens så rimelig som mulig. La oss si at vi prøver å gjøre en mindre og rimeligere versjon av Gemini tilgjengelig for folk. Da ville vi arbeide med modellens inferens for å finne måter å endre beregningsparadigmet, eller koden modellen består av, uten å endre semantikken eller hovedoppgaven den skal utføre, slik at kostnaden reduseres. I praksis betyr det å lage en mindre og mer effektiv versjon av modellen, slik at flere kan få tilgang til funksjonene den tilbyr.
Hvordan får vi kostnadene ned?
Google-ekspert: Én måte er å optimalisere maskinvaren. Derfor lanserer Google Ironwood i år. Den er optimalisert for inferens med et design som setter inferens først: mer regnekraft og minne, samt optimalisering for bestemte numeriske typer. På programvaresiden forbedrer Google kompilatorene og rammeverkene sine. Målet over tid er at KI-inferens skal bli mer effektiv: bedre kvalitet med mindre ressursbruk, slik at det koster mindre å være til hjelp.
Utforsk Ailoots API-dokumentasjon på ailoot.ai/docs.