Fråga en teknikexpert: Vad är inferens?
MarkdownGoogle-experter förklarar AI-inferens i en omfattande intervju som tar upp mönstermatchning, modelltyper, prediktion, klassificering, utvärdering, integritet, AI Overviews, agentiska system och effektivitet.
Inferens är en viktig del av det som gör AI mer kapabel. I den här intervjun med Google Techspert förklarar två Google-experter vad inferens är och hur den hjälper AI-system att skapa användbara resultat.
I april presenterade Google Ironwood, sin sjunde generation av Tensor Processing Unit (TPU), utformad för att driva inferens med generativ AI. TPU:er är chip som driver AI-system och är inget nytt för Google, men den här generationen är utformad för att hjälpa AI-system att gå från att vara responsiva till att bli proaktiva. Inferens är processen som gör det möjligt för AI-system att använda modeller för att skapa kunskapsbaserade resultat.
Jag vet vad ordet inferens betyder – att man kan dra någon sorts slutsats utifrån den information man får. Är det på något sätt vad det betyder när vi pratar om AI?
Google-expert: Ja, ungefär. Det är en förenkling, men jag tror att det enklaste sättet att förstå inferens är som mönstermatchning. I bredaste bemärkelse, när vi pratar om generativ AI och inferens, frågar vi: Kan AI-modeller matcha mönster för att förutsäga vad du vill ha? Om jag till exempel sa ”peanut butter and ____” och bad en amerikansk publik fylla i det tomma fältet skulle de förmodligen säga ”jelly”. Det är ett bra exempel på inferens för talmönster, något som AI-inferens kan göra, men inferens omfattar mycket mer än så.
Google-expert: Inferens är i allmänhet det sätt vi faktiskt använder modellen på för att göra något användbart. Först måste vi träna modellen: En AI-modell innehåller modellparametrar, modellarkitektur och konfiguration, alltså koden den behöver för att utföra uppgifter – och dessa delar kombineras för att ge modellen dess funktionalitet. Inferens är alltså det som gör att vi faktiskt kan använda allt detta.
Vilka typer av AI-modeller använder inferens?
Google-expert: AI med djupinlärning, till exempel språkmodeller, modeller för bildgenerering och ljudmodeller, använder alla inferens eftersom de gör förutsägelser om vad som kommer att ”hända” utifrån vad de har lärt sig av tidigare datamönster.
Google-expert: Rekommendationsmodeller använder också inferens.
Vad är ett exempel på en rekommendationsmodell?
Google-expert: De flesta annonsmodeller är rekommendationsmodeller, liksom modellen som rekommenderar YouTube-videor till dig. Det här är ”traditionell” AI (som ibland kallas ”klassisk”), inte generativ AI som LLM:er och modeller för bild- eller videogenerering. De har använt inferens sedan länge.
Så inferens är inte nytt inom AI, det har bara blivit bättre i takt med att AI blivit mer kapabelt?
Google-expert: Ja. Och inferens gör inte bara att AI-modeller kan förutsäga. Den gör också att de kan klassificera. Modellen kan märka upp saker utifrån vad den har lärt sig. Här är ett känt exempel: För många år sedan gav Google en AI-modell en bild och frågade om den kunde identifiera en katt i bilden. Med hjälp av data – och inferens – kunde modellen lära sig själv vad en katt är och hur den ser ut, och sedan identifiera katten korrekt.
Det kommer jag ihåg!
Google-expert: Det var ett exempel på en modell som använde inferens.
Google-expert: På senare tid, minns du för ett par år sedan när folk pratade om AI-genererade bilder som i princip struntade i fysikens lagar? Händer på människor avbildades till exempel ofta felaktigt. Dagens modeller är mycket bättre på det. De är bättre på bland annat fysik och texturer. Samma sak gäller textöversättning. Till exempel var språköversättning tidigare statistisk. Den gick att använda, men var inte helt korrekt och definitivt inte konversationsmässig. Men statistisk översättning ledde oss till översättning med generativ AI, som många känner sig bekväma med att använda i dag, även i produkter som vänder sig direkt till kunder. Vi använder fortfarande processen som kallas inferens, men den underliggande AI:n och vår beräkningskapacitet har förbättrats dramatiskt.
Kan man mäta hur bra inferens fungerar?
Google-expert: Det kan vi göra när vi mäter hur bra en modell presterar på vissa uppgifter. Vi använder också inferens för att utvärdera och träna modeller så att de blir bättre. När vi tränar modellen kör vi alltså inferens löpande för att samtidigt försöka förbättra modellens kvalitet.
Och på grund av sådana här träningsupplägg ser man väl att inferensen blir allt bättre enligt branschens riktmärken?
Google-expert: Ja. Men det finns också frågan om människors uppfattning – hur mycket har vi alla märkt att de här sakerna har blivit bättre? I allmänhet ganska mycket. Något annat vi verkligen bryr oss om på Google när vi arbetar med inferens är integritet: Vi är noga med vad vi behöver lagra för att de här upplevelserna ska fungera.
Vilka är några exempel på Google AI där vi kan se förbättrad inferens?
Google-expert: Ett av Googles bästa användningsområden för inferens är AI Overviews. Du skriver en fråga i Search och ett mycket komplext system fördelar den mellan ett antal modeller för att försöka få fram resultat. Systemet använder inferens för att förstå din fråga och veta vilket svar du vill ha, och till slut sammanfattar det vad det lär sig till något mycket användbart. Inferens är också avgörande för mycket av det agentiska arbete Google utför. Med agenter kan du, utöver att be en AI-modell leverera information utifrån sin inferens, få den att göra saker åt dig. Det är på sätt och vis en utvidgning av hur vi tidigare förstod inferens.
Så inferens blir bättre på att använda data eller kunskap för att ge svar och till och med vidta åtgärder. På vilka andra sätt förändras den?
Google-expert: Något som är oerhört viktigt är kostnaden. Vi försöker göra inferens så prisvärd som möjligt. Säg att vi försöker göra en mindre och mer prisvärd version av Gemini tillgänglig för människor. Då skulle vi arbeta med modellens inferens för att hitta sätt att ändra beräkningsparadigmet, eller koden som utgör modellen, utan att ändra semantiken, alltså den huvudsakliga uppgift den är tänkt att utföra, för att minska kostnaden. I grund och botten handlar det om att skapa en mindre och effektivare version av modellen så att fler kan få tillgång till dess förmågor.
Hur får vi ner kostnaden?
Google-expert: Ett sätt är att optimera hårdvaran. Det är därför Google lanserar Ironwood i år. Den är optimerad för inferens tack vare en inferensfokuserad utformning: mer beräkningskraft och minne samt optimering för vissa numeriska typer. På mjukvarusidan förbättrar Google sina kompilatorer och ramverk. Med tiden är målet att AI-inferens ska bli effektivare: bättre kvalitet med ett mindre resursavtryck och lägre kostnad, så att den kan vara till hjälp.
Utforska Ailoots API-dokumentation på ailoot.ai/docs.