Blog

Vraag het een Techspert: wat is inferentie?

Markdown

Google-experts leggen AI-inferentie uit in een uitgebreid interview over patroonherkenning, modeltypen, voorspelling, classificatie, evaluatie, privacy, AI Overviews, agentische systemen en efficiëntie.

Inferentie speelt een grote rol in de groeiende mogelijkheden van AI. In dit interview met een Google Techspert leggen twee Google-experts uit wat inferentie is en hoe het AI-systemen helpt om nuttige resultaten te leveren.

In april introduceerde Google Ironwood, zijn Tensor Processing Unit (TPU) van de zevende generatie, ontworpen om generatieve AI-inferentie aan te drijven. TPU's zijn chips die AI-systemen aandrijven en voor Google niet nieuw zijn. Deze generatie is echter ontworpen om AI-systemen te helpen verder te gaan dan alleen reageren en ook proactief te worden. Inferentie is het proces waarmee AI-systemen modellen kunnen gebruiken om op kennis gebaseerde resultaten te leveren.

Ik weet wat het woord inferentie betekent: op basis van de informatie die je krijgt, kun je tot een bepaalde conclusie komen. Betekent het in de context van AI ook iets dergelijks?

Google-expert: Min of meer, ja. Het is een vereenvoudiging, maar ik denk dat je inferentie het makkelijkst kunt begrijpen als patroonherkenning. In de ruimste zin vragen we ons bij generatieve AI en inferentie af: kunnen AI-modellen patronen herkennen om te voorspellen wat je wilt? Als ik bijvoorbeeld zeg: “peanut butter and ____” en een Amerikaans publiek vraag de zin aan te vullen, zullen ze waarschijnlijk “jelly” zeggen. Dat is een goed voorbeeld van inferentie bij spraakpatronen. AI-inferentie kan dat ook, maar de mogelijkheden gaan veel verder.

Google-expert: In het algemeen is inferentie de manier waarop we het model daadwerkelijk gebruiken om iets nuttigs te doen. Eerst moeten we het model trainen: een AI-model bevat modelparameters, de modelarchitectuur en de configuratie, oftewel de code die nodig is om taken uit te voeren. Samen zorgen die voor de functionaliteit. Dankzij inferentie kunnen we dat alles daadwerkelijk gebruiken.

Welke soorten AI-modellen gebruiken inferentie?

Google-expert: AI op basis van deep learning, zoals taalmodellen, modellen voor beeldgeneratie en audiomodellen, gebruikt inferentie omdat deze modellen voorspellen wat er zal “gebeuren”, op basis van patronen in gegevens uit het verleden waarvan ze hebben geleerd.

Google-expert: Ook aanbevelingsmodellen gebruiken inferentie.

Wat is een voorbeeld van een aanbevelingsmodel?

Google-expert: De meeste advertentiemodellen zijn aanbevelingsmodellen, net als het model dat YouTube-video's aan je aanbeveelt. Dit zijn “traditionele” (soms “klassieke” genoemde) AI-modellen — geen generatieve AI zoals LLM's en modellen voor beeld- of videogeneratie — die al heel lang inferentie gebruiken.

Inferentie is dus niet nieuw voor AI; het is alleen beter geworden naarmate AI meer mogelijkheden kreeg?

Google-expert: Ja. En inferentie stelt AI-modellen niet alleen in staat om voorspellingen te doen, maar ook om dingen te classificeren. Het model kan dingen labelen op basis van wat het heeft geleerd. Een bekend voorbeeld: jaren geleden gaf Google een AI-model een afbeelding en vroeg of het daarin een kat kon herkennen. Met behulp van gegevens en inferentie kon het model zelf leren wat een kat is en hoe die eruitziet, en de kat correct herkennen.

Dat herinner ik me!

Google-expert: Dat was een voorbeeld van een model dat inferentie gebruikte.

Google-expert: Meer recent: weet je nog dat mensen een paar jaar geleden praatten over AI-gegenereerde afbeeldingen die de natuurwetten min of meer negeerden? Zo werden de handen van mensen vaak niet goed afgebeeld. De modellen van nu doen dat veel beter. Ze zijn beter geworden in onder meer natuurkunde en texturen. Hetzelfde geldt voor tekstvertaling. Vroeger was taalvertaling bijvoorbeeld statistisch. Die was bruikbaar, maar niet helemaal nauwkeurig en zeker niet conversationeel. Toch leidde statistische vertaling ons naar vertaling met generatieve AI. Tegenwoordig gebruiken veel mensen die met vertrouwen, zelfs in producten voor hun klanten. We gebruiken nog steeds het proces dat inferentie heet, maar de onderliggende AI en onze rekenkracht zijn enorm verbeterd.

Kun je meten hoe goed inferentie werkt?

Google-expert: Dat kan door te meten hoe goed een model bepaalde taken uitvoert. We gebruiken inferentie ook om modellen te evalueren en te trainen, zodat ze beter worden. Tijdens het trainen van het model voeren we dus steeds opnieuw inferentie uit om de kwaliteit ervan tegelijkertijd te verbeteren.

Ik kan me voorstellen dat inferentie dankzij zulke trainingsmethoden steeds beter scoort op benchmarks in de sector.

Google-expert: Ja. Maar er is ook de vraag hoe mensen het ervaren: in hoeverre hebben we allemaal gemerkt dat deze dingen beter zijn geworden? Over het algemeen is dat behoorlijk veel. Iets anders waar we bij Google veel aandacht aan besteden als we aan inferentie werken, is privacy: we letten zorgvuldig op welke gegevens we moeten opslaan om deze ervaringen mogelijk te maken.

Wat zijn voorbeelden van Google AI waarin we verbeterde inferentie kunnen zien?

Google-expert: Een van de beste toepassingen van inferentie bij Google is AI Overviews. Je typt een zoekopdracht in Search en een zeer complex systeem verdeelt die over allerlei modellen om resultaten te krijgen. Het gebruikt inferentie om je zoekopdracht te begrijpen en te bepalen welk antwoord je wilt. Uiteindelijk vat het samen wat het heeft geleerd en maakt het daar iets heel nuttigs van. Inferentie is ook van cruciaal belang voor veel van het agentische werk dat Google doet. Met agents kun je een AI-model niet alleen vragen om op basis van inferentie informatie te geven, maar het ook dingen voor je laten doen. Dat is een soort uitbreiding van hoe we inferentie vroeger begrepen.

Inferentie wordt dus steeds beter in het gebruiken van gegevens of kennis om antwoorden te geven en zelfs acties uit te voeren. Hoe verandert het nog meer?

Google-expert: Een heel belangrijk punt is de prijs. We proberen inferentie zo betaalbaar mogelijk te maken. Stel dat we een kleinere, betaalbaardere versie van Gemini beschikbaar willen maken. Dan zouden we aan de inferentie van het model werken om manieren te vinden waarop we het rekenparadigma, oftewel de code waaruit het model bestaat, kunnen aanpassen zonder de semantiek te veranderen: de belangrijkste taak die het model moet uitvoeren. Zo kunnen we de kosten verlagen. In feite maken we het model kleiner en efficiënter, zodat meer mensen toegang krijgen tot de mogelijkheden ervan.

Hoe kunnen we de kosten verlagen?

Google-expert: Een manier is de hardware optimaliseren. Daarom komt Google dit jaar met Ironwood. Dankzij het ontwerp dat in de eerste plaats op inferentie is gericht, is het daarvoor geoptimaliseerd: met meer rekenkracht en geheugen en optimalisaties voor bepaalde numerieke typen. Op softwaregebied verbetert Google zijn compilers en frameworks. Het doel is dat AI-inferentie na verloop van tijd efficiënter wordt: betere kwaliteit met een kleinere voetafdruk en lagere kosten, zodat de technologie nuttig kan zijn.

Bekijk de documentatie voor de Ailoot API op ailoot.ai/docs.