Blog

Zeptejte se experta: Co je inference?

Markdown

Experti Googlu v úplném rozhovoru vysvětlují inferenci AI a probírají rozpoznávání vzorců, typy modelů, predikci, klasifikaci, vyhodnocování, soukromí, AI Overviews, agentické systémy a efektivitu.

Inference je důležitou součástí toho, díky čemuž je AI stále schopnější. V tomto rozhovoru Google Techspert dva experti Googlu vysvětlují, co inference znamená a jak pomáhá systémům AI vytvářet užitečné výstupy.

V dubnu Google představil Ironwood, svou sedmou generaci Tensor Processing Unit (TPU), navrženou pro provoz generativní AI inference. TPU jsou čipy, které pohánějí systémy AI a pro Google nejsou žádnou novinkou, tato generace je však navržena tak, aby systémům AI pomohla přejít od pouhé reakce k proaktivnímu jednání. Inference je proces, který systémům AI umožňuje používat modely k vytváření výstupů založených na znalostech.

Vím, co znamená slovo inference — na základě informací, které dostanete, můžete dojít k nějakému závěru. Znamená to v souvislosti s AI něco podobného?

Expert Googlu: Tak nějak ano. Je to zjednodušení, ale myslím, že inference se nejsnáze chápe jako rozpoznávání vzorců. V nejširším smyslu se při hovoru o generativní AI a inferenci ptáme: Dokážou modely AI rozpoznávat vzorce a předvídat, co chcete? Například kdybych řekl „arašídové máslo a ____“ a požádal americké publikum, aby doplnilo prázdné místo, nejspíš by odpovědělo „džem“. To je dobrý příklad inference v oblasti jazykových vzorců a AI inference to dokáže, ale její možnosti sahají mnohem dál.

Expert Googlu: Inference je obecně způsob, jakým model skutečně používáme k provádění něčeho užitečného. Nejprve musíme model natrénovat: model AI obsahuje parametry modelu, jeho architekturu a konfiguraci, tedy kód potřebný k provádění úloh — a tyto prvky společně zajišťují jeho funkčnost. Inference nám tedy umožňuje to všechno skutečně využít.

Jaké druhy modelů AI používají inferenci?

Expert Googlu: AI založená na hlubokém učení, například jazykové modely, modely pro generování obrázků a zvukové modely, používá inferenci, protože předpovídá, co se „stane“, na základě vzorců v datech, které se modely naučily z minulosti.

Expert Googlu: Inferenci používají také doporučovací modely.

Jaký je příklad doporučovacího modelu?

Expert Googlu: Většina reklamních modelů jsou doporučovací modely, stejně jako model, který vám doporučuje videa na YouTube. Jde o „tradiční“ AI (někdy nazývanou „klasická“ AI) — nikoli o generativní AI, jako jsou LLM a modely pro generování obrázků nebo videí — která inferenci používá už dlouho.

Inference tedy není v AI novinkou, jen se zlepšila s tím, jak AI získala větší schopnosti?

Expert Googlu: Ano. Inference modelům AI umožňuje nejen předvídat, ale také klasifikovat. Model může označovat věci podle toho, co se naučil. Tady je známý příklad: Před mnoha lety Google dal modelu AI obrázek a zeptal se, zda na něm dokáže rozpoznat kočku. Pomocí dat a inference se model dokázal sám naučit, co je kočka a jak vypadá, a správně ji rozpoznat.

To si pamatuji!

Expert Googlu: To byl příklad modelu využívajícího inferenci.

Expert Googlu: Vzpomínáte si, jak se před několika lety mluvilo o obrázcích vytvořených AI, které v podstatě ignorovaly fyzikální zákony? Například lidské ruce často nebyly zobrazeny správně. Dnešní modely si s tím poradí mnohem lépe. Mimo jiné lépe zachycují fyziku a textury. Totéž platí pro překlad textu. Dříve byl jazykový překlad statistický. Byl použitelný, ale nebyl úplně přesný a rozhodně nepůsobil konverzačně. Statistický překlad nás však dovedl ke generativnímu překladu pomocí AI, který dnes mnoho lidí bez obav používá i ve svých produktech určených zákazníkům. Pořád používáme proces zvaný inference, ale samotná AI i naše výpočetní kapacita se výrazně zlepšily.

Dá se měřit, jak dobře inference funguje?

Expert Googlu: Můžeme to měřit podle toho, jak dobře si model vede při určitých úlohách. Inferenci také používáme k vyhodnocování a trénování modelů, abychom je zlepšili. Během trénování modelu tedy průběžně spouštíme inferenci a současně se snažíme zlepšit jeho kvalitu.

A díky takovým způsobům trénování se podle mě výsledky inference v oborových srovnávacích testech stále zlepšují.

Expert Googlu: Ano. Důležité je ale také to, jak to vnímají lidé — nakolik jsme si všichni všimli, že se tyto věci zlepšují? Obecně je to znát opravdu hodně. Při práci na inferenci nám v Googlu velmi záleží také na soukromí: pečlivě zvažujeme, jaké údaje musíme ukládat, aby tyto funkce fungovaly.

Na kterých příkladech AI od Googlu můžeme pozorovat lepší inferenci?

Expert Googlu: Jedním z nejlepších případů využití inference v Googlu jsou AI Overviews. Zadáte dotaz do Vyhledávání a velmi složitý systém jej rozdělí mezi řadu modelů, aby získal výsledky. Pomocí inference porozumí vašemu dotazu a zjistí, jakou odpověď chcete, a nakonec shrne získané informace do velmi užitečné podoby. Inference je také zásadní pro řadu aktivit Googlu v oblasti agentních systémů. U agentů můžete kromě toho, že požádáte model AI o informace na základě jeho inference, zadat, aby za vás něco udělal. Je to určitým způsobem rozšíření toho, jak jsme inferenci chápali dosud.

Inference tedy stále lépe využívá data nebo znalosti k tomu, aby nabízela odpovědi a dokonce podnikala kroky. Jak se ještě mění?

Expert Googlu: Velmi důležitým tématem jsou náklady. Snažíme se, aby byla inference co nejdostupnější. Představme si, že chceme lidem zpřístupnit menší a levnější verzi Gemini. Pracovali bychom na inferenci modelu a hledali způsoby, jak změnit výpočetní paradigma, tedy kód, z něhož se model skládá, aniž bychom změnili jeho sémantiku neboli hlavní úlohu, kterou má plnit, a snížili tak náklady. V podstatě jde o vytvoření menší a efektivnější verze modelu, aby k jeho schopnostem mělo přístup více lidí.

Jak můžeme snížit náklady?

Expert Googlu: Jedním ze způsobů je optimalizace hardwaru. Proto Google letos uvádí Ironwood. Díky konstrukci zaměřené především na inferenci je pro ni optimalizován: nabízí vyšší výpočetní výkon a více paměti a je optimalizován pro určité numerické typy. V oblasti softwaru Google vylepšuje kompilátory a frameworky. Cílem je, aby byla inference AI postupem času efektivnější: vyšší kvalita při menších nárocích a nižších nákladech, aby byla užitečná.

Prohlédněte si dokumentaci k API Ailoot na adrese ailoot.ai/docs.