Zeptejte se experta: Co je inference?
MarkdownExperti Googlu v úplném rozhovoru vysvětlují inferenci AI a probírají rozpoznávání vzorců, typy modelů, predikci, klasifikaci, vyhodnocování, soukromí, AI Overviews, agentické systémy a efektivitu.
Inference je důležitou součástí toho, díky čemuž je AI stále schopnější. V tomto rozhovoru Google Techspert dva experti Googlu vysvětlují, co inference znamená a jak pomáhá systémům AI vytvářet užitečné výstupy.
V dubnu Google představil Ironwood, svou sedmou generaci Tensor Processing Unit (TPU), navrženou pro provoz generativní AI inference. TPU jsou čipy, které pohánějí systémy AI a pro Google nejsou žádnou novinkou, tato generace je však navržena tak, aby systémům AI pomohla přejít od pouhé reakce k proaktivnímu jednání. Inference je proces, který systémům AI umožňuje používat modely k vytváření výstupů založených na znalostech.
Vím, co znamená slovo inference — na základě informací, které dostanete, můžete dojít k nějakému závěru. Znamená to v souvislosti s AI něco podobného?
Expert Googlu: Tak nějak ano. Je to zjednodušení, ale myslím, že inference se nejsnáze chápe jako rozpoznávání vzorců. V nejširším smyslu se při hovoru o generativní AI a inferenci ptáme: Dokážou modely AI rozpoznávat vzorce a předvídat, co chcete? Například kdybych řekl „arašídové máslo a ____“ a požádal americké publikum, aby doplnilo prázdné místo, nejspíš by odpovědělo „džem“. To je dobrý příklad inference v oblasti jazykových vzorců a AI inference to dokáže, ale její možnosti sahají mnohem dál.
Expert Googlu: Inference je obecně způsob, jakým model skutečně používáme k provádění něčeho užitečného. Nejprve musíme model natrénovat: model AI obsahuje parametry modelu, jeho architekturu a konfiguraci, tedy kód potřebný k provádění úloh — a tyto prvky společně zajišťují jeho funkčnost. Inference nám tedy umožňuje to všechno skutečně využít.
Jaké druhy modelů AI používají inferenci?
Expert Googlu: AI založená na hlubokém učení, například jazykové modely, modely pro generování obrázků a zvukové modely, používá inferenci, protože předpovídá, co se „stane“, na základě vzorců v datech, které se modely naučily z minulosti.
Expert Googlu: Inferenci používají také doporučovací modely.
Jaký je příklad doporučovacího modelu?
Expert Googlu: Většina reklamních modelů jsou doporučovací modely, stejně jako model, který vám doporučuje videa na YouTube. Jde o „tradiční“ AI (někdy nazývanou „klasická“ AI) — nikoli o generativní AI, jako jsou LLM a modely pro generování obrázků nebo videí — která inferenci používá už dlouho.
Inference tedy není v AI novinkou, jen se zlepšila s tím, jak AI získala větší schopnosti?
Expert Googlu: Ano. Inference modelům AI umožňuje nejen předvídat, ale také klasifikovat. Model může označovat věci podle toho, co se naučil. Tady je známý příklad: Před mnoha lety Google dal modelu AI obrázek a zeptal se, zda na něm dokáže rozpoznat kočku. Pomocí dat a inference se model dokázal sám naučit, co je kočka a jak vypadá, a správně ji rozpoznat.
To si pamatuji!
Expert Googlu: To byl příklad modelu využívajícího inferenci.
Expert Googlu: Vzpomínáte si, jak se před několika lety mluvilo o obrázcích vytvořených AI, které v podstatě ignorovaly fyzikální zákony? Například lidské ruce často nebyly zobrazeny správně. Dnešní modely si s tím poradí mnohem lépe. Mimo jiné lépe zachycují fyziku a textury. Totéž platí pro překlad textu. Dříve byl jazykový překlad statistický. Byl použitelný, ale nebyl úplně přesný a rozhodně nepůsobil konverzačně. Statistický překlad nás však dovedl ke generativnímu překladu pomocí AI, který dnes mnoho lidí bez obav používá i ve svých produktech určených zákazníkům. Pořád používáme proces zvaný inference, ale samotná AI i naše výpočetní kapacita se výrazně zlepšily.
Dá se měřit, jak dobře inference funguje?
Expert Googlu: Můžeme to měřit podle toho, jak dobře si model vede při určitých úlohách. Inferenci také používáme k vyhodnocování a trénování modelů, abychom je zlepšili. Během trénování modelu tedy průběžně spouštíme inferenci a současně se snažíme zlepšit jeho kvalitu.
A díky takovým způsobům trénování se podle mě výsledky inference v oborových srovnávacích testech stále zlepšují.
Expert Googlu: Ano. Důležité je ale také to, jak to vnímají lidé — nakolik jsme si všichni všimli, že se tyto věci zlepšují? Obecně je to znát opravdu hodně. Při práci na inferenci nám v Googlu velmi záleží také na soukromí: pečlivě zvažujeme, jaké údaje musíme ukládat, aby tyto funkce fungovaly.
Na kterých příkladech AI od Googlu můžeme pozorovat lepší inferenci?
Expert Googlu: Jedním z nejlepších případů využití inference v Googlu jsou AI Overviews. Zadáte dotaz do Vyhledávání a velmi složitý systém jej rozdělí mezi řadu modelů, aby získal výsledky. Pomocí inference porozumí vašemu dotazu a zjistí, jakou odpověď chcete, a nakonec shrne získané informace do velmi užitečné podoby. Inference je také zásadní pro řadu aktivit Googlu v oblasti agentních systémů. U agentů můžete kromě toho, že požádáte model AI o informace na základě jeho inference, zadat, aby za vás něco udělal. Je to určitým způsobem rozšíření toho, jak jsme inferenci chápali dosud.
Inference tedy stále lépe využívá data nebo znalosti k tomu, aby nabízela odpovědi a dokonce podnikala kroky. Jak se ještě mění?
Expert Googlu: Velmi důležitým tématem jsou náklady. Snažíme se, aby byla inference co nejdostupnější. Představme si, že chceme lidem zpřístupnit menší a levnější verzi Gemini. Pracovali bychom na inferenci modelu a hledali způsoby, jak změnit výpočetní paradigma, tedy kód, z něhož se model skládá, aniž bychom změnili jeho sémantiku neboli hlavní úlohu, kterou má plnit, a snížili tak náklady. V podstatě jde o vytvoření menší a efektivnější verze modelu, aby k jeho schopnostem mělo přístup více lidí.
Jak můžeme snížit náklady?
Expert Googlu: Jedním ze způsobů je optimalizace hardwaru. Proto Google letos uvádí Ironwood. Díky konstrukci zaměřené především na inferenci je pro ni optimalizován: nabízí vyšší výpočetní výkon a více paměti a je optimalizován pro určité numerické typy. V oblasti softwaru Google vylepšuje kompilátory a frameworky. Cílem je, aby byla inference AI postupem času efektivnější: vyšší kvalita při menších nárocích a nižších nákladech, aby byla užitečná.
Prohlédněte si dokumentaci k API Ailoot na adrese ailoot.ai/docs.