Co je inference?
MarkdownZjistěte, co je inference AI, jak funguje dávková, edgeová, real-time a streamovací inference a jak mohou týmy řešit výzvy v oblasti přesnosti, výkonu a nákladů.
Co je inference (AI)?
Inference je proces, při kterém model umělé inteligence vytváří předpovědi nebo výstupy z nových dat. Po trénování má model AI naučené parametry a reprezentace. Když obdrží nová data, využije je k vytvoření výstupu. K inferenci dochází během běhu aplikace AI nebo v její fázi nasazení a umožňuje řadu praktických použití.
Proč je inference důležitá?
Inference AI je proces vytváření výstupů z dosud neviděných dat. Poté, co se model naučí zobecněné vzorce z trénovacích datových sad, aplikuje tyto vzorce na nová data.
Model AI může být například natrénován na skenech lékařských snímků označených zdravotnickými odborníky. Během trénování se model učí vizuální vodítka a souvislosti v datech. Pomocí inference pak může na nových skenech identifikovat potenciální nádory nebo abnormality. Zdravotničtí odborníci mohou přesnost tohoto procesu posoudit vyvozením závěrů ze stejných skenů.
Ve srovnání s tradičními technikami analýzy dat, při nichž lidé definují pravidla a vybírají statistické metody, umožňuje trénování modelu objevovat složité vzorce, které je obtížné ručně zakódovat. Tyto vzorce vyplývají z parametrů modelu. Inference je aplikuje na nová data.
Jaké jsou typy inference strojového učení?
Existuje několik typů inference strojového učení (ML).
Dávková inference
Dávková inference vytváří předpovědi ze skupin více vstupních dat. Hodí se pro aplikace, u nichž není čas kritickým faktorem a lze s výstupy počkat. Aplikace generativní AI pro podnikovou analýzu může například zpracovávat aktualizace jednou za hodinu místo v reálném čase.
Edge inference
Edge inference spouští model na zařízení uživatele nebo v blízkosti zdroje dat. Protože data není nutné posílat ke zpracování do centrálního uzlu, může edge inference snížit latenci sítě. Hodí se pro odlehlá místa s omezeným připojením nebo pro zařízení, na kterých je inference nezbytná. Rychlost zpracování závisí na zařízení a latenci modelu.
Inference v reálném čase
Inference v reálném čase vytváří výstupy okamžitě v reakci na vstupní požadavky. Modely přijímají data z uživatelských vstupů nebo připojených zdrojů dat, což vyvolává potřebu okamžitého výstupu. Inference v reálném čase využívá systémy AI s nízkou latencí a běžně se používá v systémech, u nichž je čas kritický. Autonomní vozidla ji například využívají k včasnému rozhodování.
Streamovací inference
Streamovací inference využívá datový kanál, který nepřetržitě předává informace modelu, jenž vytváří výstupy v reálném čase. Stejně jako inference v reálném čase reaguje na příchozí data, ale nepřetržitě vytváří výstupy na základě vstupního proudu. Inference v reálném čase reaguje na uživatelské vstupy nebo živé požadavky, zatímco streamovací inference zpracovává nepřetržitý tok nových dat.
Jak inference funguje?
Infrastrukturu pro inferenci AI společně zajišťuje několik technologií a datových systémů.
Infrastruktura modelu strojového učení
Inference AI je možná až po natrénování modelu. Před nasazením může model projít trénováním, doladěním, validací a optimalizací inference.
Natrénovaný model v produkčním prostředí může vyžadovat značný výpočetní výkon grafických procesorů (GPU), centrálních procesorů (CPU) a specializovaných akcelerátorů AI, jako je AWS Inferentia. Výpočetní zdroje rovněž potřebují úložiště, síťové připojení a datové kanály.
Uživatelské vstupy a předzpracování dat
Před předáním modelu může být nutné data předzpracovat. Modely pro počítačové vidění mohou například používat normalizaci, zatímco velké jazykové modely (LLM) mohou využívat tokenizaci. Data lze také vyčistit, aby se zvýšila jejich kvalita.
Proces inference
Proces inference přebírá čistá data a provádí průchod vpřed, při němž prochází předzpracovaná data vrstvami modelu a vytváří výstup. To zahrnuje řadu výpočtů.
Generování výstupů a následné zpracování
Po průchodu vpřed model vytvoří výstup na základě vzorců, které se naučil z trénovacích dat.
Následné zpracování může výstupy skenovat, filtrovat a formátovat podle ochranných pravidel a zásad. Ochranná pravidla mohou například pomoci zabránit vulgarismům nebo škodlivému obsahu a formátování může přizpůsobit výstup tónu komunikace firmy.
Jaké výzvy přináší inference modelů AI?
Schopnost modelu AI provádět inferenci může ovlivnit několik výzev.
Drift modelu
K driftu modelu dochází, když model časem ztrácí účinnost, protože se data z reálného světa mění oproti datům, na kterých byl natrénován. K driftu dat dochází, když se mění vzorce ve vstupních datech. Pokud váhy modelu zůstávají pevně nastavené podle dřívějších trénovacích dat, mohou tyto změny vést k nepřesným výstupům.
K driftu konceptu dochází, když se změní nebo zkomplikuje vztah mezi vstupy a výstupy modelu. Model AI natrénovaný k identifikaci phishingových e-mailů například využívá naučené vzorce k vytváření předpovědí. Pokud nové technologie změní způsob provádění phishingových útoků, mohou být výstupy modelu méně přesné. Aby tyto změny zohlednil, může být nutné model znovu natrénovat.
V obou případech může model, který dříve fungoval dobře, začít vytvářet méně přesné nebo nesprávné odpovědi.
Rychlost a výkon
Nasazení modelu AI ve velkém měřítku vyžaduje infrastrukturu schopnou spolehlivě poskytovat výstupy. Organizace mohou potřebovat grafické procesory, nízkou latenci, rychlé síťové připojení a další vysoce výkonné procesorové jednotky pro složité modely.
Rychlost a výkon lze zlepšit také zdokonalením architektury infrastruktury, využitím specializovaného hardwaru a použitím technik optimalizace inference, jako je kvantizace, která zmenšuje model.
Výkon v konkrétních případech použití může zlepšit i volba jiného přístupu k inferenci, například dávkové inference.
Náklady
Provoz pracovních úloh inference může vést k neočekávaným nákladům. Ve velkém měřítku nebo v mnoha různých kontextech mohou výpočetní nároky a objem požadavků na inferenci zvýšit výdaje. Organizace mohou náklady řídit například zmenšováním modelů, paralelním zpracováním a využitím automaticky škálované cloudové infrastruktury pro online inferenci.
Osvědčené postupy ke zvýšení přesnosti a užitečnosti AI
Zvýšení přesnosti a užitečnosti inference AI částečně závisí na procesech trénování a optimalizace. Pomoci mohou tyto postupy.
Investujte do kvality dat
Kvalita trénovacích datových sad přímo ovlivňuje schopnost modelu předpovídat na základě nových dat a vytvářet užitečné výstupy. Vysoce kvalitní data, která jsou dobře označená, konzistentní a bez šumu, mohou zlepšit schopnost modelu identifikovat vzorce. Zaveďte důsledné procesy přípravy dat, včetně čištění, validace, standardizace a řešení nesrovnalostí.
Využívejte kvalifikovaný personál
Kde je to možné, zapojte lidi se zkušenostmi s trénováním modelů a architekturou technologického stacku, který plánujete používat. Odborníci na danou oblast mohou pomoci s anotací dat, a zvýšit tak jejich kvalitu a úplnost. Trénování modelu na vysoce kvalitních datech může zlepšit přesnost jeho výstupů.
Zajistěte vysvětlitelnost kvůli souladu s předpisy
Výstupy inference by mělo být možné vysvětlit. Techniky vysvětlitelnosti mohou ukázat, které vstupní příznaky ovlivnily konkrétní výstup. Různé typy modelů ML používají různé techniky. Shapley Additive exPlanations (SHAP) lze například použít na jakýkoli model a nejlépe se hodí pro stromové modely, lineární modely a neuronové sítě. Vysvětlitelnost může organizacím také pomoci sladit se s rámci pro soulad AI, včetně práva na vysvětlení rozhodnutí učiněných AI podle GDPR.
Jak může AWS podporovat inferenci AI?
AWS popisuje služby a účelově vytvořenou infrastrukturu pro různé fáze životního cyklu strojového učení a modelů AI.
Amazon SageMaker AI poskytuje prostředí strojového učení pro tvorbu, trénování, optimalizaci, testování a správu vlastních modelů.
Amazon SageMaker AI je plně spravovaná služba s nástroji pro strojové učení v řadě případů použití. Podporuje tvorbu, trénování a nasazení modelů ve velkém měřítku pomocí nástrojů, jako jsou notebooky, ladicí nástroje, profilery, kanály a MLOps v integrovaném vývojovém prostředí (IDE).
SageMaker AI podporuje požadavky na správu v průběhu trénování i inference pomocí řízení přístupu a zajištění transparentnosti projektů ML. Nabízí také nástroje pro tvorbu základních modelů (FM), což jsou velké modely trénované na rozsáhlých datových sadách, a pro jejich dolaďování, experimentování, opakované trénování a nasazování.
AWS nabízí cloudovou infrastrukturu pro inferenci AI, včetně specializovaných GPU v rámci Amazon EC2 a čipů pro strojové učení, jako je AWS Inferentia.
Začněte s inferencí modelů ML v AWS ještě dnes tím, že si vytvoříte bezplatný účet.
Využijte tohoto průvodce s Ailoot
Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného rozhraní Ailoot API. Vyberte model vhodný pro svůj úkol a začněte podle dokumentace Ailoot.