Blog

Čo je inferencia?

Markdown

Zistite, čo je inferencia AI, ako funguje dávková, okrajová, inferencia v reálnom čase a streamovacia inferencia a ako môžu tímy riešiť problémy s presnosťou, výkonom a nákladmi.

Čo je inferencia (AI)?

Inferencia je proces, pri ktorom model umelej inteligencie vytvára predpovede alebo výstupy z nových údajov. Po trénovaní má model AI naučené parametre a reprezentácie. Keď prijme nové údaje, použije ich na vytvorenie výstupu. Inferencia prebieha počas behu aplikácie AI alebo vo fáze jej nasadenia a umožňuje množstvo prípadov použitia v reálnom svete.

Prečo je inferencia dôležitá?

Inferencia AI je proces vytvárania výstupov z dosiaľ nevidených údajov. Po naučení všeobecných vzorcov z trénovacích množín údajov model tieto vzorce uplatňuje na nové údaje.

Model AI možno napríklad trénovať na lekárskych snímkach označených zdravotníckymi odborníkmi. Počas trénovania sa model učí vizuálne znaky a súvislosti v údajoch. Následne môže pomocou inferencie identifikovať možné nádory alebo abnormality na nových snímkach. Zdravotnícki odborníci môžu posúdiť presnosť procesu tým, že vyvodia závery z tých istých snímok.

V porovnaní s tradičnými technikami analytiky, pri ktorých ľudia definujú pravidlá a vyberajú štatistické techniky, umožňuje trénovanie modelu objavovať zložité vzorce, ktoré sa ťažko kódujú ručne. Tieto vzorce vyplývajú z parametrov modelu. Inferencia ich uplatňuje na nové údaje.

Aké sú typy inferencie v strojovom učení?

Existuje niekoľko typov inferencie v strojovom učení (ML).

Dávková inferencia

Dávková inferencia vytvára predpovede pomocou skupín viacerých vstupov údajov. Je užitočná v aplikáciách, pri ktorých čas nie je kritický a na výstupy možno počkať. Aplikácia generatívnej AI na podnikovú analytiku môže napríklad spracúvať aktualizácie raz za hodinu namiesto v reálnom čase.

Inferencia na okraji siete

Inferencia AI na okraji siete spúšťa model v zariadení používateľa alebo blízko zdroja údajov. Keďže údaje netreba odosielať na centrálne miesto na spracovanie, inferencia na okraji siete môže znížiť latenciu siete. Je užitočná na odľahlých miestach s obmedzeným pripojením alebo v zariadeniach, v ktorých je inferencia nevyhnutná. Rýchlosť spracovania závisí od zariadenia a latencie modelu.

Inferencia v reálnom čase

Inferencia v reálnom čase vytvára výstupy okamžite v reakcii na vstupné požiadavky. Modely prijímajú údaje od používateľa alebo z pripojených zdrojov údajov, čím vzniká potreba okamžitého výstupu. Inferencia v reálnom čase sa spolieha na systémy AI s nízkou latenciou a bežne sa používa v časovo kritických systémoch. Autonómne vozidlá ju napríklad využívajú na podporu včasného rozhodovania.

Streamovacia inferencia

Streamovacia inferencia využíva dátový kanál, ktorý nepretržite dodáva informácie modelu a ten vytvára výstupy v reálnom čase. Podobne ako inferencia v reálnom čase reaguje na prichádzajúce údaje, ale nepretržite vytvára výstupy na základe vstupného toku. Inferencia v reálnom čase reaguje na vstup používateľa alebo živé požiadavky, zatiaľ čo streamovacia inferencia spracúva nepretržitý tok nových údajov.

Ako funguje inferencia?

Infraštruktúru pre inferenciu AI spoločne zabezpečuje niekoľko technológií a dátových systémov.

Infraštruktúra modelov strojového učenia

Inferencia AI je možná po natrénovaní modelu. Pred nasadením môže model prejsť trénovaním, dolaďovaním, validáciou a optimalizáciou inferencie.

Natrénovaný model v produkčnej prevádzke môže vyžadovať značný výpočtový výkon grafických procesorov (GPU), centrálnych procesorov (CPU) a špecializovaných akcelerátorov AI, ako je AWS Inferentia. Výpočtové zdroje potrebujú aj úložisko, sieťové pripojenie a dátové kanály.

Vstup používateľa a predspracovanie údajov

Pred vložením do modelu môžu údaje vyžadovať predspracovanie. Modely počítačového videnia môžu napríklad používať normalizáciu, zatiaľ čo veľké jazykové modely (LLM) môžu používať tokenizáciu. Údaje možno tiež vyčistiť, aby sa zlepšila ich kvalita.

Proces inferencie

Proces inferencie prijíma čisté údaje a vykonáva priechod dopredu: predspracované údaje prechádzajú vrstvami modelu, aby sa vytvoril výstup. Zahŕňa to sériu výpočtov.

Tvorba výstupu a následné spracovanie

Po priechode dopredu model vytvorí výstup na základe vzorcov, ktoré sa naučil z trénovacích údajov.

Následné spracovanie môže výstupy kontrolovať, filtrovať a formátovať podľa ochranných opatrení a pravidiel. Ochranné opatrenia môžu napríklad pomôcť predchádzať vulgarizmom alebo škodlivému obsahu a formátovanie môže prispôsobiť výstup tónu komunikácie firmy.

Aké sú výzvy inferencie pre modely AI?

Schopnosť modelu AI vyvodzovať závery môže ovplyvniť niekoľko výziev.

Zmena modelu

K zmene modelu dochádza vtedy, keď model časom stráca účinnosť, pretože sa údaje z reálneho sveta menia oproti údajom, na ktorých bol natrénovaný. K zmene údajov dochádza, keď sa menia vzorce vo vstupných údajoch. Ak váhy modelu zostanú pevne nastavené podľa starších trénovacích údajov, tieto zmeny môžu spôsobiť nepresnosť jeho výstupov.

K zmene konceptu dochádza vtedy, keď sa zmení alebo skomplikuje vzťah medzi vstupmi a výstupmi modelu. Model AI natrénovaný na identifikáciu phishingových e-mailov napríklad používa naučené vzorce na vytváranie predpovedí. Ak nové technológie zmenia spôsob realizácie phishingových útokov, výstupy modelu môžu byť menej presné. Na zohľadnenie týchto zmien môže byť potrebné opätovné trénovanie.

V oboch prípadoch môže model, ktorý kedysi podával dobrý výkon, začať vytvárať menej presné alebo nesprávne odpovede.

Rýchlosť a výkon

Nasadenie modelu AI vo veľkom rozsahu si vyžaduje infraštruktúru schopnú spoľahlivo poskytovať výstupy. Organizácie môžu potrebovať grafické procesory, nízku latenciu, vysokú rýchlosť siete a ďalšie vysokovýkonné procesorové jednotky pre zložité modely.

Rýchlosť a výkon možno zlepšiť aj úpravou architektúry infraštruktúry, použitím špecializovaného hardvéru a uplatnením techník optimalizácie inferencie, ako je kvantizácia, ktorá zmenšuje veľkosť modelu.

Výkon pri konkrétnych prípadoch použitia môže zlepšiť aj výber iného prístupu k inferencii, napríklad dávkovej inferencie.

Náklady

Prevádzka inferenčných úloh môže viesť k neočakávaným nákladom. Vo veľkom rozsahu alebo v mnohých rôznych kontextoch môžu výpočtový výkon a objem inferenčných požiadaviek zvýšiť výdavky. Organizácie môžu náklady riadiť pomocou stratégií, ako je zmenšenie modelu, paralelizácia spracovania a používanie cloudovej infraštruktúry s automatickým škálovaním na online inferenciu.

Osvedčené postupy na zlepšenie presnosti a užitočnosti AI

Zlepšenie presnosti a užitočnosti inferencie AI čiastočne závisí od procesov trénovania a optimalizácie. Pomôcť môžu tieto postupy.

Investujte do kvality údajov

Kvalita trénovacích množín údajov priamo ovplyvňuje schopnosť modelu predpovedať výsledky pre nové údaje a vytvárať užitočné výstupy. Kvalitné údaje, ktoré sú správne označené, konzistentné a bez šumu, môžu zlepšiť schopnosť modelu identifikovať vzorce. Zaveďte prísne postupy prípravy údajov vrátane čistenia, validácie, štandardizácie a riešenia nezrovnalostí.

Využívajte kvalifikovaný personál

Ak je to možné, zapojte ľudí so skúsenosťami s trénovaním modelov a architektúrou technologického zásobníka, ktorý plánujete používať. Odborníci na danú oblasť môžu pomôcť s označovaním údajov, vďaka čomu budú kvalitnejšie a komplexnejšie. Trénovanie modelu na kvalitných údajoch môže zvýšiť presnosť jeho výstupov.

Zahrňte vysvetliteľnosť na účely súladu

Výstupy inferencie by mali byť vysvetliteľné. Techniky vysvetliteľnosti môžu pomôcť ukázať, ktoré vstupné vlastnosti ovplyvnili konkrétny výstup. Rôzne typy modelov ML používajú rôzne techniky. Shapley Additive exPlanations (SHAP) možno napríklad uplatniť na akýkoľvek model a najvhodnejšie sú pre stromové a lineárne modely a neurónové siete. Vysvetliteľnosť môže organizáciám pomôcť aj zosúladiť sa s rámcami súladu pre AI vrátane práva na vysvetlenie rozhodnutí prijatých AI podľa GDPR.

Ako môže AWS podporiť inferenciu AI?

AWS opisuje služby a účelovo vytvorenú infraštruktúru pre rôzne fázy životného cyklu strojového učenia a modelov AI.

Amazon SageMaker AI poskytuje prostredie strojového učenia na vytváranie, trénovanie, optimalizáciu, testovanie a správu prispôsobených modelov.

Amazon SageMaker AI je plne spravovaná služba s nástrojmi strojového učenia pre širokú škálu prípadov použitia. Podporuje vytváranie, trénovanie a nasadzovanie modelov vo veľkom rozsahu pomocou nástrojov, ako sú zápisníky, ladiace nástroje, profilovacie nástroje, kanály a MLOps v integrovanom vývojovom prostredí (IDE).

SageMaker AI podporuje požiadavky na správu počas trénovania aj inferencie prostredníctvom riadenia prístupu a transparentnosti projektov ML. Poskytuje tiež nástroje na vytváranie základných modelov (FM), teda veľkých modelov natrénovaných na rozsiahlych množinách údajov, a na ich dolaďovanie, experimentovanie s nimi, opätovné trénovanie a nasadzovanie.

AWS ponúka cloudovú infraštruktúru na inferenciu AI vrátane špecializovaných GPU v službe Amazon EC2 a čipov strojového učenia, ako je AWS Inferentia.

Začnite s inferenciou modelov ML na AWS ešte dnes vytvorením bezplatného účtu.

Využite túto príručku s Ailootom

Prepojte modely AI so svojimi aplikáciami, agentmi a automatizáciami prostredníctvom jediného rozhrania Ailoot API. Vyberte model vhodný pre svoju úlohu a začnite podľa dokumentácie Ailoot.