Blog

Čo je AI inference? Proces v pozadí každého výstupu AI

Markdown

Zistite, čo je AI inference, ako trénované modely vytvárajú predikcie v reálnom čase a prečo pri vývoji AI aplikácií záleží na latencii, nákladoch a škálovateľnosti.

Vždy, keď AI aplikácia vygeneruje odpoveď alebo označí podvodnú transakciu, vykonáva inference. Trénovaný model prijíma nové údaje a prechádza nimi cez vrstvy naučených parametrov, aby vytvoril výstup. Deje sa to v milisekundách a často miliónkrát denne. Takáto rýchlosť má však svoju cenu. Každá požiadavka inference si vyžaduje výpočtový výkon GPU a šírku pásma pamäte, ktoré rastú spolu s veľkosťou modelu a objemom prevádzky. Náhle nárasty latencie používateľov frustrujú. Účty za GPU rastú rýchlejšie, než sa očakáva. Navyše škálovanie pracovných záťaží naprieč regiónmi prináša zložitosť infraštruktúry, s ktorou väčšina tímov nepočíta. digitalocean.com/currents/february-2026), inference v súčasnosti spotrebúva približne 76 – 100 % rozpočtov na AI v mnohých organizáciách.

Ak nasadzujete modely strojového učenia alebo pracovné postupy AI, najdôležitejšie nie je len to, ako sa váš model učí. Dôležité je aj to, ako efektívne poskytuje predikcie v reálnom čase. Pochopenie toho, čo je AI inference a čo určuje jej výkon, vám môže pomôcť robiť lepšie architektonické rozhodnutia pre váš ďalší projekt AI.

Kľúčové zistenia:

  • Kým tréning rozvíja inteligenciu modelu, inference poháňa aplikácie, ako sú detekcia podvodov, chatovacie rozhrania LLM a odporúčacie systémy.

  • Keďže sa rozpočty na AI presúvajú k nasadzovaniu, priepustnosť, náklady na požiadavku, využitie GPU a latencia P95/P99 sú dôležitými faktormi pri tvorbe aplikácií AI/ML.

  • Prostredia AI inference, ako sú cloud, edge a inference priamo v zariadení, pokrývajú rôzne potreby týkajúce sa latencie, ochrany súkromia, šírky pásma a škálovateľnosti. Mnohé produkčné systémy využívajú hybridný prístup.

  • S produktmi DigitalOcean GPU Droplets, Bare Metal GPUs a Gradient™ AI Inference Cloud môžete nasadzovať škálovateľnú a nákladovo efektívnu inferenciu bez zložitosti hyperscalerov.

Čo je AI inference?

Obrázok životného cyklu produktu AI

AI inference je fáza životného cyklu AI, v ktorej trénovaný model vytvára predikcie alebo výstupy z nových údajov. Poháňa živé aplikácie, ako sú odporúčacie nástroje, medicínska diagnostika a chatovacie rozhrania veľkých jazykových modelov (LLM). V produkčných prostrediach AI inference určuje, ako rýchlo používatelia dostávajú výsledky, ako dobre systém zvláda špičky prevádzky a koľko stojí poskytovanie každej predikcie.

Workato znižuje náklady na inferenciu o 67 %:

Spoločnosť Workato, ktorá prevádzkuje agentnú AI v rozsahu bilióna pracovných záťaží, spolupracovala s agentným inferenčným cloudom DigitalOcean na optimalizácii inferencie LLM s dlhým kontextom. Nasadením NVIDIA Dynamo a vLLM na DOKS so smerovaním zohľadňujúcim KV dosiahli o 67 % viac tokenov za sekundu na GPU a o 67 % nižšie náklady na modely pri použití polovice GPU.

Aký je rozdiel medzi tréningom a inferenciou?

Tréning je spôsob, akým sa model učí. Poskytnete mu rozsiahle súbory údajov a model opakovane upravuje milióny vnútorných parametrov, kým nedokáže samostatne rozpoznávať vzory. Model dostane vstupné údaje spolu so správnymi odpoveďami (napríklad obrázky s označeniami alebo text s očakávanými výstupmi), vytvorí predikcie, porovná ich so správnymi odpoveďami a upraví sa tak, aby znížil počet chýb. Tento postup sa opakuje v mnohých cykloch, kým model nedokáže vytvárať presné predikcie. Proces je výpočtovo náročný, ale prebieha raz alebo pravidelne. Potom nasleduje inference: trénovaný model prijíma nové údaje, ktoré ešte nevidel, a vytvára predikciu alebo odpoveď v reálnom čase.

FaktorTréning AIAI inference
ÚčelNaučiť sa vzory a optimalizovať presnosť modeluVytvárať predikcie alebo výstupy z nových údajov
Použité údajeVeľké označené súbory údajov (napr. historické podvodné transakcie, anotované medicínske snímky, recenzie označené podľa sentimentu)Nové, dosiaľ nevidené vstupné údaje
VýstupAktualizované váhy modelu (finálny trénovaný model)Predikcia, skóre, klasifikácia alebo vygenerovaná odpoveď
Výpočtové požiadavkyVeľmi vysoké (napríklad distribuované klastre GPU)Nižšie na jednu požiadavku, ale citlivé na latenciu
Časová citlivosťOffline, nie je určené používateľomV reálnom čase alebo takmer v reálnom čase, určené používateľom
FrekvenciaPríležitostne (úvodný tréning a opätovný tréning)Nepretržite, pri každej požiadavke
Štruktúra nákladovVysoké počiatočné náklady na tréningPriebežné náklady na každú požiadavku
Zameranie optimalizáciePresnosť a znižovanie stratyLatencia, priepustnosť, nákladová efektívnosť
Príklad: systém moderovania obsahu pomocou AISystém sa trénuje na miliónoch príspevkov označených ako „bezpečné“, „spam“, „nenávistné prejavy“ alebo „porušenie pravidiel“. Počas tréningu sa model učí vzory v texte, tóne, kľúčových slovách a kontexte tak, že upravuje svoje vnútorné váhy a rozlišuje škodlivý obsah od prijateľného.Keď používateľ odošle nový príspevok, trénovaný model spracuje text v reálnom čase a priradí skóre pravdepodobnosti každej kategórii obsahu. Na základe týchto skóre systém príspevok automaticky zverejní, označí, obmedzí jeho viditeľnosť alebo ho odošle na ľudskú kontrolu.

Tréning a inference sa často spájajú, no kladú na vašu infraštruktúru a rozpočet veľmi odlišné nároky. Náš článok o AI inference v porovnaní s tréningom vysvetľuje, kam peniaze skutočne smerujú a čomu treba dať prednosť pri prevádzke modelov v produkcii.

Prostredia AI inference

Inference môže prebiehať na rôznych miestach v závislosti od potrieb aplikácie, citlivosti údajov a požiadaviek na výkon. Môže sa vykonávať v centralizovaných cloudových dátových centrách, bližšie k používateľom na okraji siete alebo priamo na lokálnych zariadeniach.

Cloudové prostredia inference

Cloudové prostredia inference sú najbežnejším nastavením produkčnej AI inference a poskytujú škálovateľné výpočtové zdroje, napríklad GPU. Toto prostredie podporuje frameworky na poskytovanie modelov, monitorovanie a integráciu s API a distribuovanými systémami.

Tím nasadzujúci odporúčací nástroj môže napríklad postupovať takto:

  • Spustí inferenčnú službu na DigitalOcean GPU Droplets

  • Nasadí API pomocou App Platform na poskytovanie API

  • Ukladá artefakty modelu v Spaces

Prostredia edge inference

Edge inference prebieha bližšie k zdroju údajov, napríklad v maloobchodných predajniach, továrňach alebo telekomunikačných vežiach, aby sa znížila latencia a spotreba šírky pásma. Pri aplikáciách, ako je analýza videa, lokálne spracovanie údajov zaručuje, že rozhodnutia sa prijímajú v milisekundách namiesto čakania na obojsmernú komunikáciu s centralizovanými cloudovými servermi.

V maloobchodnej predajni bezpečnostná kamera monitoruje pokladničné priestory. Malé edge zariadenie nainštalované na mieste spúšťa model počítačového videnia, ktorý zisťuje podozrivé správanie, napríklad keď niekto odíde bez zaplatenia. Ak systém niečo označí, okamžite upozorní personál predajne. Súhrnné upozornenia a denné analytické reporty sa neskôr nahrajú na centralizovanú kontrolu.

Inference priamo v zariadení

Inference priamo v zariadení prebieha na hardvéri používateľa, napríklad v smartfónoch, notebookoch alebo vstavaných systémoch. Jej cieľom je zlepšiť ochranu súkromia, znížiť závislosť od sieťového pripojenia a zabezpečiť okamžité odpovede v aplikáciách, ako sú hlasoví asistenti a biometrické overovanie.

Keď používateľ vysloví aktivačnú frázu, napríklad „Hey, assistant“, neurónová sieť spustená lokálne v zariadení neustále počúva túto konkrétnu frázu. Zvuk sa spracúva v reálnom čase na CPU zariadenia alebo na vyhradenom čipe AI. Po rozpoznaní aktivačného slova sa systém zapne a odošle požiadavku do cloudu na ďalšie spracovanie. V tomto nastavení:

  • Trénovaný model na rozpoznávanie aktivačného slova je uložený v zariadení.

  • Inference prebieha nepretržite na lokálnom hardvéri.

  • Surový zvuk neopúšťa zariadenie, kým sa neaktivuje.

  • Asistent odpovedá okamžite, aj keď nie je aktívne internetové pripojenie.

Ako si vybrať správne prostredie AI inference

Výber prostredia inference závisí od požiadaviek na latenciu, objemu prevádzky, citlivosti údajov a nákladových obmedzení. V mnohých produkčných systémoch tímy používajú hybridný prístup, ktorý kombinuje spracovanie priamo v zariadení alebo na okraji siete s inferenciou v cloude.

  • Vyberte cloud inference: Ak potrebujete vysokú škálovateľnosť, centralizovanú správu modelov a schopnosť zvládať veľké objemy prevádzky alebo pracovné záťaže náročné na GPU.

  • Vyberte edge inference: Ak aplikácia vyžaduje nízku latenciu v blízkosti zdroja údajov, zníženú spotrebu šírky pásma alebo spracovanie v reálnom čase na distribuovaných miestach.

  • Vyberte inferenciu priamo v zariadení: Ak je dôležitá ochrana súkromia, potrebujete funkčnosť offline alebo sú na hardvéri používateľa, napríklad v smartfóne, nevyhnutné okamžité odozvy.

Neviete sa rozhodnúť medzi edge a cloudom? Začnite jednou otázkou: ako rýchlo musí váš systém reagovať? Prečítajte si náš článok o cloud computingu v porovnaní s edge computingom a zistite, kedy a ako každú možnosť účinne používať.

Výhody AI inference

AI inference určuje, ako rýchlo aplikácia odpovedá, ako spoľahlivo sa škáluje a ako efektívne spravujete náklady na infraštruktúru. Pri správnej implementácii prináša merateľné výkonnostné a prevádzkové výhody:

  • Rozhodovanie v reálnom čase: Inference nepretržite premieňa živé údaje na štruktúrované výstupy s rizikovými skóre, klasifikáciami, poradiami alebo vygenerovaným textom. Tieto výstupy sa odovzdávajú aplikáciám. Modely na detekciu anomálií môžu napríklad v reálnom čase označovať neobvyklú aktivitu, čo umožňuje automatizované upozornenia a rýchlejšie prevádzkové reakcie.

  • Nákladovo efektívne využívanie modelov: Po natrénovaní môže model vytvárať milióny predikcií bez opätovného tréningu. Hoci je inference pri veľkom rozsahu nákladná, techniky ako dávkovanie a kvantizácia môžu znížiť náklady na požiadavku pri obsluhe pracovných záťaží s vysokým objemom, napríklad asistentov poháňaných LLM.

  • Lepšia používateľská skúsenosť: Inference s nízkou latenciou priamo ovplyvňuje, nakoľko aplikácia pôsobí „inteligentne“. Ak funkcia AI odpovie za 100 milisekúnd namiesto 2 sekúnd, používatelia vnímajú produkt ako pohotový, spoľahlivý a dôveryhodný.

  • Škálovateľné produkčné nasadenie: Keď prevádzka rastie, inferenčné pipeline sa horizontálne škálujú pomocou distribuovanej infraštruktúry a automatického škálovania. Asistent na písanie s generatívnou AI, zabudovaný do platformy SaaS, môže mať počas bežnej prevádzky niekoľko stoviek používateľov, no po uvedení produktu pohodlne zvládnuť desaťtisíce.

  • Rýchlejšie experimentovanie a iterácia modelov: Inferenčné pipeline umožňujú testovať a nasadzovať nové verzie modelov bez opätovného tréningu od začiatku. Dva modely môžete A/B testovať tak, že ich poskytujete rôznym skupinám používateľov, spúšťať shadow deployments a vyhodnocovať nový model oproti živej prevádzke bez vplyvu na používateľov alebo využívať canary releases na postupné presmerovanie prevádzky na novú verziu pred úplným nasadením.

Spúšťajte modely generatívnej AI okamžite, bez potreby serverov. Získajte prístup k viacerým modelom pomocou jediného API kľúča, prepínajte poskytovateľov a udržujte svoje inferenčné pracovné záťaže v chode. Pozrite sa, ako nasadiť modely Fal na generovanie obrázkov a zvuku na platforme DigitalOcean Gradient AI pomocou jednoduchých volaní Python v aplikácii Streamlit.

Výzvy inference

Keď sa modely stretnú s produkčnými pracovnými záťažami, prejaví sa zložitosť AI inference. Pri presune aplikácie od experimentovania k rozsiahlemu nasadeniu musíte vyhodnotiť náklady, výkon a obmedzenia infraštruktúry.

  • Vysoké náklady na inference vo veľkom rozsahu: K rastúcim nákladom prispieva nepretržité využívanie GPU, oceňovanie podľa počtu tokenov a nepredvídateľné vzorce prevádzky.

  • Citlivosť produkčných pracovných záťaží na latenciu: Aplikácie v reálnom čase vyžadujú konzistentné odpovede s nízkou latenciou aj pri premenlivej prevádzke. Úzke miesta pri poskytovaní modelov, sieťovej komunikácii alebo prideľovaní hardvéru môžu zhoršiť používateľskú skúsenosť a spoľahlivosť systému.

  • Zložitosť infraštruktúry a réžia orchestrácie: Mnohé tímy sa pri prevádzke inference spoliehajú na viacero nástrojov a API, čím zvyšujú prevádzkovú zložitosť. Orchestrácia nasadzovania, konfigurácia automatického škálovania a observabilita v distribuovaných systémoch si vyžadujú špecializované odborné znalosti plánovania GPU a vyvažovania záťaže.

  • Spoľahlivosť a produkčné problémy: Inferenčné pipeline musia zostať stabilné aj pri zaťažení a zároveň zachovať konzistentnosť výstupov. Ak uzly GPU inference, ktoré zabezpečujú pomoc pri renderovaní, zlyhajú pri vysokej súbežnosti, aktívne relácie úpravy videa môžu zlyhať alebo môžu zamrznúť náhľady.

Chcete prejsť od všeobecných GPU k optimalizovanému inferenčnému cloudu? DigitalOcean spolupracovala so spoločnosťami Character.AI a AMD na znížení nákladov inference o 50 %, škálovaní na ~2X QPS a dosiahnutí ~91 % vyššieho výkonu v porovnaní so štandardnými konfiguráciami GPU.

Typy AI inference

AI inference sa klasifikuje podľa toho, ako a kedy sa vytvárajú predikcie. Niektoré systémy okamžite reagujú na vstupy používateľov, zatiaľ čo iné pravidelne alebo nepretržite spracúvajú veľké objemy údajov podľa toho, ako nastávajú udalosti. Rozdiel spočíva v:

  • Časovaní požiadaviek: Kedy sa predikcie vytvárajú: okamžite pri každej požiadavke, v naplánovaných intervaloch alebo nepretržite pri príchode údajov.

  • Vzore toku údajov: Ako vstupné údaje prechádzajú systémom: jedna požiadavka a odpoveď, hromadné spracovanie súboru údajov alebo streamovanie riadené udalosťami.

  • Požiadavkách na odozvu: Prijateľný čas odozvy aplikácie: milisekundy pri systémoch v reálnom čase alebo oneskorené výsledky pri nenaliehavých pracovných záťažiach.

Inference v reálnom čase (online)

Inference v reálnom čase spracúva každú prichádzajúcu požiadavku samostatne a okamžite vracia predikciu. Riadi sa vzorom „požiadavka – odpoveď“, pri ktorom každá akcia používateľa alebo volanie API spustí predikciu modelu. Čas odozvy sa zvyčajne pohybuje od milisekúnd po niekoľko sekúnd v závislosti od zložitosti modelu a infraštruktúry.

Streamovacia inference

Streamovacia inference priebežne vyhodnocuje prichádzajúce dátové prúdy namiesto čakania na jednotlivé požiadavky alebo naplánované úlohy. Údaje prechádzajú systémom nepretržite a na základe udalostí a predikcie sa vytvárajú takmer v reálnom čase, keď prichádzajú nové údaje. Z hľadiska odozvy sa nachádza medzi inferenciou v reálnom čase a dávkovou inferenciou: je rýchlejšia než naplánované dávkové úlohy, ale pracuje so streamovanými údajmi, nie s izolovanými požiadavkami.

Dávková inference

Dávková inference vykonáva predikcie na veľkých súboroch údajov naraz v naplánovaných intervaloch. Systém spracúva údaje hromadne, napríklad prostredníctvom pravidelných úloh, ktorých dokončenie môže trvať minúty alebo hodiny. Pracovné záťaže sa orchestrujú prostredníctvom plánovačov úloh alebo nástrojov na správu pracovných postupov a spúšťajú sa v distribuovaných výpočtových klastroch. Údaje sa načítajú z úložných systémov, spracujú paralelne a zapíšu späť ako aktualizované tabuľky, súbory alebo databázové záznamy.

TypOpisČas odozvyTok údajovPrípady použitia
Inference v reálnom čase (online)Spracúva každú prichádzajúcu požiadavku samostatneMilisekundy až sekundyPožiadavka – odpoveďChatboty, detekcia podvodov a odporúčacie nástroje
Streamovacia inferenceNepretržite vyhodnocuje prichádzajúce dátové prúdyTakmer v reálnom časeNepretržitý tok riadený udalosťamiMonitorovanie IoT, detekcia finančných udalostí, detekcia anomálií
Dávková inferenceVykonáva predikcie na veľkých súboroch údajov naraz v naplánovaných intervalochMinúty až hodiny (naplánované úlohy)Hromadné spracovanieÚverové skórovanie, analytické reporty, pravidelné skórovanie modelov

Ako funguje AI inference

Proces AI inference prebieha prostredníctvom vrstvy poskytovania modelov, ktorá spracúva požiadavky, vykonáva výpočty (na CPU alebo GPU) a vracia výsledky cez API alebo v konkrétnom formáte. Pozrime sa, čo sa deje v jednotlivých krokoch, keď systém na detekciu podvodov vyhodnocuje transakciu kreditnou kartou.

Obrázok pracovného postupu AI inference

  1. Predspracovanie vstupných údajov: Surové vstupy, ako sú text, obrázky, zvuk alebo štruktúrované údaje, sa overia a transformujú do formátu, ktorý model očakáva. Môže to zahŕňať tokenizáciu (pre LLM), normalizáciu, extrakciu príznakov alebo prevod na tenzory.

Predstavme si napríklad, že zákazník v obchode v São Paule zaplatí kreditnou kartou 2 400 $ za elektroniku — jeho účet je však vedený v Chicagu a zariadenie systém ešte nepozná. Systém z transakcie extrahuje štruktúrované príznaky: sumu, kategóriu obchodníka, odtlačok zariadenia, geolokáciu, denný čas a nedávnu históriu výdavkov. Tieto príznaky sa normalizujú a prevedú na číselný vektor príznakov, ktorý model dokáže spracovať.

  1. Načítanie a inicializácia modelu: Trénovaný model vrátane architektúry a naučených váh sa načíta do pamäte. V produkčných prostrediach sa modely väčšinou nasadzujú v kontajneroch a poskytujú prostredníctvom frameworkov, ako sú TensorFlow Serving, TorchServe alebo vlastné služby založené na FastAPI.

V tomto scenári už v pamäti beží vopred natrénovaná neurónová sieť na detekciu podvodov, nasadená prostredníctvom kontajnerizovaného servera modelov s TorchServe. Keď príde transakcia, brána API nasmeruje vektor príznakov na koncový bod modelu.

  1. Výpočet forward pass: Spracovaný vstup prechádza modelom, v ktorom násobenie matíc a aktivačné funkcie vypočítajú výstup. Pri inferencii hlbokého učenia a LLM sa tento krok vykonáva na GPU alebo iných akcelerátoroch s cieľom optimalizovať latenciu a priepustnosť.

V našom príklade detekcie podvodov model prevedie vektor príznakov cez vrstvy svojej siete a porovná kombináciu neznámeho zariadenia, medzinárodnej polohy a vysokej sumy transakcie so vzormi naučenými z miliónov historických transakcií. Vytvorí surové skóre pravdepodobnosti podvodu 0.92.

  1. Následné spracovanie predikcií: Surový výstup modelu sa prevedie na použiteľný výsledok, napríklad skóre pravdepodobnosti, označenie klasifikácie, zoradený zoznam alebo vygenerované tokeny. Môžu sa použiť prahové hodnoty, stratégie dekódovania (napr. greedy decoding alebo beam search) či obchodné pravidlá.

V tomto prípade mechanizmus pravidiel interpretuje skóre 0.92 podľa obchodnej logiky systému. Keďže prekračuje prahovú hodnotu 0.85 a transakcia je cezhraničná, mechanizmus ju klasifikuje ako vysoko rizikovú a označí ju na dodatočné overenie namiesto úplného zamietnutia.

  1. Doručenie odpovede a zaznamenávanie: Konečný výstup sa podľa architektúry aplikácie vráti do API, databáz alebo nadväzujúcich systémov (ako sú streamy Kafka, platobné brány, systémy upozornení atď.). Zároveň sa zaznamenávajú metriky, ako sú latencia (P95/P99), priepustnosť a chybovosť, na monitorovanie, škálovanie a optimalizáciu výkonu.

Na záver, do 120 milisekúnd od prvého priloženia karty platobná brána dostane klasifikáciu vysokého rizika a spustí požiadavku na overenie OTP na telefón zákazníka. Súčasne systém zaznamená skóre modelu, metadáta transakcie, latenciu (P95) a výsledok overenia — údaje, ktoré prispejú k budúcemu opätovnému tréningu modelu a monitorovaniu výkonu.

Prestaňte naháňať surové FLOPs a porovnávajte výkon inferencie LLM tam, kde na tom záleží. Prečítajte si úplného sprievodcu LLM Inference Benchmarking a zistite, ako merať latenciu, priepustnosť, súbežnosť a náklady.

Kľúčové ukazovatele výkonu AI inference

Optimalizácia inference sa začína tým, že viete, ktorým metrikám venovať pozornosť. Nie všetky budú pre váš prípad použitia rovnako dôležité, no ignorovanie ktorejkoľvek z nich môže viesť k pomalým odpovediam, plytvaniu výpočtovým výkonom alebo nenápadnému rastu nákladov. Tu sú tie najdôležitejšie:

Ukazovateľ výkonuOpisPrečo je dôležitýPríklad
LatenciaČas potrebný na vytvorenie predikcie pre jednu požiadavkuUrčuje rýchlosť vnímanú používateľom; chvostová latencia (P95/P99) vyjadruje najhoršie oneskorenia pri zaťaženíChatbot odpovedá v priemere za 120ms, ale pri P99 počas špičky za 2 sekundy
PriepustnosťPočet požiadaviek za sekundu (RPS) alebo tokenov za sekundu (pre LLM)Ukazuje, akú prevádzku systém zvládne, kým sa jeho výkon nezhoršíLLM generujúci 80 tokenov/sec oproti 20 tokenom/sec ovplyvňuje rýchlosť odpovede vo veľkom rozsahu
Náklady na požiadavkuVýpočtové náklady spotrebované pri každom volaní inferenceOvplyvňujú dlhodobú ekonomiku produkcie a životaschopnosť škálovaniaInference s GPU stojí $0.002 na požiadavku oproti $0.02 pri veľkom objeme
Využitie hardvéruEfektivita využitia CPU, GPU alebo akcelerátoraNízke využitie zvyšuje náklady a vytvára úzke miesta výkonuGPU pracujúca pri 30 % využití plytvá kapacitou a zvyšuje náklady na predikciu
Škálovateľnosť pri zaťaženíSchopnosť udržať výkon počas špičiek prevádzkyZabezpečuje spoľahlivosť a konzistentnú latenciu pri špičkovom dopyteOdporúčací systém e-commerce zvládajúci prevádzku počas Black Friday bez špičiek latencie

Prípady použitia AI inference

AI inference sa začína v okamihu, keď vaša aplikácia skutočne odpovie. Či už skóruje transakciu, radí výsledky vyhľadávania alebo generuje text, inference je vykonávacia vrstva, ktorá premieňa inteligenciu modelu na akciu viditeľnú používateľovi.

  • Detekcia podvodov vo finančných transakciách: Americká spoločnosť H2o.ai z oblasti platobných systémov spracúva modely hlbokého učenia trénované na 160 miliónoch záznamov s 1,500 príznakmi na detekciu podvodov v reálnom čase. Keď sa iniciuje nová transakcia, nasadený model ju ohodnotí v priebehu milisekúnd. Systém zablokuje alebo označí podozrivú aktivitu ešte pred autorizáciou.

  • Analýza medicínskych snímok: V zdravotníctve štúdia detekcie mozgových nádorov ukazuje, ako inference medicínskych snímok funguje v praxi. Snímky MRI sa najprv označili, zmenšili na 150×150 pixelov a normalizovali, potom sa odovzdali prispôsobenej konvolučnej neurónovej sieti (CNN). Počas inference trénovaný model klasifikoval každú snímku ako nádorovú alebo bez nádoru s validačnou presnosťou 98.67%. Na podporu klinického rozhodovania vytvorili techniky následného spracovania, ako SHAP, LIME a Grad-CAM, vizuálne teplotné mapy zvýrazňujúce oblasti, ktoré ovplyvnili predikciu.

  • Poradie vo vyhľadávaní a odporúčacie systémy: Keď používateľ odošle dopyt alebo navštívi stránku, zakódujú sa kontextové príznaky, ako sú predchádzajúce kliknutia, správanie počas relácie a metadáta. Model na určovanie poradia alebo odporúčaní v reálnom čase ohodnotí viacero kandidátskych položiek. Systém AI inference zoradí výsledky podľa predpokladaného skóre relevantnosti a vráti zoradený zoznam v rámci prísnych limitov latencie. Netflix využíva inferenciu, pri ktorej prvá fáza vyhľadávania kandidátov používa kliknutia v relácii, správanie pri prehliadaní a dlhodobé preferencie na vytvorenie súboru kandidátov. Druhá fáza potom pomocou modelu hlbokého učenia vypočíta skóre relevantnosti a doručí zoradený zoznam približne za 40 milisekúnd.

  • Vnímanie prostredia autonómnym vozidlom: Spoločnosť Tata Elxsi integrovala AI so senzormi LiDAR s dlhým dosahom (až 1 km), ktoré pracujú na frekvencii 10 Hz, aby zabezpečila vnímanie prostredia autonómnym vozidlom v reálnom čase. Cloudové údaje z LiDAR a snímky z kamier sa zlúčili a previedli na tenzory. Tenzorové údaje sa následne privádzajú do modelov hlbokého učenia, ktoré vykonávajú inferenciu na detekciu vozidiel, chodcov a dopravných značiek a segmentáciu prejazdných oblastí. Výstupy modelu, ako klasifikácie objektov, odhady vzdialenosti a detekcie porušení (napríklad jazda v protismere alebo prekročenie rýchlosti), sa odovzdávajú priamo monitorovacím a riadiacim systémom na okamžité upozornenia alebo rozhodnutia pri riadení v rôznych svetelných a poveternostných podmienkach.

  • Generatívna AI a tvorba obsahu: Writer je agentná platforma AI, ktorá nasadzuje LLM so 40 miliardami parametrov na generovanie marketingových textov a podnikového obsahu. Používateľské prompty sa odosielajú cez API, spracúvajú ich modely akcelerované pomocou GPU a poskytované cez NVIDIA Triton Inference Server a odpovede sa generujú token po tokene. V tomto prípade inference podporuje až bilión volaní API mesačne a vytvára 90,000 slov za sekundu.

Ako DigitalOcean buduje inferenciu novej generácie? Pozrite sa, ako inžinieri DigitalOcean používajú Ray, vLLM a Kubernetes na budovanie škálovateľnej inferencie optimalizovanej pre GPU pre generatívnu AI. Pozrite si reláciu a zistite, ako fungujú bezserverové a vyhradené režimy, dynamické dávkovanie a pokročilé stratégie KV cache.

Časté otázky o AI inference

Čo je AI inference?

AI inference je proces používania trénovaného modelu strojového učenia na generovanie predikcií alebo výstupov z nových, dosiaľ nevidených údajov. Je to produkčná fáza AI, v ktorej sa modely spúšťajú na tvorbu aplikácií v reálnom čase, analytických riešení a automatizovaných systémov rozhodovania.

Aký je rozdiel medzi tréningom a inferenciou? Tréning vytvára model učením sa vzorov z rozsiahlych súborov údajov a úpravou jeho vnútorných parametrov. Inference používa trénovaný model na nových údajoch na vytvorenie predikcií, klasifikácií alebo generovaných výstupov.

Je inference v produkcii dôležitejšia než tréning? V produkčných systémoch je inference z prevádzkového hľadiska dôležitejšia, pretože beží nepretržite a priamo ovplyvňuje latenciu, škálovateľnosť a náklady. Kým tréning určuje presnosť modelu, inference určuje používateľskú skúsenosť a ekonomiku produkcie.

Aký hardvér sa používa na AI inference? AI inference beží na GPU a špecializovaných akcelerátoroch, ako sú TPU, v závislosti od požiadaviek na výkon a pracovnú záťaž. GPU inference je bežná pri pracovných záťažiach hlbokého učenia a LLM.

Čo je inference v reálnom čase v porovnaní s dávkovou inferenciou?

Inference v reálnom čase vytvára predikcie okamžite po príchode požiadavky, väčšinou v priebehu milisekúnd alebo sekúnd. Používa sa v interaktívnych aplikáciách, kde používatelia alebo systémy potrebujú okamžité odpovede, napríklad v chatbotoch, pri detekcii podvodov alebo v odporúčacích systémoch.

Dávková inference spracúva veľké objemy údajov v naplánovaných intervaloch namiesto odpovedania na jednotlivé požiadavky. Modely vykonávajú predikcie na nahromadených súboroch údajov ako periodické úlohy a vytvárajú výstupy, napríklad rizikové skóre, predpovede dopytu alebo analytické reporty.

Ktoré platformy sú najlepšie na AI inference?

Najlepšie platformy na AI inference poskytujú škálovateľnú infraštruktúru GPU, predvídateľné ceny a integrované nástroje na poskytovanie modelov. Gradient™ AI inference Cloud od DigitalOcean ponúka inferenciu poháňanú GPU, automatické škálovanie a zjednodušenú infraštruktúru pre produkčné pracovné záťaže AI.

Využite tento sprievodca s Ailoot

Prepojte modely AI so svojimi aplikáciami, agentmi a automatizáciami cez jediné Ailoot API. Vyberte model, ktorý vyhovuje vašej úlohe, a začnite podľa dokumentácie Ailoot.