Kaj je sklepanje umetne inteligence? Proces v ozadju vsakega izhoda umetne inteligence
MarkdownIzvedite, kaj je sklepanje umetne inteligence, kako naučeni modeli ustvarjajo napovedi v realnem času ter zakaj so pri razvoju aplikacij umetne inteligence pomembni zakasnitev, stroški in razširljivost.
Vsakič, ko aplikacija umetne inteligence ustvari odgovor ali označi goljufivo transakcijo, izvaja sklepanje. Naučeni model sprejme nove podatke in jih obdela skozi plasti naučenih parametrov, da ustvari izhod. To se zgodi v milisekundah in pogosto več milijonkrat na dan. Toda takšna hitrost ima svojo ceno. Vsaka zahteva za sklepanje zahteva računsko moč grafičnega procesorja (GPU) in pasovno širino pomnilnika, ki se povečujeta z velikostjo modela in obsegom prometa. Nenadni skoki zakasnitve frustrirajo uporabnike. Računi za GPU rastejo hitreje od pričakovanj. Poleg tega uvajanje delovnih obremenitev v več regijah prinaša infrastrukturno zapletenost, ki je večina ekip ne predvidi. digitalocean.com/currents/february-2026), sklepanje zdaj v številnih organizacijah porabi približno 76–100 % proračunov za umetno inteligenco.
Če uvajate modele strojnega učenja ali delovne tokove umetne inteligence, ni najpomembnejše le, kako se vaš model uči. Pomembno je tudi, kako učinkovito v realnem času zagotavlja napovedi. Razumevanje, kaj je sklepanje umetne inteligence in kaj določa njegovo zmogljivost, vam lahko pomaga pri sprejemanju boljših arhitekturnih odločitev za vaš naslednji projekt umetne inteligence.
Ključne ugotovitve:
Medtem ko se pri učenju razvija inteligenca modela, sklepanje poganja aplikacije, kot so zaznavanje goljufij, klepetalni vmesniki LLM in priporočilni sistemi.
Ker se proračuni za umetno inteligenco preusmerjajo k uvajanju, so za razvoj aplikacij AI/ML pomembni dejavniki prepustnost, strošek na zahtevo, izkoriščenost GPU in zakasnitev P95/P99.
Okolja za sklepanje umetne inteligence, kot so oblak, robno računalništvo in sklepanje v napravi, zadovoljujejo različne potrebe glede zakasnitve, zasebnosti, pasovne širine in razširljivosti. Številni produkcijski sistemi uporabljajo hibridni pristop.
Z rešitvami DigitalOcean GPU Droplets, Bare Metal GPUs in Gradient™ AI Inference Cloud lahko uvajate razširljivo in stroškovno učinkovito sklepanje brez zapletenosti hiperskalerjev.
Kaj je sklepanje umetne inteligence?
Slika življenjskega cikla izdelka umetne inteligence
Sklepanje umetne inteligence je faza življenjskega cikla umetne inteligence, v kateri naučeni model ustvarja napovedi ali izhode na podlagi novih podatkov. Poganja aplikacije v živo, kot so priporočilni sistemi, medicinska diagnostika in klepetalni vmesniki velikih jezikovnih modelov (LLM). V vaših produkcijskih okoljih sklepanje umetne inteligence določa, kako hitro uporabniki dobijo rezultate, kako dobro sistem obvladuje prometne konice in koliko stane zagotavljanje posamezne napovedi.
Workato zniža stroške sklepanja za 67 %:
Workato, ki izvaja agentsko umetno inteligenco v obsegu bilijona delovnih obremenitev, je sodeloval z oblakom za agentsko sklepanje DigitalOcean, da bi optimiziral sklepanje LLM z dolgim kontekstom. Z uvedbo NVIDIA Dynamo in vLLM na DOKS z usmerjanjem, ki upošteva KV, so dosegli 67 % več žetonov na sekundo na GPU in 67 % nižje stroške modelov ob uporabi polovice GPU-jev.
Kakšna je razlika med učenjem in sklepanjem?
Učenje je način, kako se model uči. Dovajate mu ogromne podatkovne zbirke, model pa iterativno prilagaja milijone notranjih parametrov, dokler sam ne prepozna vzorcev. Model prejme vhodne podatke skupaj s pravilnimi odgovori (na primer slike z oznakami ali besedilo s pričakovanimi izhodi), nato ustvari napovedi, jih primerja s pravilnimi odgovori in se prilagodi, da zmanjša število napak. To se ponavlja skozi številne cikle, dokler model ne postane dober pri ustvarjanju natančnih napovedi. Ta proces zahteva veliko računske moči, vendar poteka enkrat ali občasno. Sklepanje sledi za tem: naučeni model sprejme nove podatke, ki jih še ni videl, in v realnem času ustvari napoved ali odgovor.
| Dejavnik | Učenje umetne inteligence | Sklepanje umetne inteligence |
|---|---|---|
| Namen | Naučiti se vzorcev in optimizirati natančnost modela | Ustvariti napovedi ali izhode na podlagi novih podatkov |
| Uporabljeni podatki | Velike označene podatkovne zbirke (npr. pretekle goljufive transakcije, označene medicinske slike, ocene z oznakami sentimenta) | Novi, še nevideni vhodni podatki |
| Izhod | Posodobljene uteži modela (končni naučeni model) | Napoved, ocena, klasifikacija ali ustvarjeni odgovor |
| Računske zahteve | Zelo visoke (na primer porazdeljene gruče GPU) | Nižje na zahtevo, vendar občutljive na zakasnitev |
| Časovna občutljivost | Brez povezave, ni namenjeno uporabnikom | V realnem času ali skoraj v realnem času, namenjeno uporabnikom |
| Pogostost | Občasno (začetno učenje in ponovno učenje) | Neprekinjeno, izvaja se ob vsaki zahtevi |
| Struktura stroškov | Visoki začetni stroški učenja | Stalni stroški na zahtevo |
| Poudarek optimizacije | Natančnost in zmanjševanje izgube | Zakasnitev, prepustnost, stroškovna učinkovitost |
| Primer: sistem za moderiranje vsebin z umetno inteligenco | Sistem se uči na milijonih objav z oznakami »varno«, »neželena pošta«, »sovražni govor« ali »kršitev pravilnikov«. Med učenjem se model nauči vzorcev v besedilu, tonu, ključnih besedah in kontekstu tako, da prilagaja notranje uteži ter razlikuje škodljivo vsebino od sprejemljive. | Ko uporabnik odda novo objavo, naučeni model v realnem času obdela besedilo in dodeli verjetnostne ocene za vsako kategorijo vsebine. Na podlagi teh ocen sistem objavo samodejno objavi, označi, omeji njeno vidnost ali jo posreduje v človeški pregled. |
Učenje in sklepanje se pogosto obravnavata skupaj, vendar za infrastrukturo in proračun pomenita zelo različne zahteve. Naš članek o sklepanju umetne inteligence v primerjavi z učenjem pojasnjuje, kam gre denar in kaj je treba prednostno obravnavati pri izvajanju modelov v produkciji.
Okolja za sklepanje umetne inteligence
Sklepanje se lahko izvaja na različnih lokacijah, odvisno od potreb aplikacije, občutljivosti podatkov in zahtev glede zmogljivosti. Poteka lahko v centraliziranih podatkovnih centrih v oblaku, bližje uporabnikom na robu omrežja ali neposredno na lokalnih napravah.
Okolja za sklepanje v oblaku
Okolja za sklepanje v oblaku so najpogostejša za produkcijsko sklepanje umetne inteligence ter ponujajo razširljive računske vire, kot so GPU. Podpirajo ogrodja za zagotavljanje modelov, spremljanje ter integracijo z API-ji in porazdeljenimi sistemi.
Ekipa, ki uvaja priporočilni sistem, bi lahko na primer uporabila naslednji potek dela:
Storitev sklepanja izvaja na DigitalOcean GPU Droplets
API-je uvede z App Platform za zagotavljanje API-jev
Artefakte modelov hrani v Spaces
Okolja za sklepanje na robu omrežja
Sklepanje na robu poteka bližje viru podatkov, na primer v trgovinah, tovarnah ali telekomunikacijskih stolpih, da zmanjša zakasnitev in porabo pasovne širine. Pri aplikacijah, kot je videoanalitika, lokalna obdelava podatkov zagotavlja, da se odločitve sprejmejo v milisekundah, namesto da bi se čakalo na povratno komunikacijo s centraliziranimi strežniki v oblaku.
V trgovini varnostna kamera spremlja blagajne. Majhna robna naprava, nameščena na lokaciji, izvaja model računalniškega vida, ki zazna sumljivo vedenje, na primer neplačilo izdelka. Če sistem zazna takšno vedenje, nemudoma opozori osebje trgovine. Povzetki opozoril in dnevna analitična poročila se pozneje naložijo za centraliziran pregled.
Sklepanje v napravi
Sklepanje v napravi poteka neposredno na uporabnikovi strojni opremi, kot so pametni telefoni, prenosniki ali vgrajeni sistemi. Njegov namen je izboljšati zasebnost, zmanjšati odvisnost od omrežne povezljivosti in omogočiti takojšnje odzive v aplikacijah, kot so glasovni pomočniki in biometrična avtentikacija.
Ko uporabnik izgovori aktivacijsko frazo, kot je »Hej, pomočnik«, nevronska mreža, ki deluje lokalno v napravi, neprekinjeno posluša to določeno frazo. Zvok se v realnem času obdela na procesorju naprave ali namenskem čipu za umetno inteligenco. Ko je zaznana aktivacijska beseda, se sistem aktivira in pošlje zahtevo v oblak za nadaljnjo obdelavo. Pri tej zasnovi:
Naučeni model za zaznavanje aktivacijske besede je shranjen v napravi.
Sklepanje neprekinjeno poteka na lokalni strojni opremi.
Surovi zvok ne zapusti naprave, razen ko se ta aktivira.
Pomočnik se odzove takoj, tudi brez aktivne internetne povezave.
Kako izbrati pravo okolje za sklepanje umetne inteligence
Izbrano okolje za sklepanje je odvisno od zahtev glede zakasnitve, obsega prometa, občutljivosti podatkov in stroškovnih omejitev. Številne produkcijske ekipe uporabljajo hibridni pristop, ki združuje obdelavo v napravi ali na robu z oblaku temelječim sklepanjem.
Izberite sklepanje v oblaku: Če potrebujete visoko razširljivost, centralizirano upravljanje modelov in možnost obravnave velikega obsega prometa ali delovnih obremenitev, ki intenzivno uporabljajo GPU.
Izberite sklepanje na robu: Če vaša aplikacija zahteva majhno zakasnitev v bližini vira podatkov, manjšo porabo pasovne širine ali obdelavo v realnem času na porazdeljenih lokacijah.
Izberite sklepanje v napravi: Če je zasebnost pomembna, je potrebna funkcionalnost brez povezave ali so na uporabnikovi strojni opremi, kot so pametni telefoni, potrebni takojšnji odzivi.
Vas bega robno računalništvo v primerjavi z oblakom? Začnite z enim vprašanjem: kako hitro se mora vaš sistem odzvati? Preberite naš članek o računalništvu v oblaku in na robu, da boste razumeli, kdaj in kako učinkovito uporabiti posamezno možnost.
Prednosti sklepanja umetne inteligence
Sklepanje umetne inteligence določa, kako hitro se vaša aplikacija odziva, kako zanesljivo se razširja in kako učinkovito obvladujete stroške infrastrukture. Ob pravilni uvedbi prinaša merljive prednosti pri zmogljivosti in delovanju:
Odločanje v realnem času: Sklepanje neprekinjeno pretvarja podatke v živo v strukturirane izhode z ocenami tveganja, klasifikacijami, razvrstitvami ali ustvarjenim besedilom. Ti izhodi se posredujejo aplikacijam. Modeli za zaznavanje anomalij lahko na primer v realnem času označijo nenavadno dejavnost, kar omogoča samodejna opozorila in hitrejše odzive v delovanju.
Stroškovno učinkovita uporaba modelov: Ko je model naučen, lahko ustvari milijone napovedi brez ponovnega učenja. Čeprav je sklepanje v velikem obsegu drago, lahko tehnike, kot sta paketna obdelava in kvantizacija, znižajo strošek na zahtevo pri zagotavljanju velikih delovnih obremenitev, na primer pomočnikov, ki uporabljajo LLM.
Izboljšana uporabniška izkušnja: Sklepanje z majhno zakasnitvijo neposredno vpliva na to, kako »inteligentna« se zdi aplikacija. Če se funkcija umetne inteligence odzove v 100 milisekundah namesto v 2 sekundah, uporabniki izdelek dojemajo kot odziven, zanesljiv in zaupanja vreden.
Razširljiva produkcijska uvedba: Ko promet raste, se cevovodi za sklepanje vodoravno razširjajo z uporabo porazdeljene infrastrukture in samodejnega prilagajanja obsega. Pisalni pomočnik z generativno umetno inteligenco, vgrajen v platformo SaaS, ima lahko med običajnimi urami nekaj sto uporabnikov, po uvedbi izdelka pa brez težav obravnava več deset tisoč uporabnikov.
Hitrejše eksperimentiranje in iteriranje modelov: Cevovodi za sklepanje omogočajo preizkušanje in uvajanje novih različic modelov brez učenja od začetka. Dva modela lahko preizkušate z A/B-testiranjem na različnih segmentih uporabnikov, izvajate senčne uvedbe, da novi model ovrednotite glede na promet v živo brez vpliva na uporabnike, ali uporabite postopne uvedbe, da pred popolno uvedbo promet postopoma preusmerite na novo različico.
Takoj zaženite modele generativne umetne inteligence, brez strežnikov. Z enim ključem API dostopajte do več modelov, menjajte ponudnike in ohranite delovanje svojih delovnih obremenitev sklepanja. Oglejte si, kako uvedete modele za ustvarjanje slik in zvoka Fal na platformi DigitalOcean Gradient AI z uporabo preprostih klicev Python v aplikaciji Streamlit.
Izzivi sklepanja
Ko se modeli srečajo s produkcijskimi delovnimi obremenitvami, se pokaže zapletenost sklepanja umetne inteligence. Pri prehodu aplikacije iz eksperimentiranja v obsežno uvedbo morate oceniti stroške, zmogljivost in infrastrukturne omejitve.
Visoki stroški sklepanja v velikem obsegu: K tem naraščajočim stroškom prispevajo stalna uporaba GPU, cene na podlagi žetonov in nepredvidljivi vzorci prometa.
Občutljivost produkcijskih delovnih obremenitev na zakasnitev: Aplikacije v realnem času zahtevajo dosledne odzive z majhno zakasnitvijo pri spremenljivem prometu. Ozka grla pri zagotavljanju modelov, omrežju ali dodeljevanju strojne opreme lahko poslabšajo uporabniško izkušnjo in zanesljivost sistema.
Infrastrukturna zapletenost in režijski stroški orkestracije: Številne ekipe za izvajanje sklepanja uporabljajo več orodij in API-jev, kar povečuje operativno zapletenost. Orkestracija uvajanja, konfiguracija samodejnega prilagajanja obsega in opazljivost v porazdeljenih sistemih zahtevajo specializirano strokovno znanje o razporejanju GPU in uravnoteženju obremenitev.
Zanesljivost in produkcijski pomisleki: Cevovodi za sklepanje morajo ostati stabilni pod obremenitvijo in hkrati ohranjati doslednost izhodov. Če se vozlišča za sklepanje na GPU, ki obdelujejo pomoč pri upodabljanju, sesujejo pri visoki sočasnosti, lahko aktivne seje urejanja videa odpovejo ali pa predogledi zamrznejo.
Želite preiti s splošnih GPU na optimiziran oblak za sklepanje? DigitalOcean je sodeloval s Character.AI in AMD, da bi stroške sklepanja znižal za 50 %, obseg povečal na ~2X QPS in dosegel ~91 % večjo zmogljivost v primerjavi s standardnimi konfiguracijami GPU.
Vrste sklepanja umetne inteligence
Sklepanje umetne inteligence se razvršča glede na to, kako in kdaj nastanejo napovedi. Nekateri sistemi se takoj odzovejo na uporabniške vnose, drugi pa občasno ali neprekinjeno obdelujejo velike količine podatkov, ko se zgodijo dogodki. Razlike so v:
Časovni razporeditvi zahtev: Kdaj nastanejo napovedi: takoj ob vsaki zahtevi, v načrtovanih intervalih ali neprekinjeno ob prihodu podatkov.
Vzorcu pretoka podatkov: Kako se vhodni podatki premikajo skozi sistem: posamezna zahteva in odgovor, paketna obdelava podatkovne zbirke ali pretočni prenos na podlagi dogodkov.
Zahtevah glede odzivnosti: Sprejemljivem času odziva aplikacije: milisekundah za sisteme v realnem času ali zakasnjenih rezultatih za delovne obremenitve, ki niso nujne.
Sklepanje v realnem času (sprotno)
Sklepanje v realnem času obdela eno zahtevo naenkrat, ko prispe, in takoj vrne napoved. Sledi vzorcu »zahteva–odgovor«, pri katerem vsako dejanje uporabnika ali klic API sproži napoved modela. Odzivni časi običajno segajo od milisekund do nekaj sekund, odvisno od zapletenosti modela in infrastrukture.
Pretočno sklepanje
Pretočno sklepanje neprekinjeno vrednoti vhodne podatkovne tokove, namesto da bi čakalo na posamezne zahteve ali načrtovana opravila. Podatki se skozi sistem pretakajo neprekinjeno in na podlagi dogodkov, napovedi pa nastajajo skoraj v realnem času, ko prispejo novi podatki. Glede odzivnosti je med sklepanjem v realnem času in paketnim sklepanjem: hitrejše je od načrtovanih paketnih opravil, vendar deluje na pretočnih podatkih in ne na osamljenih zahtevah.
Paketno sklepanje
Paketno sklepanje izvaja napovedi za velike podatkovne zbirke skupaj v načrtovanih intervalih. Sistem obdeluje podatke v paketih, kot pri rednih opravilih, ki lahko trajajo minute ali ure. Delovne obremenitve se orkestrirajo z razporejevalniki opravil ali ogrodji delovnih tokov ter izvajajo na porazdeljenih računskih gručah. Podatki se preberejo iz sistemov za shranjevanje, obdelajo vzporedno in zapišejo nazaj kot posodobljene tabele, datoteke ali zapisi v podatkovni zbirki.
| Vrsta | Opis | Čas odziva | Pretok podatkov | Primeri uporabe |
|---|---|---|---|---|
| Sklepanje v realnem času (sprotno) | Obdela eno zahtevo naenkrat, ko prispe | Milisekunde do sekunde | Zahteva–odgovor | Klepetalni roboti, zaznavanje goljufij in priporočilni sistemi |
| Pretočno sklepanje | Neprekinjeno vrednoti vhodne podatkovne tokove | Skoraj v realnem času | Neprekinjen pretok na podlagi dogodkov | Spremljanje IoT, zaznavanje finančnih dogodkov, zaznavanje anomalij |
| Paketno sklepanje | Izvaja napovedi za velike podatkovne zbirke skupaj v načrtovanih intervalih | Minute do ure (načrtovana opravila) | Paketna obdelava | Bonitetno ocenjevanje, analitična poročila, periodično ocenjevanje modelov |
Kako deluje sklepanje umetne inteligence
Proces sklepanja umetne inteligence poteka prek plasti za zagotavljanje modelov, ki obravnava zahteve, izvaja izračune (na procesorjih CPU ali GPU) in vrača rezultate prek API-ja ali v določeni obliki. Oglejmo si, kaj se zgodi v posameznem koraku, ko sistem za zaznavanje goljufij oceni transakcijo s kreditno kartico.
Slika delovnega toka sklepanja umetne inteligence
- Predobdelava vhodnih podatkov: Surovi vhodi, kot so besedilo, slike, zvok ali strukturirani podatki, se preverijo in pretvorijo v obliko, ki jo pričakuje model. To lahko vključuje tokenizacijo (za LLM), normalizacijo, pridobivanje značilk ali pretvorbo v tenzorje.
Recimo, da stranka pri trgovcu v São Paulu plača 2.400 $ za elektronsko opremo s kreditno kartico, njen račun pa je v Chicagu, naprave pa sistem še ni videl. Sistem iz transakcije pridobi strukturirane značilke: znesek, kategorijo trgovca, prstni odtis naprave, geolokacijo, čas dneva in nedavno zgodovino porabe. Te značilke se normalizirajo in pretvorijo v numerični vektor značilk, ki ga model lahko obdela.
- Nalaganje in inicializacija modela: Naučeni model, vključno z njegovo arhitekturo in naučenimi utežmi, se naloži v pomnilnik. V produkcijskih okoljih so modeli večinoma v vsebnikih in se zagotavljajo prek ogrodij, kot so TensorFlow Serving, TorchServe ali storitve po meri, zasnovane na FastAPI.
V tem primeru v pomnilniku že deluje vnaprej naučena nevronska mreža za zaznavanje goljufij, uvedena prek strežnika modelov v vsebniku s TorchServe. Ko prispe transakcija, prehod API usmeri vektor značilk do končne točke modela.
- Izračun pri prehodu naprej: Obdelani vhod se posreduje skozi model, kjer matrična množenja in aktivacijske funkcije izračunajo izhod. Pri sklepanju globokega učenja in LLM se ta korak izvaja na GPU ali drugih pospeševalnikih za optimizacijo zakasnitve in prepustnosti.
V nadaljevanju primera zaznavanja goljufij model požene vektor značilk skozi plasti svoje mreže in kombinacijo neznane naprave, mednarodne lokacije ter visokega zneska transakcije primerja z vzorci, naučenimi na milijonih preteklih transakcij. Ustvari surovo oceno verjetnosti goljufije 0,92.
- Naknadna obdelava napovedi: Surovi izhod modela se pretvori v uporaben rezultat, kot so ocena verjetnosti, oznaka klasifikacije, razvrščen seznam ali ustvarjeni žetoni. Uporabijo se lahko pragovi, strategije dekodiranja (npr. požrešno dekodiranje ali iskanje po snopu) ali poslovna pravila.
V tem primeru mehanizem pravil oceno 0,92 razlaga glede na poslovno logiko sistema. Ker presega prag 0,85 in je transakcija čezmejna, jo mehanizem razvrsti kot visoko tvegano in označi za dodatno avtentikacijo, namesto da bi jo neposredno zavrnil.
- Dostava odgovorov in beleženje: Končni izhod se glede na arhitekturo aplikacije vrne API-jem, podatkovnim zbirkam ali nadaljnjim sistemom (kot so tokovi Kafka, plačilni prehodi, sistemi opozarjanja itd.). Hkrati se za spremljanje, prilagajanje obsega in optimizacijo zmogljivosti beležijo metrike, kot so zakasnitev (P95/P99), prepustnost in stopnje napak.
Za zaključek zaporedja plačilni prehod v 120 milisekundah od začetnega plačila prejme klasifikacijo visoko tveganje in stranki na telefon pošlje zahtevo za preverjanje z enkratnim geslom (OTP). Hkrati sistem zabeleži oceno modela, metapodatke transakcije, zakasnitev (P95) in izid avtentikacije — podatke, ki bodo uporabljeni pri prihodnjem ponovnem učenju modela in spremljanju zmogljivosti.
Nehajte loviti surove FLOPS in primerjajte sklepanje LLM tam, kjer je to pomembno. Preberite celoten vodnik o primerjalnem testiranju sklepanja LLM, da se naučite meriti zakasnitev, prepustnost, sočasnost in stroške.
Ključni kazalniki zmogljivosti za sklepanje umetne inteligence
Optimizacija sklepanja se začne z razumevanjem, katerim metrikam je treba posvetiti pozornost. Za vaš primer uporabe ne bodo vse enako pomembne, vendar lahko prezrtje katere koli od njih povzroči počasne odzive, potrato računske moči ali stroške, ki se neopazno povečujejo. Tu so najpomembnejše:
| Kazalnik zmogljivosti | Opis | Zakaj je pomemben | Primer |
|---|---|---|---|
| Zakasnitev | Čas, potreben za ustvarjanje napovedi za posamezno zahtevo | Določa zaznano hitrost za uporabnika; zakasnitev v repu (P95/P99) odraža najdaljše zamude pri obremenitvi | Klepetalni robot v povprečju odgovori v 120 ms, pri P99 pa med prometno konico v 2 sekundah |
| Prepustnost | Število zahtev na sekundo (RPS) ali žetonov na sekundo (za LLM) | Pokaže, koliko prometa sistem lahko obravnava, preden se zmogljivost poslabša | LLM, ki ustvari 80 žetonov/s v primerjavi z 20 žetoni/s, vpliva na hitrost odziva v velikem obsegu |
| Strošek na zahtevo | Računski strošek, porabljen za vsak klic sklepanja | Vpliva na dolgoročno ekonomiko produkcije in upravičenost razširjanja | Sklepanje na GPU stane 0,002 $ na zahtevo v primerjavi z 0,02 $ pri velikem obsegu |
| Izkoriščenost strojne opreme | Učinkovitost uporabe procesorja CPU, GPU ali pospeševalnika | Slaba izkoriščenost poveča stroške in ustvarja ozka grla pri zmogljivosti | GPU, ki deluje pri 30-odstotni izkoriščenosti, zapravlja zmogljivost in zvišuje strošek na napoved |
| Razširljivost pod obremenitvijo | Zmožnost ohranjanja zmogljivosti med prometnimi konicami | Zagotavlja zanesljivost in dosledno zakasnitev ob največjem povpraševanju | Priporočilni sistem za e-trgovino obvladuje promet črnega petka brez skokov zakasnitve |
Primeri uporabe sklepanja umetne inteligence
Sklepanje umetne inteligence se začne v trenutku, ko se vaša aplikacija dejansko odzove. Naj gre za ocenjevanje transakcije, razvrščanje rezultatov iskanja ali ustvarjanje besedila, sklepanje je izvedbena plast, ki inteligenco modela spremeni v dejanje, vidno uporabniku.
Zaznavanje goljufij pri finančnih transakcijah: Ameriško podjetje za plačilne sisteme H2o.ai obdeluje modele globokega učenja, naučene na 160 milijonih zapisov s 1.500 značilkami, za zaznavanje goljufij v realnem času. Ko se sproži nova transakcija, jo uvedeni model oceni v milisekundah. Sistem blokira ali označi sumljivo dejavnost pred avtorizacijo.
Analiza medicinskih slik: V zdravstvu študija zaznavanja možganskih tumorjev pokaže, kako sklepanje na medicinskih slikah deluje v praksi. Posnetki MRI so bili najprej označeni, spremenjeni na velikost 150×150 slikovnih pik in normalizirani, preden so bili posredovani prilagojeni konvolucijski nevronski mreži (CNN). Med sklepanjem je naučeni model vsak posnetek razvrstil kot tumorski ali netumorski z natančnostjo preverjanja 98,67 %. Za podporo kliničnemu odločanju so tehnike naknadne obdelave, kot so SHAP, LIME in Grad-CAM, ustvarile vizualne toplotne zemljevide, ki so poudarili regije, ki so vplivale na napoved.
Razvrščanje rezultatov iskanja in priporočilni sistemi: Ko uporabnik odda poizvedbo ali obišče stran, se kodirajo kontekstualne značilke, kot so pretekli kliki, vedenje med sejo in metapodatki. Model za razvrščanje ali priporočanje v realnem času oceni več možnih elementov. Sistem sklepanja umetne inteligence razvrsti rezultate na podlagi napovedanih ocen ustreznosti in vrne urejen seznam v okviru strogih omejitev zakasnitve. Netflix uporablja sklepanje, pri katerem prva stopnja iskanja kandidatov uporabi klike v seji, vedenje pri brskanju in dolgoročne preference za ustvarjanje nabora kandidatov. Nato druga stopnja z modelom globokega učenja izračuna ocene ustreznosti in v približno 40 milisekundah vrne razvrščen seznam.
Zaznavanje okolice pri avtonomnih vozilih: Tata Elxsi je integriral umetno inteligenco s senzorji LiDAR dolgega dosega (do 1 km), ki delujejo pri 10 Hz, za zaznavanje okolice avtonomnih vozil v realnem času. Podatki iz LiDAR v oblaku in slike kamer so bili združeni ter pretvorjeni v tenzorje. Podatki tenzorjev se nato posredujejo modelom globokega učenja, ki izvajajo sklepanje za zaznavanje vozil, pešcev in prometnih znakov ter segmentacijo voznih površin. Izhodi modela, kot so klasifikacije predmetov, ocene razdalje in zaznave kršitev (na primer vožnja v napačno smer ali prehitra vožnja), se neposredno posredujejo sistemom spremljanja in nadzora za takojšnja opozorila ali odločitve o vožnji v različnih svetlobnih in vremenskih razmerah.
Generativna umetna inteligenca in ustvarjanje vsebine: Writer je agentska platforma umetne inteligence, ki uvaja LLM s 40 milijardami parametrov za ustvarjanje trženjskih besedil in poslovnih vsebin. Uporabniški pozivi se pošljejo prek API-ja, obdelajo z modeli s pospeševanjem GPU, ki jih zagotavlja NVIDIA Triton Inference Server, odgovori pa se ustvarjajo žeton za žetonom. Sklepanje pri tem podpira do bilijon klicev API na mesec in ustvari 90.000 besed na sekundo.
Kako DigitalOcean gradi sklepanje naslednje generacije? Oglejte si, kako inženirji DigitalOcean uporabljajo Ray, vLLM in Kubernetes za gradnjo razširljivega sklepanja, optimiziranega za GPU, za generativno umetno inteligenco. Oglejte si sejo in spoznajte delovanje brezstrežniških in namenskih načinov, dinamične paketne obdelave ter naprednih strategij predpomnjenja KV.
Pogosta vprašanja o sklepanju umetne inteligence
Kaj je sklepanje umetne inteligence?
Sklepanje umetne inteligence je proces uporabe naučenega modela strojnega učenja za ustvarjanje napovedi ali izhodov na podlagi novih, še nevidenih podatkov. To je produkcijska faza umetne inteligence, v kateri se modeli izvajajo za gradnjo aplikacij v realnem času, analitiko in avtomatizirane sisteme za odločanje.
Kakšna je razlika med učenjem in sklepanjem? Učenje zgradi model tako, da se nauči vzorcev iz velikih podatkovnih zbirk in prilagodi svoje notranje parametre. Sklepanje uporabi naučeni model na novih podatkih za ustvarjanje napovedi, klasifikacij ali ustvarjenih izhodov.
Ali je sklepanje v produkciji pomembnejše od učenja? V produkcijskih sistemih je sklepanje z operativnega vidika pomembnejše, saj poteka neprekinjeno ter neposredno vpliva na zakasnitev, razširljivost in stroške. Medtem ko učenje določa natančnost modela, sklepanje določa uporabniško izkušnjo in ekonomiko produkcije.
Katera strojna oprema se uporablja za sklepanje umetne inteligence? Sklepanje umetne inteligence se izvaja na GPU in specializiranih pospeševalnikih, kot so TPU, odvisno od zahtev glede zmogljivosti in delovne obremenitve. Sklepanje na GPU je pogosto pri delovnih obremenitvah globokega učenja in LLM.
Kaj pomeni sklepanje v realnem času v primerjavi s paketnim sklepanjem?
Sklepanje v realnem času ustvari napoved takoj, ko prispe zahteva, običajno v milisekundah ali sekundah. Uporablja se v interaktivnih aplikacijah, kjer uporabniki ali sistemi potrebujejo takojšnje odgovore, kot so klepetalni roboti, zaznavanje goljufij ali priporočilni sistemi.
Paketno sklepanje obdeluje velike količine podatkov v načrtovanih intervalih, namesto da bi odgovarjalo na posamezne zahteve. Modeli izvajajo napovedi na zbranih podatkovnih zbirkah kot periodična opravila ter ustvarjajo izhode, kot so ocene tveganja, napovedi povpraševanja ali analitična poročila.
Katere so najboljše platforme za sklepanje umetne inteligence?
Najboljše platforme za sklepanje umetne inteligence ponujajo razširljivo infrastrukturo GPU, predvidljive cene in integrirana orodja za zagotavljanje modelov. Gradient™ AI inference Cloud podjetja DigitalOcean ponuja sklepanje, ki ga poganjajo GPU, samodejno prilagajanje obsega in poenostavljeno infrastrukturo za produkcijske delovne obremenitve umetne inteligence.
Uporabite ta vodnik z Ailoot
Povežite modele umetne inteligence s svojimi aplikacijami, agenti in avtomatizacijami prek enega API-ja Ailoot. Izberite model, ki ustreza vaši nalogi, in za začetek upoštevajte dokumentacijo Ailoot.