# Kas yra DI išvedimas? Procesas, slypintis už kiekvieno DI rezultato

> Sužinokite, kas yra DI išvedimas, kaip apmokyti modeliai generuoja prognozes realiuoju laiku ir kodėl kuriant DI programas svarbūs delsa, kaina ir mastelio keitimas.

Source: https://ailoot.ai/blog/lt/what-is-ai-inference-the-process-behind-every-ai-output/
Canonical: https://ailoot.ai/blog/lt/what-is-ai-inference-the-process-behind-every-ai-output/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100073
Revision: sha256-ff8264eb77494c8b5c478a21ebebd3722a38741558c2fce1ce7d9cc27d8293f1


Kiekvieną kartą, kai DI programa sugeneruoja atsakymą arba pažymi apgaulingą operaciją, ji vykdo išvedimą. Apmokytas modelis priima naujus duomenis ir perduoda juos per išmoktų parametrų sluoksnius, kad gautų rezultatą. Tai įvyksta per milisekundes ir dažnai milijonus kartų per dieną. Tačiau toks greitis kainuoja. Kiekvienai išvedimo užklausai reikia GPU skaičiavimo išteklių ir atminties pralaidumo, kurie didėja kartu su modelio dydžiu ir užklausų srautu. Delsos šuoliai erzina naudotojus. GPU sąskaitos auga greičiau, nei tikėtasi. Be to, darbo krūvių mastelio keitimas keliuose regionuose didina infrastruktūros sudėtingumą, kurio dauguma komandų nenumato. digitalocean.com/currents/february-2026), išvedimas dabar sudaro apie 76-100% DI biudžetų daugelyje organizacijų.

Jei diegiate mašininio mokymosi modelius ar DI darbo eigas, svarbiausia ne vien tai, kaip modelis mokosi. Svarbu ir tai, kaip efektyviai jis pateikia prognozes realiuoju laiku. Suprasdami, kas yra DI išvedimas ir kas lemia jo našumą, galėsite priimti geresnius architektūrinius sprendimus kitam DI projektui.

**Svarbiausios įžvalgos:**

- Mokymas ugdo modelio gebėjimus, o išvedimas įgalina tokias programas kaip sukčiavimo aptikimas, LLM pokalbių sąsajos ir rekomendacijų sistemos.

- DI biudžetams krypstant į diegimą, kuriant DI / ML programas svarbūs veiksniai yra pralaidumas, užklausos kaina, GPU panaudojimas ir P95 / P99 delsa.

- DI išvedimo aplinkos, tokios kaip debesija, kraštiniai įrenginiai ir įrenginiuose vykdomas išvedimas, tenkina skirtingus delsos, privatumo, pralaidumo ir mastelio keitimo poreikius. Daugelyje gamybinių sistemų taikomas hibridinis metodas.

- Naudodami „DigitalOcean“ GPU Droplets, „Bare Metal GPUs“ ir „Gradient™ AI Inference Cloud“, galite diegti lengvai keičiamo mastelio, ekonomišką išvedimą be hiperskaleriams būdingo sudėtingumo.

## Kas yra DI išvedimas?

DI produkto gyvavimo ciklo vaizdas

DI išvedimas yra DI gyvavimo ciklo etapas, kai apmokytas modelis pagal naujus duomenis prognozuoja arba generuoja rezultatus. Jis įgalina realiuoju laiku veikiančias programas, pavyzdžiui, rekomendacijų sistemas, medicininę diagnostiką ir didžiųjų kalbos modelių (LLM) pokalbių sąsajas. Gamybinėse aplinkose DI išvedimas lemia, kaip greitai naudotojai gauna rezultatus, kaip gerai sistema atlaiko užklausų šuolius ir kiek kainuoja pateikti kiekvieną prognozę.

**„Workato“ sumažina išvedimo sąnaudas 67%**:

„Workato“, vykdydama agentinį DI su trilijono darbo krūvio mastu, bendradarbiavo su „DigitalOcean“ agentinio išvedimo debesija, kad optimizuotų ilgą kontekstą naudojančių LLM išvedimą. Įdiegusi NVIDIA Dynamo ir vLLM sistemoje DOKS su KV išmaniuoju maršrutizavimu, bendrovė pasiekė 67% didesnį žetonų per sekundę rodiklį vienam GPU ir 67% mažesnes modelių sąnaudas, naudodama perpus mažiau GPU.

### Kuo skiriasi mokymas ir išvedimas?

Mokydamas modelis mokosi. Pateikiate jam didžiulius duomenų rinkinius, o jis iteratyviai koreguoja milijonus vidinių parametrų, kol pats išmoksta atpažinti šablonus. Modeliui pateikiami įvesties duomenys kartu su teisingais atsakymais (pavyzdžiui, paženklinti vaizdai ar tekstas su laukiamais rezultatais); jis prognozuoja, palygina prognozes su teisingais atsakymais ir koreguojasi, kad sumažintų klaidų. Tai kartojama per daugelį ciklų, kol modelis išmoksta tiksliai prognozuoti. Šis procesas reikalauja daug skaičiavimo išteklių, bet vyksta vieną kartą arba periodiškai. Išvedimas vyksta vėliau: apmokytas modelis priima naujus, anksčiau nematytus duomenis ir realiuoju laiku pateikia prognozę arba atsakymą.

| Veiksnys | DI mokymas | DI išvedimas |
|----|----|----|
| Paskirtis | Išmokti šablonus ir optimizuoti modelio tikslumą | Generuoti prognozes arba rezultatus iš naujų duomenų |
| Naudojami duomenys | Dideli paženklinti duomenų rinkiniai (pvz., istorinės apgaulingos operacijos, anotuoti medicininiai vaizdai, pagal nuotaiką paženklintos apžvalgos) | Nauji, anksčiau nematyti įvesties duomenys |
| Rezultatas | Atnaujinti modelio svoriai (galutinis apmokytas modelis) | Prognozė, įvertis, klasifikacija arba sugeneruotas atsakymas |
| Skaičiavimo išteklių poreikiai | Labai dideli (pvz., paskirstyti GPU klasteriai) | Mažesni vienai užklausai, bet jautrūs delsai |
| Laiko jautrumas | Neprisijungus, naudotojui nematomas | Realiojo laiko arba beveik realiojo laiko, naudotojui matomas |
| Dažnumas | Retkarčiais (pirminis mokymas ir pakartotinis mokymas) | Nuolat, vykdomas kiekvienai užklausai |
| Sąnaudų struktūra | Didelės pradinės mokymo sąnaudos | Nuolatinės sąnaudos už kiekvieną užklausą |
| Optimizavimo tikslas | Tikslumas ir nuostolių mažinimas | Delsa, pralaidumas, ekonomiškumas |
| Pavyzdys: DI turinio moderavimo sistema | Sistema apmokoma naudojant milijonus įrašų, paženklintų kaip „saugūs“, „brukalas“, „neapykantos kalba“ arba „politikos pažeidimas“. Mokydamasis modelis, koreguodamas vidinius svorius, išmoksta teksto, tono, raktažodžių ir konteksto šablonus, kad atskirtų žalingą turinį nuo priimtino. | Kai naudotojas pateikia naują įrašą, apmokytas modelis realiuoju laiku apdoroja tekstą ir kiekvienai turinio kategorijai priskiria tikimybės įverčius. Pagal šiuos įverčius sistema automatiškai paskelbia įrašą, jį pažymi, apriboja matomumą arba perduoda žmogui peržiūrėti. |

Mokymas ir išvedimas dažnai suplakami į vieną, tačiau infrastruktūrai ir biudžetui jie kelia labai skirtingus reikalavimus. Mūsų straipsnyje apie DI išvedimą ir mokymą išsamiai paaiškinama, kur iš tiesų išleidžiami pinigai ir kam teikti pirmenybę modelius naudojant gamyboje.

## DI išvedimo aplinkos

Išvedimas gali vykti skirtingose vietose, atsižvelgiant į programos poreikius, duomenų jautrumą ir našumo reikalavimus. Jis gali būti vykdomas centralizuotuose debesijos duomenų centruose, arčiau naudotojų esančiuose kraštiniuose įrenginiuose arba tiesiogiai vietiniuose įrenginiuose.

### Išvedimas debesijos aplinkose

Debesijos išvedimo aplinkos yra dažniausia gamybinio DI išvedimo vieta; jose teikiami keičiamo mastelio skaičiavimo ištekliai, pavyzdžiui, GPU. Ši aplinka palaiko modelių pateikimo karkasus, stebėseną ir integraciją su API bei paskirstytomis sistemomis.

Pavyzdžiui, rekomendacijų sistemą diegianti komanda galėtų taikyti tokią darbo eigą:

- Vykdyti išvedimo paslaugą „DigitalOcean GPU Droplets“

- Diegti API naudojant „App Platform“ API pateikimui

- Saugoti modelio artefaktus „Spaces“

### Išvedimas kraštiniuose įrenginiuose

Kraštinis išvedimas vykdomas arčiau duomenų šaltinio, pavyzdžiui, mažmeninės prekybos parduotuvėse, gamyklose ar telekomunikacijų bokštuose, siekiant sumažinti delsą ir pralaidumo naudojimą. Tokiose programose kaip vaizdo analizė, IoT stebėsena ir vietinis duomenų apdorojimas užtikrinama, kad sprendimai būtų priimami per milisekundes, o ne laukiant, kol duomenys pirmyn ir atgal nukeliaus į centralizuotus debesijos serverius.

Mažmeninės prekybos parduotuvėje saugumo kamera stebi kasas. Vietoje įrengtas nedidelis kraštinis įrenginys vykdo kompiuterinės regos modelį, kuris aptinka įtartiną elgesį, pavyzdžiui, kai kas nors praleidžia mokėjimą. Pažymėjusi tokį atvejį sistema iškart įspėja parduotuvės darbuotojus. Įspėjimų suvestinės ir dienos analizės ataskaitos vėliau įkeliamos centralizuotai peržiūrai.

### Išvedimas įrenginyje

Išvedimas įrenginyje vykdomas tiesiogiai naudotojo aparatinėje įrangoje, pavyzdžiui, išmaniuosiuose telefonuose, nešiojamuosiuose kompiuteriuose ar įterptosiose sistemose. Juo siekiama pagerinti privatumą, sumažinti priklausomybę nuo tinklo ryšio ir užtikrinti momentinį atsaką tokiose programose kaip balso asistentai bei biometrinis autentifikavimas.

Kai naudotojas ištaria pažadinimo frazę, pavyzdžiui, „Ei, asistente“, įrenginyje vietoje veikiantis neuroninio tinklo modelis nuolat klausosi tos konkrečios sužadinimo frazės. Garsas realiuoju laiku apdorojamas įrenginio CPU arba specializuotu DI lustu. Aptikusi pažadinimo žodį, sistema suaktyvėja ir siunčia užklausą į debesiją tolesniam apdorojimui. Šioje sistemoje:

- Apmokytas pažadinimo žodžio aptikimo modelis saugomas įrenginyje.

- Išvedimas nuolat vykdomas vietinėje aparatinėje įrangoje.

- Neapdorotas garsas iš įrenginio neišsiunčiamas, nebent sistema suaktyvinama.

- Asistentas atsako iškart, net jei nėra aktyvaus interneto ryšio.

### Kaip pasirinkti tinkamą DI išvedimo aplinką

Pasirinkta išvedimo aplinka priklausys nuo delsos reikalavimų, užklausų kiekio, duomenų jautrumo ir sąnaudų apribojimų. Daugelyje gamybinių sistemų komandos taiko hibridinį metodą, derindamos apdorojimą įrenginyje arba kraštiniame įrenginyje su debesija pagrįstu išvedimu.

- **Rinkitės išvedimą debesijoje**: jei reikia didelio mastelio keitimo, centralizuoto modelių valdymo ir galimybės apdoroti didelį užklausų kiekį arba GPU reikalaujančius darbo krūvius.

- **Rinkitės išvedimą kraštiniuose įrenginiuose**: jei programai reikia mažos delsos netoli duomenų šaltinio, mažesnio pralaidumo naudojimo arba apdorojimo realiuoju laiku paskirstytose vietose.

- **Rinkitės išvedimą įrenginyje**: jei svarbus privatumas, reikalinga veikla neprisijungus prie tinklo arba naudotojo aparatinėje įrangoje, pavyzdžiui, išmaniuosiuose telefonuose, būtinas momentinis atsakas.

Nežinote, ką rinktis – kraštinius įrenginius ar debesiją? Pradėkite nuo vieno klausimo: kaip greitai turi atsakyti jūsų sistema? Perskaitykite mūsų straipsnį apie debesijos ir kraštinį skaičiavimą, kad suprastumėte, kada ir kaip veiksmingai naudoti kiekvieną variantą.

## DI išvedimo pranašumai

DI išvedimas lemia, kaip greitai programa atsako, kaip patikimai keičia mastelį ir kaip efektyviai valdote infrastruktūros sąnaudas. Tinkamai įgyvendintas DI išvedimas suteikia išmatuojamų našumo ir veiklos pranašumų:

- **Sprendimų priėmimas realiuoju laiku**: išvedimas nuolat paverčia tiesioginius duomenis struktūruotais rezultatais – rizikos įverčiais, klasifikacijomis, reitingais ar sugeneruotu tekstu. Šie rezultatai perduodami programoms. Pavyzdžiui, anomalijų aptikimo modeliai gali realiuoju laiku pažymėti neįprastą veiklą, kad būtų siunčiami automatiniai įspėjimai ir greičiau reaguojama į veiklos sutrikimus.

- **Ekonomiškas modelių naudojimas**: apmokytas modelis gali pateikti milijonus prognozių be pakartotinio mokymo. Nors dideliu mastu išvedimas brangus, tokie metodai kaip paketinis apdorojimas ir kvantavimas gali sumažinti vienos užklausos kainą, kai aptarnaujami didelio srauto darbo krūviai, pavyzdžiui, LLM valdomi asistentai.

- **Geresnė naudotojo patirtis**: mažos delsos išvedimas tiesiogiai veikia tai, kaip „intelektuali“ atrodo programa. Jei DI funkcija atsako per 100 milisekundžių, o ne per 2 sekundes, naudotojai suvokia produktą kaip greitai reaguojantį, patikimą ir vertą pasitikėjimo.

- **Keičiamo mastelio gamybinis diegimas**: augant užklausų srautui, išvedimo grandinės horizontaliai plečiamos naudojant paskirstytą infrastruktūrą ir automatinį mastelio keitimą. Generatyvinio DI rašymo asistentas, integruotas į SaaS platformą, įprastomis valandomis gali turėti kelis šimtus naudotojų, o po produkto pristatymo patogiai aptarnauti dešimtis tūkstančių.

- **Greitesni eksperimentai ir modelio iteracijos:** išvedimo grandinės leidžia išbandyti ir įdiegti naujas modelių versijas neapmokant modelio nuo pradžių. Galite atlikti dviejų modelių A/B testą, pateikdami juos skirtingoms naudotojų grupėms, vykdyti lygiagretų diegimą ir vertinti naują modelį pagal tiesioginį užklausų srautą nepaveikdami naudotojų arba palaipsniui perkelti srautą į naują versiją bandomuoju diegimu prieš ją visiškai įdiegdami.

Vykdykite generatyvinio DI modelius iškart, be serverių. Pasiekite kelis modelius naudodami vieną API raktą, keiskite tiekėjus ir užtikrinkite, kad išvedimo darbo krūviai būtų vykdomi toliau. Sužinokite, kaip „DigitalOcean“ platformoje „Gradient AI“ įdiegti „Fal“ vaizdų ir garso generavimo modelius, naudojant paprastus Python iškvietimus „Streamlit“ programoje.

## Išvedimo iššūkiai

Kai modeliai susiduria su gamybiniais darbo krūviais, išryškėja DI išvedimo sudėtingumas. Perkeldami programą iš eksperimentavimo į didelio masto diegimą, turite įvertinti sąnaudas, našumą ir infrastruktūros apribojimus.

- **Didelės išvedimo sąnaudos dideliu mastu**: nuolatinis GPU naudojimas, žetonais pagrįsta kainodara ir nenuspėjami užklausų srautai didina šias sąnaudas.

- **Gamybinių darbo krūvių jautrumas delsai**: realiojo laiko programoms reikia nuolat mažos delsos atsakymų esant kintančiam užklausų srautui. Modelio pateikimo, tinklo ar aparatinės įrangos parengimo našumo kliūtys gali pabloginti naudotojo patirtį ir sistemos patikimumą.

- **Infrastruktūros sudėtingumas ir orkestravimo sąnaudos**: daug komandų išvedimui vykdyti pasitelkia kelis įrankius ir API, todėl didėja veiklos sudėtingumas. Paskirstytų sistemų diegimo orkestravimui, automatinio mastelio keitimo konfigūravimui ir stebėsenai reikia specialių GPU planavimo ir apkrovos balansavimo žinių.

- **Patikimumas ir gamybinės aplinkos aspektai**: išvedimo grandinės turi išlikti stabilios esant apkrovai ir išlaikyti rezultatų nuoseklumą. Jei GPU išvedimo mazgai, apdorojantys vaizdo redagavimo pagalbą, sugenda esant dideliam lygiagretumui, aktyvios vaizdo redagavimo sesijos gali nutrūkti arba peržiūros gali užstrigti.

Norite pereiti nuo bendros paskirties GPU prie optimizuotos išvedimo debesijos? „DigitalOcean“ bendradarbiavo su „Character.AI“ ir AMD, kad sumažintų išvedimo sąnaudas 50%, padidintų mastelį iki ~2X QPS ir pasiektų ~91% didesnį našumą, palyginti su standartinėmis GPU konfigūracijomis.

## DI išvedimo tipai

DI išvedimas klasifikuojamas pagal tai, kaip ir kada generuojamos prognozės. Kai kurios sistemos akimirksniu reaguoja į naudotojo įvestį, o kitos periodiškai arba nuolat apdoroja didelius duomenų kiekius, kai įvyksta įvykiai. Skirtumą lemia:

- **Užklausų laikas**: kada generuojamos prognozės – iškart pagal kiekvieną užklausą, suplanuotais intervalais ar nuolat gaunant duomenis.

- **Duomenų srauto modelis**: kaip įvesties duomenys juda per sistemą – kaip viena užklausos ir atsakymo pora, masiškai apdorojamas duomenų rinkinys ar įvykiais pagrįstas srautas.

- **Reagavimo reikalavimai:** priimtinas programos atsako laikas – milisekundės realiojo laiko sistemose arba uždelsti rezultatai neskubiems darbo krūviams.

### Realiojo laiko (internetinis) išvedimas

Realiojo laiko išvedimas apdoroja po vieną užklausą, kai ji gaunama, ir iškart grąžina prognozę. Taikomas „užklausos ir atsakymo“ modelis: kiekvienas naudotojo veiksmas ar API iškvietimas sužadina modelio prognozę. Atsako laikas paprastai svyruoja nuo milisekundžių iki kelių sekundžių, priklausomai nuo modelio sudėtingumo ir infrastruktūros.

### Srautinis išvedimas

Srautinis išvedimas nuolat vertina gaunamus duomenų srautus, užuot laukęs atskirų užklausų ar suplanuotų užduočių. Duomenys per sistemą keliauja nuolatiniu, įvykiais pagrįstu srautu, o prognozės generuojamos beveik realiuoju laiku, vos gaunami nauji duomenys. Pagal reagavimo greitį jis užima tarpinę vietą tarp realiojo laiko ir paketinio išvedimo: yra greitesnis už suplanuotas paketines užduotis, tačiau apdoroja srautinius duomenis, o ne pavienes užklausas.

### Paketinis išvedimas

Paketinis išvedimas suplanuotais intervalais generuoja prognozes dideliems duomenų rinkiniams kartu. Sistema duomenis apdoroja masiškai, pavyzdžiui, periodinėmis užduotimis, kurios gali trukti minutes ar valandas. Darbo krūvius orkestruoja užduočių planuokliai arba darbo eigos varikliai, o vykdo paskirstyti skaičiavimo klasteriai. Duomenys nuskaitomi iš saugyklų, apdorojami lygiagrečiai ir įrašomi atgal kaip atnaujintos lentelės, failai ar duomenų bazės įrašai.

| Tipas | Aprašymas | Atsako laikas | Duomenų srautas | Naudojimo atvejai |
|----|----|----|----|----|
| Realiojo laiko (internetinis) išvedimas | Apdoroja po vieną užklausą, kai ji gaunama | Milisekundės–sekundės | Užklausa ir atsakymas | Pokalbių robotai, sukčiavimo aptikimas ir rekomendacijų sistemos |
| Srautinis išvedimas | Nuolat vertina gaunamus duomenų srautus | Beveik realiuoju laiku | Nuolatinis, įvykiais pagrįstas srautas | IoT stebėsena, finansinių įvykių aptikimas, anomalijų aptikimas |
| Paketinis išvedimas | Suplanuotais intervalais generuoja prognozes dideliems duomenų rinkiniams kartu | Nuo minučių iki valandų (suplanuotos užduotys) | Masinis apdorojimas | Kreditingumo vertinimas, analizės ataskaitos, periodinis modelio vertinimas |

## Kaip veikia DI išvedimas

DI išvedimo procesas vyksta per modelio pateikimo sluoksnį, kuris tvarko užklausas, atlieka skaičiavimus (CPU arba GPU) ir grąžina rezultatus per API arba konkrečiu formatu. Aptarkime, kas vyksta kiekviename etape, kai sukčiavimo aptikimo sistema vertina kredito kortelės operaciją.

DI išvedimo darbo eigos vaizdas

1.  **Įvesties duomenų išankstinis apdorojimas**: neapdorotos įvestys, tokios kaip tekstas, vaizdai, garsas ar struktūruoti duomenys, patikrinamos ir konvertuojamos į modeliui tinkamą formatą. Tai gali apimti tokenizavimą (LLM atveju), normalizavimą, požymių išgavimą arba konvertavimą į tensorus.

Pavyzdžiui, tarkime, klientas parduotuvėje San Paule perbraukia kredito kortelę ir atsiskaito už 2 400 USD vertės elektronikos pirkinį, tačiau jo sąskaita susieta su Čikaga, o sistema šio įrenginio dar nėra mačiusi. Sistema iš operacijos išskiria struktūruotus požymius: sumą, prekybininko kategoriją, įrenginio piršto atspaudą, geografinę vietą, paros laiką ir pastarojo meto išlaidų istoriją. Šie požymiai normalizuojami ir paverčiami skaitiniu požymių vektoriumi, kurį modelis gali apdoroti.

2.  **Modelio įkėlimas ir inicijavimas**: apmokytas modelis su architektūra ir išmoktais svoriais įkeliamas į atmintį. Gamybinėse aplinkose modeliai dažniausiai paleidžiami konteineriuose ir pateikiami naudojant karkasus, tokius kaip TensorFlow Serving, TorchServe, arba pasirinktines FastAPI pagrįstas paslaugas.

Šiame scenarijuje iš anksto apmokytas sukčiavimo aptikimo neuroninis tinklas jau veikia atmintyje ir yra įdiegtas konteinerizuotame modelio serveryje, naudojančiame TorchServe. Kai operacija gaunama, API šliuzas nukreipia požymių vektorių į modelio galinį tašką.

3.  **Tiesioginio sklidimo skaičiavimas**: apdorota įvestis perduodama per modelį, kur matricų daugyba ir aktyvinimo funkcijos apskaičiuoja rezultatą. Giluminio mokymosi ir LLM išvedimo atveju šis etapas vykdomas GPU ar kituose greitintuvuose, siekiant optimizuoti delsą ir pralaidumą.

Tęsiant sukčiavimo aptikimo pavyzdį, modelis perduoda požymių vektorių per tinklo sluoksnius, įvertindamas nepažįstamo įrenginio, tarptautinės vietos ir didelės operacijos sumos derinį pagal iš milijonų istorinių operacijų išmoktus šablonus. Jis pateikia neapdorotą 0.92 sukčiavimo tikimybės įvertį.

4.  **Prognozių apdorojimas po išvedimo**: neapdorotas modelio rezultatas paverčiamas praktiškai pritaikomu atsakymu, pavyzdžiui, tikimybės įverčiu, klasifikacijos žyma, surikiuotu sąrašu arba sugeneruotais žetonais. Gali būti taikomas slenkstinis vertinimas, dekodavimo strategijos (pvz., godusis dekodavimas ar paieška pluoštu) arba verslo taisyklės.

Šiuo atveju taisyklių variklis įvertina 0.92 įvertį pagal sistemos verslo logiką. Kadangi jis viršija 0.85 slenkstį *ir* operacija yra tarptautinė, variklis ją priskiria didelės rizikos kategorijai ir pažymi sustiprintam autentifikavimui, o ne visiškai atmeta.

5.  **Atsakymo pateikimas ir registravimas**: galutinis rezultatas grąžinamas API, duomenų bazėms arba tolesnėms sistemoms (pvz., „Kafka“ srautams, mokėjimo šliuzams, įspėjimų sistemoms ir kt.), atsižvelgiant į programos architektūrą. Tuo pat metu registruojami tokie rodikliai kaip delsa (P95 / P99), pralaidumas ir klaidų dažnis, kad būtų galima vykdyti stebėseną, keisti mastelį ir optimizuoti našumą.

Užbaigiant seką, per 120 milisekundžių nuo pradinio kortelės perbraukimo mokėjimo šliuzas gauna didelės rizikos klasifikaciją ir nusiunčia klientui į telefoną vienkartinio slaptažodžio (OTP) patvirtinimo užklausą. Tuo pat metu sistema užregistruoja modelio įvertį, operacijos metaduomenis, delsą (P95) ir autentifikavimo rezultatą – šie duomenys bus naudojami būsimam modelio pakartotiniam mokymui ir našumo stebėsenai.

Nebevaikykite neapdorotų FLOPS skaičių ir vertinkite LLM išvedimą ten, kur tai svarbu. Skaitykite išsamų LLM išvedimo lyginamosios analizės vadovą, kad sužinotumėte, kaip matuoti delsą, pralaidumą, lygiagretumą ir sąnaudas.

## Pagrindiniai DI išvedimo našumo rodikliai

Norėdami optimizuoti išvedimą, pirmiausia turite žinoti, kuriems rodikliams skirti dėmesį. Ne visi jie bus vienodai svarbūs jūsų naudojimo atvejui, tačiau bet kurio iš jų nepaisymas gali lemti lėtus atsakymus, švaistomus skaičiavimo išteklius arba tyliai augančias sąnaudas. Štai svarbiausi rodikliai:

| Našumo rodiklis | Aprašymas | Kodėl svarbu | Pavyzdys |
|----|----|----|----|
| Delsa | Laikas, per kurį sugeneruojama vienos užklausos prognozė | Lemiamas naudotojo juntamą greitį; uodegos delsa (P95 / P99) parodo ilgiausius vėlavimus esant apkrovai | Pokalbių robotas vidutiniškai atsako per 120 ms, tačiau piko metu P99 siekia 2 sekundes |
| Pralaidumas | Užklausų per sekundę (RPS) arba žetonų per sekundę (LLM atveju) skaičius | Parodo, kokį užklausų kiekį sistema gali apdoroti, kol našumas pradeda prastėti | LLM, generuojantis 80 žetonų per sekundę, palyginti su 20 žetonų per sekundę, lemia atsako greitį dideliu mastu |
| Vienos užklausos kaina | Kiekvienam išvedimo iškvietimui sunaudotų skaičiavimo išteklių kaina | Turi įtakos ilgalaikei gamybos ekonomikai ir mastelio keitimo perspektyvumui | GPU naudojantis išvedimas kainuoja 0,002 USD už užklausą, o esant dideliam kiekiui – 0,02 USD |
| Aparatinės įrangos panaudojimas | CPU, GPU ar greitintuvo išteklių naudojimo efektyvumas | Prastas panaudojimas didina sąnaudas ir sukuria našumo kliūtis | 30% apkrova veikiantis GPU eikvoja pajėgumą ir didina vienos prognozės kainą |
| Mastelio keitimas esant apkrovai | Gebėjimas išlaikyti našumą užklausų šuolių metu | Užtikrina patikimumą ir nuoseklią delsą esant didžiausiai paklausai | Elektroninės prekybos rekomendacijų sistema atlaiko Juodojo penktadienio srautą be delsos šuolių |

## DI išvedimo naudojimo atvejai

DI išvedimas prasideda vos tik programa pateikia atsaką. Nesvarbu, ar vertinama operacija, reitinguojami paieškos rezultatai, ar generuojamas tekstas, išvedimas yra vykdymo sluoksnis, paverčiantis modelio gebėjimus naudotojui matomu veiksmu.

- **Sukčiavimo finansinėse operacijose aptikimas**: JAV įsikūrusi mokėjimo sistemų bendrovė H2o.ai apdoroja giluminio mokymosi modeliais 160 million įrašų su 1,500 požymiais, kad aptiktų sukčiavimą realiuoju laiku. Pradėjus naują operaciją, įdiegtas modelis ją įvertina per milisekundes. Sistema užblokuoja arba pažymi įtartiną veiklą prieš patvirtinimą.

- **Medicininės vaizdų analizė**: sveikatos priežiūros srityje atliktas smegenų navikų aptikimo tyrimas parodo, kaip medicininių vaizdų išvedimas veikia praktikoje. Prieš pateikiant MRT tyrimus specializuotam konvoliuciniam neuroniniam tinklui (CNN), jie buvo paženklinti, pakeistas jų dydis į 150×150 pikselių ir jie normalizuoti. Išvedimo metu apmokytas modelis kiekvieną tyrimą klasifikavo kaip parodantį naviką arba jo nerodantį; validavimo tikslumas siekė 98.67%. Klinikinio sprendimų priėmimo pagalbai taikyti papildomo apdorojimo metodai, tokie kaip SHAP, LIME ir Grad-CAM, sugeneravo vaizdines šilumos diagramas, parodančias prognozei įtaką turėjusius regionus.

- **Paieškos rezultatų reitingavimas ir rekomendacijų sistemos**: kai naudotojas pateikia užklausą arba apsilanko puslapyje, užkoduojami kontekstiniai požymiai, pavyzdžiui, ankstesni paspaudimai, sesijos elgsena ir metaduomenys. Reitingavimo arba rekomendacijų modelis realiuoju laiku įvertina kelis galimus elementus. DI išvedimo sistema surikiuoja rezultatus pagal numatomą aktualumo įvertį ir grąžina reitinguotą sąrašą laikydamasi griežtų delsos ribų. „Netflix“ naudoja išvedimą, kai pirmojo etapo paieškoje kandidatai parenkami pagal sesijos paspaudimus, naršymo elgseną ir ilgalaikes nuostatas. Tuomet antrojo etapo giluminio mokymosi modelis apskaičiuoja aktualumo įverčius ir pateikia surikiuotą sąrašą maždaug per 40 milisekundžių.

- **Autonominių transporto priemonių aplinkos suvokimas**: „Tata Elxsi“ integravo DI su tolimojo veikimo (iki 1 km) LiDAR jutikliais, veikiančiais 10 Hz dažniu, kad užtikrintų realiojo laiko autonominių transporto priemonių aplinkos suvokimą. Debesijos duomenys iš LiDAR ir kamerų vaizdai buvo sulieti ir konvertuoti į tensorus. Tada tensorų duomenys perduodami giluminio mokymosi modeliams, kurie atlieka išvedimą, kad aptiktų transporto priemones, pėsčiuosius ir kelio ženklus bei segmentuotų pravažiuojamas zonas. Modelio rezultatai, tokie kaip objektų klasifikacijos, atstumo įverčiai ir pažeidimų aptikimas (pavyzdžiui, važiavimas prieš eismą ar greičio viršijimas), tiesiogiai perduodami stebėsenos ir valdymo sistemoms, kad būtų galima nedelsiant įspėti arba priimti vairavimo sprendimus esant įvairiam apšvietimui ir oro sąlygoms.

- **Generatyvinis DI ir turinio kūrimas**: „Writer“ yra agentinė DI platforma, diegianti 40-billion-parameter LLM, kurie generuoja rinkodaros tekstus ir įmonių turinį. Naudotojų užklausos siunčiamos per API, apdorojamos GPU greitinamais modeliais, pateikiamais per NVIDIA Triton Inference Server, o atsakymai generuojami po žetoną. Šioje platformoje išvedimas palaiko iki trillion API calls per mėnesį ir sukuria 90,000 žodžių per sekundę.

Kaip „DigitalOcean“ kuria naujos kartos išvedimą? Sužinokite, kaip „DigitalOcean“ inžinieriai naudoja Ray, vLLM ir Kubernetes, kad sukurtų keičiamo mastelio, GPU optimizuotą generatyvinio DI išvedimą. Peržiūrėkite sesiją ir sužinokite, kaip veikia serverless ir specialūs režimai, dinaminis paketų sudarymas bei pažangios KV podėlio strategijos.

## DI išvedimo DUK

**Kas yra DI išvedimas?**

DI išvedimas – tai procesas, kai apmokytas mašininio mokymosi modelis naudojamas prognozėms arba rezultatams generuoti pagal naujus, anksčiau nematytus duomenis. Tai DI gamybinis etapas, kai modeliai vykdomi kuriant realiojo laiko programas, analizės priemones ir automatizuotas sprendimų priėmimo sistemas.

**Kuo skiriasi mokymas ir išvedimas?** Mokymo metu modelis išmoksta šablonus iš didelių duomenų rinkinių ir koreguoja vidinius parametrus. Išvedimo metu apmokytas modelis taikomas naujiems duomenims, kad pateiktų prognozes, klasifikacijas arba sugeneruotus rezultatus.

**Ar gamybinėje aplinkoje išvedimas svarbesnis už mokymą?** Gamybinėse sistemose išvedimas veiklos požiūriu yra svarbesnis, nes vykdomas nuolat ir tiesiogiai veikia delsą, mastelio keitimą bei sąnaudas. Mokymas lemia modelio tikslumą, o išvedimas – naudotojo patirtį ir gamybos ekonomiką.

**Kokia aparatinė įranga naudojama DI išvedimui?** DI išvedimas vykdomas GPU ir specializuotuose greitintuvuose, pavyzdžiui, TPU, atsižvelgiant į našumo ir darbo krūvio reikalavimus. GPU išvedimas įprastas giluminio mokymosi ir LLM darbo krūviams.

**Kuo skiriasi realiojo laiko ir paketinis išvedimas?**

Realiojo laiko išvedimas generuoja prognozes iškart, kai gaunama užklausa, dažniausiai per milisekundes ar sekundes. Jis naudojamas interaktyviose programose, kuriose naudotojams ar sistemoms reikia momentinių atsakymų, pavyzdžiui, pokalbių robotuose, sukčiavimo aptikimo ar rekomendacijų sistemose.

Paketinis išvedimas apdoroja didelius duomenų kiekius suplanuotais intervalais, užuot atsakęs į atskiras užklausas. Modeliai generuoja prognozes iš sukauptų duomenų rinkinių kaip periodinės užduotys, kad pateiktų tokius rezultatus kaip rizikos įverčiai, paklausos prognozės ar analizės ataskaitos.

**Kokios platformos geriausiai tinka DI išvedimui?**

Geriausios DI išvedimo platformos suteikia keičiamo mastelio GPU infrastruktūrą, nuspėjamą kainodarą ir integruotus modelių pateikimo įrankius. „DigitalOcean“ „Gradient™ AI inference Cloud“ siūlo GPU pagrįstą išvedimą, automatinį mastelio keitimą ir supaprastintą infrastruktūrą gamybiniams DI darbo krūviams.

## Pritaikykite šį vadovą su Ailoot

Prijunkite DI modelius prie savo programų, agentų ir automatizavimo įrankių per vieną Ailoot API. Pasirinkite užduočiai tinkamą modelį ir pradėkite nuo [Ailoot dokumentacijos](https://ailoot.ai/docs/).


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.
