# Қорытынды жасау деген не?

> ЖИ қорытынды жасау деген не екенін, пакеттік, шеткі, нақты уақыттағы және ағындық қорытынды жасау қалай жұмыс істейтінін және командалардың дәлдік, өнімділік пен шығын мәселелерін қалай шеше алатынын біліңіз.

Source: https://ailoot.ai/blog/kk/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/kk/what-is-ai-inferencing/
Language: kk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-c405b6ddd38c8ea52eab3ec2382bad1199aa1aec6096d2195536cfd7ff118c42


## ЖИ қорытынды жасауы деген не?

Қорытынды жасау — жасанды интеллект моделінің жаңа деректер негізінде болжамдар немесе нәтижелер шығару үдерісі. Оқыту аяқталғаннан кейін ЖИ моделі параметрлер мен репрезентацияларды меңгереді. Жаңа деректерді алған кезде, ол нәтижені шығару үшін соларды пайдаланады. Қорытынды жасау ЖИ қолданбасының орындалу немесе орналастыру кезеңінде жүзеге асады және нақты өмірдегі көптеген қолданысқа мүмкіндік береді.

## Қорытынды жасау неліктен маңызды?

ЖИ қорытынды жасауы — бұрын көрмеген деректерден нәтиже шығару үдерісі. Оқыту деректер жиынтықтарынан жалпыланған заңдылықтарды үйренгеннен кейін модель сол заңдылықтарды жаңа деректерге қолданады.

Мысалы, ЖИ моделін медицина мамандары белгі қойған медициналық кескін сканерлерімен оқытуға болады. Оқыту кезінде модель деректердегі визуалды белгілер мен байланыстарды үйренеді. Содан кейін қорытынды жасау арқылы жаңа сканерлерден ықтимал ісіктерді немесе ауытқуларды анықтай алады. Медицина мамандары сол сканерлерден қорытынды шығарып, үдерістің дәлдігін бағалай алады.

Адамдар ережелерді белгілеп, статистикалық әдістерді таңдайтын дәстүрлі [аналитика](https://aws.amazon.com/what-is/data-analytics/) тәсілдерімен салыстырғанда, модельді оқыту оған қолмен кодтау қиын күрделі заңдылықтарды анықтауға мүмкіндік береді. Бұл заңдылықтар модель параметрлерінен көрінеді. Қорытынды жасау оларды жаңа деректерге қолданады.

## Машиналық оқытуда қорытынды жасаудың қандай түрлері бар?

[Машиналық оқыту](https://aws.amazon.com/what-is/machine-learning/) (ML) қорытынды жасауының бірнеше түрі бар.

### **Пакеттік қорытынды жасау**

Пакеттік қорытынды жасау бірнеше дерек кірісін топтап, болжамдар шығарады. Ол уақыт аса маңызды емес және нәтижелерді күте алатын қолданбаларға қолайлы. Мысалы, бизнес аналитикасына арналған генеративті ЖИ қолданбасы жаңартуларды нақты уақыт режимінде емес, сағатына бір рет өңдеуі мүмкін.

### **Шеткі қорытынды жасау**

[Шеткі](https://aws.amazon.com/what-is/edge-computing/) ЖИ қорытынды жасауы модельді пайдаланушының құрылғысында немесе дерек көзіне жақын жерде іске қосады. Деректерді өңдеу үшін орталық хабқа жіберудің қажеті болмағандықтан, шеткі қорытынды жасау желілік кідірісті азайта алады. Ол байланысы шектеулі шалғай жерлерде немесе қорытынды жасау аса қажет құрылғыларда пайдалы. Өңдеу жылдамдығы құрылғы мен модель кідірісіне байланысты.

### **Нақты уақыттағы қорытынды жасау**

Нақты уақыттағы қорытынды жасау кіріс сұрауларына бірден жауап ретінде нәтиже шығарады. Модельдер пайдаланушы енгізген деректерді немесе қосылған дереккөздерден алынған ақпаратты қабылдайды, бұл нәтижені дереу шығару қажеттігін туғызады. Нақты уақыттағы қорытынды жасау кідірісі төмен ЖИ жүйелеріне сүйенеді және уақыт аса маңызды жүйелерде жиі қолданылады. Мысалы, автономды көліктер шешімдерді дер кезінде қабылдауға көмектесу үшін оны пайдаланады.

### **Ағындық қорытынды жасау**

Ағындық қорытынды жасау ақпаратты модельге үздіксіз жеткізетін деректер конвейерін пайдаланады, ал модель нақты уақыт режимінде нәтиже шығарады. Нақты уақыттағы қорытынды жасау сияқты, ол келіп түскен деректерге жауап береді, бірақ [кіріс ағыны](https://aws.amazon.com/what-is/streaming-data/) негізінде нәтижелерді үздіксіз шығарады. Нақты уақыттағы қорытынды жасау пайдаланушы енгізген деректерге немесе тікелей сұрауларға жауап береді, ал ағындық қорытынды жасау жаңа деректердің үздіксіз ағынын өңдейді.

## Қорытынды жасау қалай жұмыс істейді?

ЖИ қорытынды жасау инфрақұрылымын қамтамасыз ету үшін бірнеше технология мен деректер жүйесі бірлесіп жұмыс істейді.

### **Машиналық оқыту моделінің инфрақұрылымы**

ЖИ қорытындысын модель оқытылғаннан кейін жасауға болады. Орналастыру алдында модель оқытудан, қосымша баптаудан, валидациядан және қорытынды жасауды оңтайландырудан өтуі мүмкін.

Өндірістік ортада жұмыс істейтін оқытылған модельге графикалық процессорлардан (GPU), орталық процессорлардан (CPU) және [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) сияқты арнайы ЖИ үдеткіштерінен едәуір есептеу қуаты қажет болуы мүмкін. Есептеу ресурстарына сақтау орны, желі және деректер конвейерлері де қажет.

### **Пайдаланушы енгізетін деректер және алдын ала өңдеу**

Деректерді модельге бермес бұрын алдын ала өңдеу қажет болуы мүмкін. Мысалы, көру модельдерінде нормализация, ал [үлкен тіл модельдерінде](https://aws.amazon.com/what-is/large-language-model/) (LLM) токенизация қолданылуы мүмкін. Сапасын арттыру үшін деректерді тазалауға да болады.

### **Қорытынды жасау үдерісі**

Қорытынды жасау үдерісі таза деректерді қабылдап, тура өтуді орындайды: алдын ала өңделген деректер модель қабаттарынан өтіп, нәтиже шығады. Бұл бірқатар есептеулерді қамтиды.

### **Нәтижені шығару және кейінгі өңдеу**

Тура өтуден кейін модель оқыту деректерінен үйренген заңдылықтарға сүйеніп нәтиже шығарады.

Кейінгі өңдеу нәтижелерді қауіпсіздік шаралары мен саясат талаптарына сәйкестігін тексеріп, сүзгілеп және пішімдей алады. Мысалы, қауіпсіздік шаралары балағат сөздердің немесе зиянды мазмұнның шығуына жол бермеуге көмектеседі, ал пішімдеу нәтижені компанияның коммуникация мәнеріне бейімдей алады.

## ЖИ модельдері үшін қорытынды жасауға қандай қиындықтар кедергі болады?

ЖИ моделінің қорытынды шығару қабілетіне бірнеше қиындық әсер етуі мүмкін.

### **Модель дрейфі**

Нақты әлем деректері модель оқытылған деректерден өзгерген сайын, уақыт өте келе модельдің тиімділігі төмендеуі мүмкін. Бұл құбылыс модель дрейфі деп аталады. Кіріс деректеріндегі заңдылықтар өзгергенде деректер дрейфі пайда болады. Егер модель салмақтары бұрынғы оқыту деректеріне сәйкес бекітілген күйде қалса, мұндай өзгерістер оның нәтижелерін дәл емес етуі мүмкін.

Модель кірістері мен шығыстары арасындағы байланыс өзгергенде немесе күрделене түскенде тұжырымдамалық дрейф пайда болады. Мысалы, фишинг хаттарын анықтауға үйретілген ЖИ моделі болжам жасау үшін өзі үйренген заңдылықтарды пайдаланады. Жаңа технологиялар фишинг әрекеттерінің тәсілін өзгертсе, модель нәтижелерінің дәлдігі төмендеуі мүмкін. Өзгерістерді ескеру үшін модельді қайта оқыту қажет болуы ықтимал.

Екі жағдайда да бұрын жақсы жұмыс істеген модель дәлдігі төмен немесе қате жауаптар бере бастауы мүмкін.

### **Жылдамдық пен өнімділік**

ЖИ моделін ауқымды түрде орналастыру нәтижелерді сенімді жеткізе алатын инфрақұрылымды қажет етеді. Ұйымдарға графикалық процессорлар, төмен кідіріс, жоғары желі жылдамдығы және күрделі модельдерге арналған қосымша өнімділігі жоғары процессорлар қажет болуы мүмкін.

Жылдамдық пен өнімділікті инфрақұрылым архитектурасын жетілдіру, арнайы жабдықты пайдалану және модель өлшемін азайтатын кванттау сияқты қорытынды жасауды оңтайландыру тәсілдерін қолдану арқылы да жақсартуға болады.

Пакеттік қорытынды жасау сияқты басқа тәсілді таңдау белгілі бір қолданыс жағдайларындағы өнімділікті жақсарта алады.

### **Құны**

Қорытынды жасау жүктемелерін іске қосу күтпеген шығындарға әкелуі мүмкін. Ауқымды түрде немесе әртүрлі контекстерде есептеу қуаты мен қорытынды жасау сұрауларының көлемі шығынды көбейтуі мүмкін. Ұйымдар модель өлшемін азайту, өңдеуді параллель орындау және онлайн қорытынды жасауға арналған бұлт инфрақұрылымының масштабын автоматты түрде реттеу сияқты тәсілдер арқылы шығындарды басқара алады.

## ЖИ дәлдігі мен пайдалылығын арттыруға арналған үздік тәжірибелер

ЖИ қорытынды жасауының дәлдігі мен пайдалылығы ішінара оқыту және оңтайландыру үдерістеріне байланысты. Төмендегі тәсілдер көмектесе алады.

### **Деректер сапасына инвестиция салыңыз**

Оқыту деректер жиынтықтарының сапасы модельдің жаңа деректерге болжам жасап, пайдалы нәтижелер шығару қабілетіне тікелей әсер етеді. Сапалы, жақсы белгіленген, бірізді және шуылдан таза деректер модельдің заңдылықтарды анықтау қабілетін жақсарта алады. Деректерді тазалау, валидациялау, стандарттау және сәйкессіздіктерді жоюды қамтитын қатаң дайындау үдерістерін орнатыңыз.

### **Білікті мамандарды тартыңыз**

Мүмкіндігінше модельдерді оқыту және пайдалануды жоспарлап отырған технологиялық стек архитектурасы бойынша тәжірибесі бар адамдарды қатыстырыңыз. Сала мамандары деректерді белгілеуге көмектесіп, олардың сапасы мен қамту аясын арттыра алады. Модельді сапалы деректермен оқыту оның нәтижелерінің дәлдігін жақсарта алады.

### **Сәйкестік үшін түсіндірілетіндікті қамтамасыз етіңіз**

Қорытынды жасау нәтижелерін түсіндіруге болатын болуы керек. Түсіндірілетіндік әдістері белгілі бір нәтижеге қай кіріс белгілері әсер еткенін көрсетуге көмектеседі. ML модельдерінің әр түрі әртүрлі әдістерді қолданады. Мысалы, Shapley Additive exPlanations (SHAP) кез келген модельге қолданылуы мүмкін және ағашқа негізделген модельдерге, сызықтық модельдерге және нейрондық желілерге барынша қолайлы. Түсіндірілетіндік ұйымдарға ЖИ сәйкестік шеңберлерін, соның ішінде ЖИ қабылдаған шешімдерге түсіндірме алу құқығын беретін GDPR талаптарын сақтауға да көмектесе алады.

## AWS ЖИ қорытындысын жасауға қалай қолдау көрсете алады?

AWS [машиналық оқыту](https://aws.amazon.com/ai/machine-learning/) мен ЖИ модельдерінің өмірлік циклі кезеңдеріне арналған қызметтер мен арнайы әзірленген инфрақұрылымды сипаттайды.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) теңшелетін модельдерді құруға, оқытуға, оңтайландыруға, тестілеуге және басқаруға арналған машиналық оқыту ортасын ұсынады.

Amazon SageMaker AI — әртүрлі қолданыс жағдайларына арналған машиналық оқыту құралдары бар толық басқарылатын қызмет. Ол интеграцияланған әзірлеу ортасында (IDE) блокноттар, жөндеушілер, профайлерлер, конвейерлер және MLOps сияқты құралдармен модельдерді ауқымды түрде құруды, оқытуды және орналастыруды қолдайды.

SageMaker AI ML жобаларына арналған қолжетімділікті басқару құралдары мен ашықтықты ұсына отырып, оқыту және қорытынды жасау кезеңдеріндегі басқару талаптарын орындауға көмектеседі. Ол сондай-ақ ауқымды деректер жиынтықтарында оқытылған ірі модельдер — іргелі модельдерді (FM) құруға, сондай-ақ оларды қосымша баптауға, эксперимент жасауға, қайта оқытуға және орналастыруға арналған құралдар ұсынады.

AWS ЖИ қорытындысын жасауға арналған бұлт инфрақұрылымын, соның ішінде [Amazon EC2](https://aws.amazon.com/ec2/) қызметіндегі арнайы GPU-ларды және [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/) сияқты машиналық оқыту чиптерін ұсынады.

Бүгін [тегін тіркелгі жасап](https://aws.amazon.com/free/), AWS жүйесінде ML модельдерінің қорытындысын жасауды бастаңыз.

## Бұл нұсқаулықты Ailoot көмегімен қолданыңыз

AI модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру үдерістеріңізге бір Ailoot API арқылы қосыңыз. Тапсырмаңызға сай модельді таңдап, жұмысты бастау үшін [Ailoot құжаттамасын](https://ailoot.ai/docs/) пайдаланыңыз.

## Ailoot · Компания және оның жобалар портфелі

Ailoot жинақталған жұмыс тәжірибесіне, кең клиенттік базаға, тұрақты қызметке және KPI көрсеткіштерін үздіксіз бақылауға сүйенеді.

Компания және оның жобалар портфелі: миллиондаған клиент; ай сайынғы сату көлемі миллиардтармен есептеледі.

Ailoot осы тәжірибені клиенттердің өнімдерінде, агенттерінде, қолданбаларында және автоматтандыруларында жасанды интеллект мүмкіндіктеріне API арқылы қол жеткізуді қамтамасыз етуге пайдаланады.
