# Что такое инференс?

> Узнайте, что такое инференс ИИ, как работают пакетный инференс, инференс на периферии, инференс в реальном времени и потоковый инференс, а также как команды могут решать проблемы точности, производительности и стоимости.

Source: https://ailoot.ai/blog/ru/what-is-ai-inferencing/
Canonical: https://ailoot.ai/blog/ru/what-is-ai-inferencing/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100078
Revision: sha256-f84de82bbdcf634a2cf0ce96370dd1b235c4ae3e598daf1d933acd7d032034cd


## Что такое инференс (ИИ)?

Инференс — это процесс, в ходе которого модель искусственного интеллекта формирует прогнозы или результаты на основе новых данных. После обучения модель ИИ усвоила параметры и представления. Получив новые данные, она использует их для формирования результата. Инференс происходит во время выполнения или развертывания приложения ИИ и обеспечивает широкий спектр сценариев использования в реальном мире.

## Почему инференс важен?

Инференс ИИ — это процесс формирования результатов на основе ранее не встречавшихся данных. Усвоив обобщенные закономерности на обучающих наборах данных, модель применяет их к новым данным.

Например, модель ИИ можно обучить на медицинских снимках, размеченных медицинскими специалистами. Во время обучения модель усваивает визуальные признаки и связи в данных. Затем с помощью инференса она может выявлять потенциальные опухоли или аномалии на новых снимках. Медицинские специалисты могут оценить точность этого процесса, сделав выводы по тем же снимкам.

В отличие от традиционных методов [аналитики](https://aws.amazon.com/what-is/data-analytics/), в которых люди задают правила и выбирают статистические методы, обучение модели позволяет ей обнаруживать сложные закономерности, которые трудно вручную выразить в виде правил. Эти закономерности отражаются в параметрах модели. Инференс применяет их к новым данным.

## Какие бывают типы инференса в машинном обучении?

Существует несколько типов инференса в [машинном обучении](https://aws.amazon.com/what-is/machine-learning/) (ML).

### **Пакетный инференс**

Пакетный инференс формирует прогнозы на основе групп из нескольких входных данных. Он полезен в приложениях, для которых время не критично и которые могут подождать результатов. Например, приложение генеративного ИИ для бизнес-аналитики может обрабатывать обновления раз в час, а не в реальном времени.

### **Инференс на периферии**

Инференс ИИ на [периферии](https://aws.amazon.com/what-is/edge-computing/) выполняется на устройстве пользователя или рядом с источником данных. Поскольку данные не нужно отправлять в центральный узел для обработки, инференс на периферии может уменьшить задержку сети. Он полезен в удаленных местах с ограниченным подключением или на устройствах, где инференс необходим. Скорость обработки зависит от устройства и задержки модели.

### **Инференс в реальном времени**

Инференс в реальном времени немедленно формирует результаты в ответ на входные запросы. Модели получают данные от пользователей или подключенных источников данных, что вызывает необходимость сразу сформировать результат. Инференс в реальном времени опирается на системы ИИ с низкой задержкой и часто используется в системах, где время критично. Например, автономные автомобили используют его для своевременного принятия решений.

### **Потоковый инференс**

Потоковый инференс использует конвейер данных, который непрерывно передает информацию модели, формирующей результаты в реальном времени. Как и инференс в реальном времени, он реагирует на поступающие данные, но непрерывно выдает результаты на основе [входного потока](https://aws.amazon.com/what-is/streaming-data/). Инференс в реальном времени отвечает на пользовательский ввод или текущие запросы, а потоковый инференс обрабатывает непрерывный поток новых данных.

## Как работает инференс?

Инфраструктуру для инференса ИИ обеспечивают совместно несколько технологий и систем данных.

### **Инфраструктура модели машинного обучения**

Инференс ИИ возможен после обучения модели. Перед развертыванием модель может пройти обучение, дообучение, проверку и оптимизацию инференса.

Обученной модели в рабочей среде могут потребоваться значительные вычислительные мощности графических процессоров (GPU), центральных процессоров (CPU) и специализированных ускорителей ИИ, таких как [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/). Вычислительным ресурсам также нужны хранилище, сеть и конвейеры данных.

### **Пользовательский ввод и предварительная обработка данных**

Перед подачей в модель данные может потребоваться предварительно обработать. Например, модели компьютерного зрения могут использовать нормализацию, а [большие языковые модели](https://aws.amazon.com/what-is/large-language-model/) (LLM) — токенизацию. Данные также можно очистить, чтобы повысить их качество.

### **Процесс инференса**

Во время инференса чистые данные проходят прямой проход: предварительно обработанные данные перемещаются через слои модели, которая формирует результат. Этот процесс включает серию вычислений.

### **Формирование результатов и постобработка**

После прямого прохода модель формирует результат на основе закономерностей, усвоенных из обучающих данных.

При постобработке результаты можно проверять, фильтровать и форматировать с учетом ограничений и политик. Например, такие ограничения помогают исключать ненормативную лексику или вредоносный контент, а форматирование может привести результат в соответствие с тоном общения компании.

## Какие сложности возникают при инференсе моделей ИИ?

На способность модели ИИ выполнять инференс могут влиять несколько проблем.

### **Дрейф модели**

Дрейф модели возникает, когда со временем она становится менее эффективной из-за изменений данных реального мира по сравнению с данными, на которых она обучалась. Дрейф данных возникает, когда меняются закономерности во входных данных. Если веса модели остаются неизменными и основаны на более ранних обучающих данных, такие изменения могут привести к неточным результатам.

Дрейф концепции возникает, когда связь между входными данными модели и ее результатами меняется или становится сложнее. Например, модель ИИ, обученная выявлять фишинговые письма, использует усвоенные закономерности для прогнозирования. Если новые технологии изменят способы проведения фишинговых атак, результаты модели могут стать менее точными. Чтобы учесть эти изменения, может потребоваться повторное обучение.

В обоих случаях модель, которая раньше хорошо справлялась с задачей, может начать выдавать менее точные или неправильные ответы.

### **Скорость и производительность**

Для развертывания модели ИИ в масштабе нужна инфраструктура, способная надежно выдавать результаты. Организациям могут понадобиться графические процессоры, низкая задержка, высокая скорость сети и дополнительные высокопроизводительные вычислительные блоки для сложных моделей.

Среди других способов повысить скорость и производительность — доработка архитектуры инфраструктуры, использование специализированного оборудования и применение методов оптимизации инференса, например квантования, чтобы уменьшить размер модели.

Выбор другого подхода к инференсу, например пакетного инференса, может повысить производительность в конкретных сценариях использования.

### **Стоимость**

Запуск рабочих нагрузок инференса может привести к непредвиденным расходам. При масштабировании или работе во множестве разных контекстов потребность в вычислительных мощностях и объем запросов на инференс могут увеличить расходы. Организации могут управлять затратами с помощью таких стратегий, как уменьшение размера модели, распараллеливание обработки и использование облачной инфраструктуры с автоматическим масштабированием для инференса в сети.

## Рекомендации по повышению точности и полезности ИИ

Точность и полезность инференса ИИ отчасти зависят от процессов обучения и оптимизации. Могут помочь следующие рекомендации.

### **Инвестируйте в качество данных**

Качество обучающих наборов данных напрямую влияет на способность модели делать прогнозы по новым данным и формировать полезные результаты. Высококачественные данные с хорошей разметкой, единообразные и не содержащие шумов могут повысить способность модели выявлять закономерности. Создайте строгие процессы подготовки данных, включая очистку, проверку, стандартизацию и устранение несоответствий.

### **Привлекайте квалифицированных специалистов**

По возможности привлекайте специалистов, обладающих знаниями в области обучения моделей и архитектуры технологического стека, который вы планируете использовать. Эксперты в предметной области могут помочь разметить данные, повысив их качество и полноту. Обучение модели на высококачественных данных может повысить точность ее результатов.

### **Обеспечьте объяснимость для соблюдения требований**

Результаты инференса должны быть объяснимыми. Методы объяснимости помогают показать, какие входные признаки повлияли на конкретный результат. Для разных типов моделей ML применяются разные методы. Например, метод SHAP (Shapley Additive exPlanations) можно применять к любой модели; лучше всего он подходит для моделей на основе деревьев, линейных моделей и нейронных сетей. Объяснимость также помогает организациям соблюдать требования нормативных рамок в области ИИ, в том числе право на объяснение решений, принимаемых ИИ, предусмотренное GDPR.

## Как AWS может поддержать инференс ИИ?

AWS описывает сервисы и специализированную инфраструктуру для разных этапов жизненного цикла [машинного обучения](https://aws.amazon.com/ai/machine-learning/) и моделей ИИ.

[Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) предоставляет среду машинного обучения для создания, обучения, оптимизации, тестирования и управления настраиваемыми моделями.

Amazon SageMaker AI — это полностью управляемый сервис с инструментами машинного обучения для широкого спектра сценариев использования. Он поддерживает создание, обучение и развертывание моделей в масштабе с помощью таких инструментов, как записные книжки, отладчики, профилировщики, конвейеры и MLOps в интегрированной среде разработки (IDE).

SageMaker AI поддерживает требования к управлению обучением и инференсом с помощью средств контроля доступа и обеспечения прозрачности ML-проектов. Он также предоставляет инструменты для создания базовых моделей (FM) — крупных моделей, обученных на обширных наборах данных, — а также для их дообучения, экспериментов с ними, повторного обучения и развертывания.

AWS предлагает облачную инфраструктуру для инференса ИИ, включая специализированные GPU в [Amazon EC2](https://aws.amazon.com/ec2/) и чипы для машинного обучения, такие как [AWS Inferentia](https://aws.amazon.com/ai/machine-learning/inferentia/).

Начните использовать инференс моделей ML в AWS: [создайте бесплатную учетную запись](https://aws.amazon.com/free/) уже сегодня.

## Примените это руководство с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель для своей задачи и начните работу, следуя [документации Ailoot](https://ailoot.ai/docs/).

## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
