Вопрос эксперту: что такое инференс?
MarkdownЭксперты Google объясняют, что такое инференс ИИ, в полном интервью о сопоставлении шаблонов, типах моделей, прогнозировании, классификации, оценке, конфиденциальности, обзорах от ИИ, агентных системах и эффективности.
Инференс во многом делает ИИ более способным. В этом интервью Google Techspert два эксперта Google объясняют, что такое инференс и как он помогает системам ИИ создавать полезные результаты.
В апреле Google представила Ironwood — Tensor Processing Unit (TPU) седьмого поколения, разработанный для генеративного инференса ИИ. TPU — это чипы, обеспечивающие работу систем ИИ, и для Google они не новы, но это поколение создано, чтобы помочь системам ИИ перейти от реагирования к проактивным действиям. Инференс — это процесс, который позволяет системам ИИ использовать модели для создания результатов на основе знаний.
Я знаю, что означает слово «инференс»: на основе предоставленной информации можно прийти к какому-то выводу. Имеет ли это значение хоть какое-то отношение к ИИ?
Эксперт Google: Вроде бы да. Это упрощение, но, думаю, проще всего понимать инференс как сопоставление шаблонов. Если говорить о генеративном ИИ и инференсе в самом широком смысле, мы спрашиваем: могут ли модели ИИ сопоставлять шаблоны, чтобы предсказать, чего вы хотите? Например, если я скажу «арахисовая паста и ____» и попрошу американскую аудиторию заполнить пропуск, скорее всего, люди ответят «желе». Это хороший пример инференса для речевых шаблонов. Так умеет работать инференс ИИ, но его возможности гораздо шире.
Эксперт Google: В целом инференс — это способ использовать модель для решения полезных задач. Сначала нужно обучить модель: модель ИИ включает параметры модели, архитектуру модели и конфигурацию — код, необходимый для выполнения задач, — и всё это вместе обеспечивает её функциональность. Инференс позволяет нам использовать всё это на практике.
Какие типы моделей ИИ используют инференс?
Эксперт Google: ИИ на основе глубокого обучения — например, языковые модели, модели генерации изображений и аудиомодели — используют инференс, потому что делают прогнозы о том, что «произойдёт», на основе усвоенных шаблонов прошлых данных.
Эксперт Google: Модели рекомендаций тоже используют инференс.
Приведёте пример модели рекомендаций?
Эксперт Google: Большинство рекламных моделей — это модели рекомендаций. К ним относится и модель, которая рекомендует вам видео на YouTube. Это «традиционный» (иногда называемый «классическим») ИИ — не генеративный ИИ, например большие языковые модели (LLM) и модели генерации изображений или видео. Такие модели давно используют инференс.
Получается, инференс в ИИ — не новинка, просто он стал лучше по мере того, как ИИ становился способнее?
Эксперт Google: Да. И инференс позволяет моделям ИИ не только делать прогнозы, но и классифицировать. Модель может присваивать объектам метки на основе того, чему она научилась. Вот известный пример: много лет назад Google показала модели ИИ изображение и спросила, сможет ли она распознать на нём кошку. Используя данные и инференс, модель смогла самостоятельно научиться определять, что такое кошка и как она выглядит, а затем правильно распознала её на изображении.
Я это помню!
Эксперт Google: Это был пример использования инференса моделью.
Эксперт Google: А ещё помните, как пару лет назад люди обсуждали изображения, созданные ИИ, которые, по сути, игнорировали законы физики? Например, руки людей часто изображались неправильно. Современные модели справляются с этим гораздо лучше. Они лучше учитывают физику и текстуры, а также многие другие аспекты. То же касается и перевода текста. Раньше перевод был статистическим. Им можно было пользоваться, но он не был точным и уж точно не звучал естественно. Однако статистический перевод привёл нас к генеративному переводу с помощью ИИ, которым сегодня многие готовы пользоваться даже в продуктах для клиентов. Мы по-прежнему используем процесс, называемый инференсом, но лежащие в его основе ИИ и вычислительные мощности значительно улучшились.
Можно ли измерить, насколько хорошо работает инференс?
Эксперт Google: Можно — измеряя, насколько хорошо модель справляется с определёнными задачами. Мы также используем инференс для оценки моделей и их обучения, чтобы сделать их лучше. Пока мы обучаем модель, мы постоянно запускаем инференс, чтобы одновременно повышать её качество.
Думаю, благодаря таким подходам к обучению инференс становится всё лучше и лучше по отраслевым показателям.
Эксперт Google: Да. Но есть ещё вопрос человеческого восприятия: насколько мы все заметили, что эти возможности улучшились? В целом — весьма заметно. Ещё один важный для Google аспект работы над инференсом — конфиденциальность: мы внимательно следим за тем, какие данные необходимо хранить для работы этих функций.
Какие примеры ИИ от Google показывают, что инференс стал лучше?
Эксперт Google: Один из лучших примеров применения инференса в Google — обзоры от ИИ. Вы вводите запрос в Поиск, и сложная система распределяет его между множеством моделей, чтобы получить результаты. Система использует инференс, чтобы понять ваш запрос и определить, какой ответ вам нужен, а затем обобщает полученные сведения в полезный результат. Инференс также играет ключевую роль во многих агентных разработках Google. С агентами можно не только просить модель ИИ предоставить информацию на основе инференса, но и поручать ей выполнять действия. В некотором смысле это расширяет прежнее понимание инференса.
Получается, инференс всё лучше использует данные и знания, чтобы предлагать ответы и даже действовать. Как ещё он меняется?
Эксперт Google: Очень важен вопрос стоимости. Мы стараемся сделать инференс как можно доступнее. Допустим, мы хотим предоставить людям уменьшенную и более доступную версию Gemini. Мы работали бы над инференсом модели, чтобы найти способы изменить вычислительную парадигму — то есть код, из которого состоит модель, — не меняя семантику, или основную задачу, для которой она предназначена, и тем самым снизить стоимость. По сути, мы создаём уменьшенную и более эффективную версию модели, чтобы больше людей могли пользоваться её возможностями.
Как снизить стоимость?
Эксперт Google: Один из способов — оптимизировать оборудование. Именно поэтому в этом году Google выпускает Ironwood. Он оптимизирован для инференса благодаря архитектуре, изначально рассчитанной на инференс: большей вычислительной мощности и объёму памяти, а также оптимизации для определённых числовых типов. В программной части Google совершенствует компиляторы и платформы. Со временем инференс ИИ должен стать эффективнее: обеспечивать более высокое качество при меньшем объёме ресурсов и меньшей стоимости, чтобы быть полезным.
Изучите документацию API Ailoot на странице ailoot.ai/docs.