Pregúntale a un experto en tecnología: ¿Qué es la inferencia?
MarkdownExpertos de Google explican la inferencia de IA en una entrevista completa que abarca la coincidencia de patrones, los tipos de modelos, la predicción, la clasificación, la evaluación, la privacidad, las AI Overviews, los sistemas agénticos y la eficiencia.
La inferencia es una parte importante de lo que está haciendo que la IA sea más capaz. En esta entrevista de Google Techspert, dos expertos de Google explican qué es la inferencia y cómo ayuda a los sistemas de IA a generar resultados útiles.
En abril, Google presentó Ironwood, su unidad de procesamiento tensorial (TPU) de séptima generación, diseñada para impulsar la inferencia de IA generativa. Las TPU son chips que impulsan sistemas de IA y no son algo nuevo para Google, pero esta generación está diseñada para ayudar a los sistemas de IA a ir más allá de responder y volverse proactivos. La inferencia es el proceso que permite a los sistemas de IA usar modelos para generar resultados basados en el conocimiento.
Sé lo que significa la palabra inferencia: que, a partir de la información que recibes, puedes llegar a algún tipo de conclusión. ¿Tiene algún sentido parecido cuando hablamos de IA?
Experto de Google: En cierto modo, sí. Es una simplificación, pero creo que la forma más fácil de entender la inferencia es como la coincidencia de patrones. En el sentido más amplio, cuando hablamos de IA generativa e inferencia, la pregunta es: ¿Pueden los modelos de IA encontrar patrones para predecir lo que quieres? Por ejemplo, si dijera «peanut butter and ____» y le pidiera a un público estadounidense que completara el espacio en blanco, probablemente respondería «jelly». Es un buen ejemplo de inferencia de patrones del habla, y eso es algo que la inferencia de IA puede hacer, pero abarca mucho más.
Experto de Google: En general, la inferencia es la forma en que usamos el modelo para hacer algo útil. Primero, tenemos que entrenar el modelo: un modelo de IA contiene los parámetros del modelo, la arquitectura del modelo y la configuración, que es el código que necesita para ejecutar tareas; y todos estos elementos se combinan para llevar a cabo la funcionalidad. Así que la inferencia es lo que nos permite tomar todo eso y usarlo.
¿Qué tipos de modelos de IA usan la inferencia?
Experto de Google: La IA de aprendizaje profundo, como los modelos de lenguaje, los modelos de generación de imágenes y los modelos de audio, usa la inferencia porque hace predicciones sobre lo que «ocurrirá» basándose en lo que ha aprendido de los patrones de datos anteriores.
Experto de Google: Los modelos de recomendación también usan la inferencia.
¿Cuál es un ejemplo de modelo de recomendación?
Experto de Google: La mayoría de los modelos de anuncios son modelos de recomendación, al igual que el modelo que te recomienda videos de YouTube. Son IA «tradicional» (a veces llamada «clásica»), no IA generativa como los LLM y los modelos de generación de imágenes o videos, que lleva mucho tiempo usando la inferencia.
Entonces, la inferencia no es nueva en la IA; simplemente ha mejorado a medida que la IA se ha vuelto más capaz, ¿no?
Experto de Google: Sí. Y la inferencia no solo permite que los modelos de IA hagan predicciones, también les permite clasificar. El modelo puede etiquetar elementos basándose en lo que ha aprendido. Este es un ejemplo famoso: hace muchos años, Google le mostró una imagen a un modelo de IA y le preguntó si podía identificar un gato en ella. Usando datos —e inferencia—, pudo aprender por sí mismo qué es un gato, cómo se ve e identificarlo correctamente.
¡Me acuerdo!
Experto de Google: Ese fue un ejemplo de un modelo que usó la inferencia.
Experto de Google: Más recientemente, ¿recuerdas que hace un par de años la gente hablaba de imágenes creadas con IA que básicamente ignoraban las leyes de la física? Por ejemplo, las manos de las personas a menudo no aparecían correctamente. Los modelos actuales hacen mucho mejor ese trabajo. Han mejorado en física y textura, entre otras cosas. Y lo mismo ocurre con la traducción de textos. Por ejemplo: antes, la traducción de idiomas era estadística. Era utilizable, pero no era exactamente correcta y, desde luego, no era conversacional. Sin embargo, la traducción estadística nos llevó a la traducción con IA generativa, que hoy muchas personas se sienten cómodas usando, incluso en sus productos de cara al cliente. Seguimos usando el proceso llamado inferencia, pero la IA subyacente y nuestra capacidad de cómputo han mejorado drásticamente.
¿Se puede medir qué tan bien funciona la inferencia?
Experto de Google: Podemos hacerlo cuando medimos el rendimiento de un modelo en ciertas tareas. También usamos la inferencia para evaluar y entrenar modelos y así mejorarlos. Por eso, mientras entrenamos el modelo, seguimos ejecutando inferencias para intentar mejorar simultáneamente la calidad del modelo.
Y, debido a configuraciones de entrenamiento como esta, supongo que vemos que la inferencia mejora cada vez más según los indicadores de referencia del sector.
Experto de Google: Sí. Pero también está la cuestión de la percepción humana: ¿cuánto hemos notado todos que estas cosas mejoran? Y, en general, ha sido bastante. Algo que también nos importa mucho en Google cuando trabajamos en inferencia es la privacidad: tenemos cuidado con lo que necesitamos almacenar para que estas experiencias funcionen.
¿Cuáles son algunos ejemplos de IA de Google en los que podemos ver una inferencia mejorada?
Experto de Google: Uno de los mejores casos de uso de inferencia que tenemos en Google son las AI Overviews. Escribes una consulta en Search y un sistema muy complejo la distribuye entre varios modelos para intentar obtener resultados. Usa la inferencia para entender tu consulta y saber qué respuesta quieres y, al final, resume lo que aprende en algo muy útil. La inferencia también es fundamental para gran parte del trabajo agéntico que Google está realizando. Con los agentes, además de pedirle a un modelo de IA que proporcione información basándose en su inferencia, puedes hacer que haga cosas por ti. Esto es, en cierto modo, una extensión de la forma en que entendíamos la inferencia hasta ahora.
Así que la inferencia está mejorando en el uso de datos o conocimientos para ofrecer respuestas e incluso actuar. ¿De qué otras formas está cambiando?
Experto de Google: Bueno, algo muy importante es el costo. Intentamos que la inferencia sea lo más asequible posible. Supongamos que queremos ofrecer a las personas una versión más pequeña y asequible de Gemini. Trabajaríamos en la inferencia del modelo para encontrar formas de cambiar el paradigma de cómputo, o el código que compone el modelo, sin cambiar la semántica, o la tarea principal que se supone que debe realizar, a fin de reducir el costo. Básicamente, se trata de crear una versión más pequeña y eficiente del modelo para que más personas puedan acceder a sus capacidades.
¿Cómo reducimos el costo?
Experto de Google: Una forma es optimizar el hardware. Por eso Google lanzará Ironwood este año. Está optimizado para la inferencia gracias a un diseño que la prioriza: más potencia de cómputo y memoria, y optimización para ciertos tipos numéricos. En cuanto al software, Google está mejorando sus compiladores y frameworks. Con el tiempo, el objetivo es que la inferencia de IA sea más eficiente: mejor calidad, una menor huella y un costo inferior para ser útil.
Explora la documentación de la API de Ailoot en ailoot.ai/docs.