Qué es la inferencia en Inteligencia Artificial y por qué importa

La palabra que explica casi todo lo que vives con la Inteligencia Artificial

Hay una palabra que se repite sin parar en cualquier conversación seria sobre Inteligencia Artificial: inferencia. Y mucha gente la usa sin tener del todo claro qué significa. Es una pena, porque entenderla bien te explica un montón de cosas que vives a diario: por qué a veces ChatGPT va lentísimo, por qué la velocidad se mide en una unidad rara, por qué unos chips sirven para una cosa y otros para otra, y por qué cada vez tiene más sentido ejecutar modelos en tu propio equipo.

Te lo cuento en cristiano. Sin ecuaciones y sin humo.

Entrenar y usar: dos mundos distintos

Un modelo de Inteligencia Artificial pasa por dos fases muy diferentes en su vida. Conviene no mezclarlas, porque es justo de donde viene la confusión.

La primera es el entrenamiento. Es la fase en la que el modelo aprende. Le metes cantidades brutales de datos y, a base de ajustar miles de millones de parámetros una y otra vez, va captando patrones del lenguaje, del código, de las imágenes o de lo que sea. Es un proceso larguísimo, que se hace una sola vez (o cada cierto tiempo, cuando sacan una versión nueva), y que cuesta una fortuna en hardware y electricidad.

La segunda es la inferencia. Es la fase en la que el modelo, ya entrenado, se aplica sobre datos nuevos para darte una respuesta. Cuando le escribes a ChatGPT o a Claude y te contesta, eso es inferencia. El modelo no está aprendiendo nada de ti en ese momento: está usando lo que ya aprendió para generar la salida. Como muy bien lo resumen en algunas guías sobre el tema, cuando usas cualquier modelo de Inteligencia Artificial, lo que estás viendo es inferencia.

Una analogía rápida: el entrenamiento es estudiar la carrera. La inferencia es ir a trabajar cada día con lo que aprendiste. Estudiar lo haces una vez y cuesta un esfuerzo enorme. Trabajar lo haces todos los días, y aunque cada día cunda menos que la carrera entera, al cabo de los años le has dedicado muchísimo más.

Por qué la inferencia es la que de verdad cuesta dinero (a la larga)

Aquí hay algo que sorprende. Todo el mundo habla de los millones que cuesta entrenar un modelo grande, y es cierto, es una barbaridad. Pero ese gasto se hace una vez.

La inferencia, en cambio, se paga cada vez que alguien usa el modelo. Y si tienes cientos de millones de usuarios preguntando cosas a todas horas, esas respuestas, una a una, suman un coste descomunal que no para nunca. Por eso las grandes empresas del sector están hoy obsesionadas no solo con tener el modelo más listo, sino con que la inferencia sea lo más rápida y barata posible. Hay análisis que apuntan a que la prioridad se ha desplazado de entrenar a lo bestia hacia ejecutar los modelos más rápido que nadie. Tiene toda la lógica: el entrenamiento es la inversión inicial, pero la inferencia es la factura que llega todos los meses.

Esto, que parece un problema solo de las grandes tecnológicas, te afecta a ti directamente. Cuando un servicio de Inteligencia Artificial te limita los mensajes, te mete en cola o te cobra por uso, casi siempre es por el coste de la inferencia. No te cobran por lo que el modelo sabe. Te cobran por hacerle pensar.

Tokens por segundo: la unidad que mide la velocidad

Cuando le hablas a un modelo, no procesa letras ni palabras enteras, sino tokens: trozos de texto, que pueden ser una palabra, parte de una palabra o un signo. La respuesta se va generando token a token, y por eso ves el texto aparecer poco a poco, como si lo escribiera alguien al otro lado.

La velocidad de la inferencia se mide precisamente en tokens por segundo. Cuantos más tokens por segundo, más rápido aparece la respuesta. Y hay dos cosas que notas como usuario:

El tiempo hasta el primer token: cuánto tarda en empezar a responder. Es esa pausa incómoda tras darle a enviar.
La velocidad de generación: cómo de rápido escupe el resto del texto una vez ha arrancado.

Cuando un modelo va lento, suele ser una de dos: o el modelo es muy grande y pesado de ejecutar, o el servidor está saturado de gente pidiendo cosas a la vez y te toca compartir. No es que el modelo “esté pensando más”. Es, casi siempre, un problema de capacidad de inferencia.

Por qué unos chips entrenan y otros responden

Otra cosa que confunde mucho: ¿no es todo “hardware de Inteligencia Artificial”? Pues no exactamente.

Las GPUs de NVIDIA son fantásticas para entrenar, que es un trabajo de fuerza bruta masiva y paralela. Pero entrenar y hacer inferencia no son la misma tarea: la inferencia necesita responder rápido, a muchos usuarios, gastando lo menos posible por respuesta. Y para eso están apareciendo chips diseñados específicamente para inferencia, que priorizan la latencia baja y la eficiencia por encima de la potencia bruta. Como se explica al hablar de TOPs y tokens, el hardware óptimo para cada fase es distinto.

Lo mismo pasa a pequeña escala. Los móviles y portátiles modernos llevan una NPU (unidad de procesamiento neuronal), que no sirve para entrenar modelos gigantes, pero sí para hacer inferencia ligera en local: dictado, traducción, filtros de foto, pequeños asistentes. Inferencia en tu bolsillo, sin pasar por ningún servidor.

La inferencia local: tu Inteligencia Artificial, sin enviar nada fuera

Y aquí está la parte que más me interesa. Como la inferencia es “solo usar” el modelo, no entrenarlo, se puede hacer en tu propio equipo si el modelo es lo bastante manejable. Con herramientas como Ollama o LM Studio puedes bajarte un modelo abierto y ejecutarlo en tu ordenador, sin nube y sin cuota.

¿Las ventajas? Privacidad (lo que escribes no sale de tu máquina), coste cero por uso una vez tienes el equipo, y funcionar sin depender de internet ni de que el servidor de turno esté saturado. ¿Las pegas? Necesitas hardware decente, y los modelos que caben en un equipo normal no llegan, todavía, al nivel de los gigantes en la nube. Pero la brecha se acorta rápido, y para muchísimas tareas del día a día, un modelo local ya cumple de sobra.

Para una empresa, decidir qué inferencia te conviene (nube por potencia, local por privacidad y coste, o una mezcla) es una de esas decisiones técnicas que marcan la diferencia en la factura y en la protección de datos. Es justo el tipo de cosa que ayudo a montar a quien lo necesita, porque la respuesta correcta depende muchísimo de cada caso.

Lo que me llevo de todo esto

La próxima vez que oigas la palabra inferencia, ya sabes que no es nada esotérico: es, simplemente, el momento en el que el modelo trabaja para ti. Entrenar es enseñarle. Inferir es usarlo. Y casi todo lo que notas como usuario (la velocidad, las colas, los límites, los precios, la opción de ejecutarlo en local) pasa en esa segunda fase, no en la primera.

Entender esto te cambia la forma de leer las noticias del sector y, sobre todo, te ayuda a tomar mejores decisiones sobre qué herramienta usar y dónde ejecutarla. Que de eso, al final, va todo.

Preguntas frecuentes

¿Qué es la inferencia en Inteligencia Artificial?

Es la fase en la que un modelo ya entrenado se aplica sobre datos nuevos para generar una respuesta. Cada vez que escribes a un asistente como ChatGPT o Claude y te contesta, estás usando inferencia: el modelo no aprende en ese momento, sino que usa lo que aprendió durante el entrenamiento para producir la salida.

¿En qué se diferencia la inferencia del entrenamiento?

El entrenamiento es la fase en la que el modelo aprende a partir de enormes cantidades de datos; se hace una vez (o cada cierto tiempo) y cuesta muchísimo. La inferencia es usar ese modelo ya entrenado, y ocurre cada vez que alguien le pide algo. Son tareas distintas, con hardware, costes y prioridades diferentes.

¿Por qué a veces los modelos de Inteligencia Artificial van lentos?

Casi siempre por un problema de capacidad de inferencia: o el modelo es muy grande y pesado de ejecutar, o el servidor está saturado de usuarios pidiendo respuestas a la vez. La velocidad se mide en tokens por segundo, y cuando hay mucha demanda, esa velocidad baja para todos.

¿Puedo hacer inferencia en mi propio ordenador?

Sí. Como la inferencia es solo usar el modelo, con herramientas como Ollama o LM Studio puedes ejecutar modelos abiertos en local, sin nube ni cuotas. Ganas privacidad y coste cero por uso, a cambio de necesitar hardware decente y de que los modelos que caben en un equipo normal aún no igualan a los mayores de la nube.

Fuentes

Compártelo si te ha resultado útil, sobre todo con quien crea que entrenar y usar un modelo es lo mismo.

¿Has probado ya a ejecutar un modelo en local, o lo usas todo en la nube? Cuéntame.

Y… la próxima vez que el chat se quede pensando, ya sabes a quién mirar: a la inferencia.