El costo medioambiental de los modelos de lenguaje

El lunes 28 de abril aproximadamente al medio día, España sufrió el peor apagón de su historia reciente. La situación se prolongó por horas afectando la vida de millones de personas. El apagón me hizo pensar en la fragilidad del mundo en el que estamos y lo dependientes que somos de la energía para todas nuestras actividades incluyendo, por supuesto, el acceso a los modelos de lenguaje. España se quedó sin ChatGPT por muchas horas 😱.

Pero además de esta fragilidad, lo sucedido me puso a pensar en el consumo de recursos de los modelos de lenguaje. Así que hoy quiero hablar sobre el gasto energético y el costo medioambiental que tienen estos modelos.

¿De dónde viene el impacto medioambiental de los modelos de lenguaje?

La inmaterialidad del mundo digital hace difícil entender la gran cantidad de procesos físicos que lo sostienen. Usar un modelo de lenguaje, por ejemplo, implica que nuestro texto debe ser procesado por un computador con acceso a hardware especializado en algún centro de computación. Este hardware especializado se conoce como GPU (la sigla en inglés para unidad de procesamiento gráfico) y permite hacer de forma eficiente los millones de cálculos matemáticos detrás de los modelos de lenguaje. De hecho, las GPUs son una parte importante de la disputa comercial entre China y Estados Unidos.

Si nunca han visto un centro de computación (también los llaman centros de datos), este video hace un recorrido por uno de ellos.

Diagrama 1. Centro de computación de xAI.

Estos centros usan intensivamente dos recursos: energía y agua. Energía para mantener funcionando todos los computadores y agua para enfriar los componentes del sistema. Si bien estos centros de computación existían antes de los modelos de lenguaje — en esencia estos lugares son los que mantienen toda la infraestructura digital que tenemos— la expansión en el uso de estos modelos ha incrementado la demanda por más de estos centros. Bloomberg estima que hoy en día están en funcionamiento o en proceso de construcción aproximadamente 7,000 centros de computación en el mundo.

El consumo de energía de los centros de computación

Este documental de Bloomberg cubre de forma muy interesante lo que sucede en el estado de Virginia (Estados Unidos) con la creciente ola de construcción de centros de computación. Algunas de las estadísticas más interesantes que da son:

El consumo de energía de todos los centros de datos del estado es equivalente al consumo de aproximadamente 1 millón y medio de hogares en ese estado (5 Giga Watts).
El consumo anual de energía estimado para 2034 de los 7,000 centros de datos en el mundo es casi el doble que el consumo anual de energía en India.

Desafortunadamente el video solo está en inglés pero les recomiendo verlo si pueden.

El consumo de energía de los modelos de lenguaje

Es muy difícil obtener cifras exactas sobre el consumo de energía de los modelos de lenguaje. La mayoría de modelos que usamos (ChatGPT, Claude, Gemini) son privados y las estadísticas las conocen solo las empresas dueñas de estos modelos. Sin embargo, un estudio reciente situó el uso de energía de ChatGPT en el rango de 6 a 10 veces más que una búsqueda web tradicional (0.3 Wh vs. 2.9 Wh).

Para entender mejor el uso de energía de estos modelos, tenemos que analizar modelos abiertos al público. A diferencia de modelos como los de OpenAI o Anthropic, los modelos abiertos al público pueden ser utilizados por cualquier que tenga la infraestructura necesaria para correrlos. Esto nos permite analizar con detenimiento su consumo energético. La empresa de tecnología Hugging Face hizo público recientemente una herramienta que permite cuantificar el gasto energético de cada interacción con un modelo de lenguaje. La herramienta está en inglés pero pueden interactuar con los modelos en español. Acá les dejo el enlace.

Diagrama 2. Interfaz de Hugging Face para calcular el consumo energético de los modelos de lenguaje.

Utilizando esta herramienta podemos ver el gasto energético en Watts por hora (Wh) y su equivalencia con el uso energético de algunos dispositivos de uso diario. El Diagrama 3 muestra como, por ejemplo, hacer un cálculo matemático complicado con un modelo de lenguaje de 70 billones de parámetros (Llama 3.3. 70B) gasta al rededor de 0.08 Wh de energía que equivalen al 0.42% de la carga de un celular.

Diagrama 3. Cálculo matemático en la herramienta de Hugging Face.

Como siempre, la respuesta del modelo tiene la apariencia de ser correcta. Pero, si la miramos con cuidado, vemos que no lo es. Revisen en sus calculadoras. Acá está el resultado en la mía:

Diagrama 4. Resultado correcto de la operación matemática.

El ejemplo ilustra una idea importante que quiero transmitir hoy: hay tareas para las cuales un modelo de lenguaje es la herramienta equivocada, tanto por su gasto energético como por las posibilidades que tiene de fallar. ¿Por qué no usar una calculadora o Excel?

Miremos ahora el gasto energético de tareas más complejas. En el Diagrama 5, le pido al modelo que use el lenguaje de programación de Python para desarrollar un juego de culebrita 🐍 (snake en inglés). Ese que venía en los celulares Nokia antiguos).

Digrama 5. Juego de culebrita en Python.

Para esta tarea el modelo consume 18 veces más energía que para la anterior. El consumo es equivalente a tener prendida por 36 minutos una bombilla LED de 10W.

Estos cálculos son solo una estimación por lo bajo. Los modelos que permite usar la herramienta tienen muchos menos parámetros que modelos como los que están detrás de ChatGPT. Si, por ejemplo, suponemos que ChatGPT tiene alrededor de 1 trillón de parámetros, esto es aproximadamente 14 veces más que el modelo que usamos para los cálculos energéticos. Por tanto, si el gasto energético crece linealmente, usar ChatGPT para hacer el juego habría requerido el equivalente a más de 8 horas de una bombilla LED encendida. Si quieren jugar culebrita, mejor usar la versión que tiene Google (acá se las dejo).

El consumo de agua

Tenemos mucha menos información del uso de agua. Esto se debe a que cada centro de computación tiene configuraciones y tecnologías distintas. Algunos, incluso, no usan agua si no que enfrían los equipos con ventiladores, utilizando más energía.

Estimaciones recientes encuentran que el uso de agua en estos centros puede estar al rededor de 0.18 a 1.1L de agua for kWh de energía. Los centros más sofisticados donde se entrenan los modelos de lenguaje pueden usar hasta 550,000 galones de agua al día (pueden ver el informe acá).

El gasto específico de agua por los modelos de lenguaje es difícil de medir. Algunas estimaciones encuentran que procesar entre 10 y 50 búsquedas con el modelo GPT-3 usa 500mL de agua.

Conclusión

Hace unos días el CEO de Hugging Face hizo una publicación que resume bien la idea con la que quiero cerrar. La publicación dice:

“En mi opinión, las limitaciones energéticas se resolverán en parte al usar los modelos de IA adecuados para cada tarea (en lugar de un modelo gigante, caro y lento para todo). Pero para ello necesitamos más transparencia, ¡por eso me entusiasma este trabajo! (Traducción hecha por o4-mini-high, revisada por mí). ”

Diagrama 6. Publicación Clem Delangue.

No se necesita una bazuca para matar una mosca. Como en el ejemplo del cálculo matemático, en algunas situaciones un modelo de lenguaje no es la solución para el problema. Podemos terminar haciendo más daño —a nosotros mismos y al medio ambiente— que lo que solucionamos. Por eso cierro con una pregunta que intento hacerme cada vez que voy a usar un modelo de lenguaje:

¿Es un modelo de lenguaje la herramienta necesaria para mi problema?

Tres cosas que descubrí en la semana

Cierro con una nueva sección que quiero incluir todas las semanas donde les comparto algún artículo o herramienta que descubrí. Si encuentran ustedes cosas interesantes espero que me las compartan también.

NotebookLM ahora puede generar podcasts en más de 50 idiomas. Acá el comunicado oficial.
ChatGPT empezó a integrar enlaces directos para realizar compras de productos. La integración incluye botones de “comprar” que llevan al usuario a la página donde está el producto. ¿Cómo se escogen los enlaces? No queda muy claro, pero parece que estamos más cerca a un mundo en el que ChatGPT integra publicidad.
Nari Labs sacó un modelo que permite genera audios hiperrealistas utilizando solo texto. Los ejemplos del demo son muy impresionantes.