¿Gratis? El verdadero negocio de los modelos de lenguaje

Por lo general, cuando un producto digital es gratis, se dice que el producto somos nosotros. Google, Facebook y TikTok, por ejemplo, subastan nuestra atención a los mejores pagadores para mostrarnos publicidad. Muchas de las aplicaciones gratuitas que descargamos recogen nuestros datos para luego venderlos. ¿Se acuerdan de una aplicación que fue muy popular hace unos años y que mostraba cómo nos veríamos de viejos? Se llamaba FaceApp y resulta que al usar la app le dimos a la empresa que la desarrolló "licencia perpetua, irrevocable, no exclusiva, libre de regalías, mundial, totalmente pagada, transferible y sublicenciable para usar, reproducir, modificar, adaptar, publicar, traducir, crear obras derivadas, distribuir, ejecutar públicamente y mostrar tu contenido de usuario". No dan muchas ganas de usar la app después de leer eso, pero… ¿quién lee los términos de uso? 😅

Las herramientas de chat más populares hoy en día ofrecen todas una versión gratuita. Sin embargo, estas empresas no tienen (todavía) publicidad dentro de ellas ni venden los datos a terceros. ¿Cuál es el negocio de estas empresas? En el artículo de hoy voy a explorar los incentivos económicos de estas empresas para dar luces sobre su modelo de negocio.

El nacimiento de las herramientas de chat modernas

En noviembre de 2022, OpenAI hizo público ChatGPT. Y lo hizo de forma gratuita. Sam Altman, el CEO de la empresa, lo anunció mediante un tweet:

Diagrama 1. Lanzamiento de ChatGPT.

Con este lanzamiento, OpenAI le dio acceso a cualquier persona con conexión a internet a algunos de los modelos de lenguaje más poderosos del momento sin necesidad de escribir una línea de código.

Este movimiento estratégico creó un efecto dominó en la industria. Anthropic respondió lanzando Claude en marzo de 2023, mientras Google aceleró el desarrollo de Bard (posteriormente renombrado como Gemini). Estas empresas establecieron un patrón común: ofrecer una versión gratuita con límites de uso y una versión premium con capacidades ampliadas y menos restricciones.

El costo oculto de las herramientas de chat

Una de las diferencias principales entre las herramientas de chat y otros tipos de productos digitales es el costo de funcionamiento. Los modelos de lenguaje más avanzados contienen billones de parámetros y requieren infraestructura especializada para operar, particularmente GPUs de alto rendimiento.

Aunque las cifras exactas son confidenciales, algunas estimaciones sitúan el costo operativo diario de ChatGPT en aproximadamente 700.000 USD. A diferencia de otras plataformas como las redes sociales, donde el costo marginal por usuario adicional es mínimo, cada interacción con un modelo de lenguaje representa un gasto real y tangible.

El desarrollo de estos modelos es igualmente costoso, requiriendo inversiones significativas en recolección de datos, desarrollo de nuevas arquitecturas y adquisición de infraestructura. El capital humano necesario para esta tarea implica también costos elevados: el salario base anual de un ingeniero de investigación (research engineer en inglés) en OpenAI ronda los 300,000 USD 💸. En cuanto al entrenamiento, el costo computacional de un modelo como GPT-4 asciende a aproximadamente 100 millones de dólares (este artículo habla sobre el tema).

Con costos tan altos, ¿cómo puede ser que estas empresas ofrezcan versiones gratuitas de sus servicios?

Financiación de los usuarios pagos y compañías

Una primera respuesta está en que, si bien hay una versión gratuita de estas herramientas, hay también versiones pagas para individuos y empresas. De alguna forma, estos ingresos estarían subsidiando a los usuarios gratuitos. Algunas de las vías directas de ingresos de estas empresas son:

Suscripciones premium: Los usuarios que pagan por planes como ChatGPT Plus (20 USD mensuales) o el servicio Pro (200 USD mensuales) proporcionan un ingreso recurrente y predecible. Estos planes ofrecen acceso prioritario, funcionalidades adicionales y límites de uso más generosos.
APIs para desarrolladores: Los desarrolladores que integran estos modelos en sus aplicaciones pagan por cada token (fragmento de palabra) generado o procesado. Este modelo de "pago por uso" permite a las empresas monetizar el uso programático de sus modelos a escala.
Alianzas empresariales: Grandes corporaciones como Nubank implementan estas tecnologías en sus operaciones internas y productos de cara al cliente. Estas alianzas estratégicas representan contratos de alto valor y casos de éxito que atraen a más clientes corporativos.
Inversión externa: El capital de riesgo y las inversiones estratégicas siguen siendo fundamentales. En su más reciente ronda de financiación, OpenAI logró captar 40.000 millones de dólares para financiar sus operaciones (acá la noticia completa).

Pero esta no es toda la historia.

El producto como estrategia de mercadeo

Esta mañana cuando iba saliendo del supermercado un señor me entregó una muestra gratis de una bebida. El señor, probablemente, llevaba toda la mañana haciendo lo mismo. La similitud con la estrategia de estas plataformas me llamó la atención. Claramente no están reinventando la rueda. La idea es simple: dar el producto gratis a los usuarios para que lo prueben y se familiaricen con él. El hecho de que el producto sea gratis se puede entender como una estrategia de mercadeo. Hasta hace poco OpenAI no tenía un equipo de mercado. Después de haber acostumbrado a la gente al producto y haber captado gran parte del mercado, es posible repensar la estrategia de precios.

Mientras escribo, me entero que OpenAI ha anunciado que ofrecerá de forma gratuita ChatGPT Plus para estudiantes universitarios de Estados Unidos y Canadá hasta mayo. Una estrategia claramente calculada para captar a toda una generación de futuros clientes y convertirlos en usuarios de sus servicios pagos.

Captura de los datos

Los modelos de lenguaje modernos necesitan muchos datos para ser entrenados. El último modelo de Meta, por ejemplo, fue entrenado con 30 trillones de palabras (acá está el post que hizo la empresa). 30.000.000.000.000 palabras 😱. Este apetito por los datos hace que las empresas que desarrollan los modelos estén buscando siempre nuevas formas de recolectar más y mejores fuentes de datos.

Pagarle a personas por escribir texto nuevo es muy costoso y dispendioso. ¿Pero qué pasa si se da acceso gratuito al modelo y se recoge todo el texto que las personas escriben? Esa fue exactamente la intuición que debió haber tenido el equipo de OpenAI al lanzar ChatGPT (yo no estuve ahí, pero me lo imagino). Su política de uso de datos dice lo siguiente:

“No usamos tu contenido para comercializar nuestros servicios ni para crear perfiles publicitarios sobre ti; lo usamos para hacer que nuestros modelos sean más útiles. ChatGPT, por ejemplo, mejora mediante un entrenamiento adicional basado en las conversaciones que las personas tienen con él, a menos que decidas excluirte.”

(Traducción propia de la política de datos de OpenAI. Versión en inglés disponible acá.)

Si miramos los controles de datos en la página de ChatGPT vemos que por defecto estamos compartiendo nuestros datos con la empresa para “mejorar el modelo para todos”. Esto se puede desactivar.

Diagrama 2. Control de datos ChatGPT.

Si llevan usando ChatGPT por algún tiempo y no han desactivado esa opción, los invito a hacer el siguiente ejercicio. Abran una ventana nueva y pregunten esto:

“Basándote en todo lo que sabes sobre mí a lo largo de nuestras conversaciones, compárteme lo que piensas de la forma más honesta y detallada sobre mi y mi perfil profesional. Menciona ejemplos concretos en los que basas tus opiniones. Sugiéreme estrategias y acciones concretas para potenciar mi desarrollo profesional y para mejorar como persona. Finalmente, dame una recomendación que probablemente no espere, pero que podría tener un gran impacto positivo en mi vida.”

Así comienza el mío:

Diagrama 3. Conversación con ChatGPT

Cada empresa tiene una política de uso de datos diferente. Hay empresas como Anthropic que recogen muchos menos datos de los usuarios. Por defecto, ninguno de los datos de los usuarios son usados para entrenar los modelos.

De manera predeterminada, no utilizaremos tus Entradas ni Salidas para entrenar nuestros modelos. Si nos informas explícitamente sobre materiales (por ejemplo, a través de nuestros mecanismos de retroalimentación), o si decides participar explícitamente en el entrenamiento, entonces podremos usar esos materiales para entrenar nuestros modelos.

(Traducción propia. La política completa en inglés la encuentran acá).

Herramientas como Hugging Chat no recogen ni usan los datos de los usuarios (acá la política).

Retroalimentación de los usuarios para mejorar el modelo

La política de Anthropic revela algo muy interesante. Más allá del texto que escribimos, hay otro tipo de información que las herramientas de chat pueden recoger sobre nosotros: la forma en la que interactuamos con el sistema (mecanismo de retroalimentación). Dar un clic, copiar y pegar un texto, evaluar una respuesta, todas esas son acciones que son monitoreadas por las empresas para mejorar los modelos. El Diagrama 4 muestra cómo Claude (la herramienta de chat de Anthropic) tiene varios botones que los usuarios pueden usar y que generan retroalimentación.

Diagrama 4. Mecanismo de retroalimentación en Claude.

ChatGPT tiene opciones muy similares:

Diagrama 5. Mecanismo de retroalimentación ChatGPT

Toda esta información es de muchísimo valor para estas empresas. Si nosotros, por ejemplo, copiamos el texto que genera uno de estos modelos, implícitamente estamos diciendo que el texto nos fue útil. Yo nunca he utilizado el botón de pulgar arriba, pero esta sería una indicación aún más fuerte de que estamos satisfechos con la respuesta. Con toda esa retroalimentación de millones de usuarios, estas empresas pueden entrenar nuevos modelos que sean cada vez mejores generando texto que esté alineado con los gustos y preferencias de los usuarios. Esta retroalimentación es la base de la fase de entrenamiento de los modelos de lenguaje que se conoce como aprendizaje por refuerzo con retroalimentación humana (reinforcement learning with human feedback en inglés). Hablaré más de esto en un próximo artículo.

ChatGPT va más allá y, de vez en cuando, pide a los usuarios explícitamente elegir entre dos posibles respuestas:

Diagrama 6. Selección explícita en ChatGPT.

Aquí es bastante evidente la razón por la cual la plataforma es gratuita (y eso que yo pago el plan Pro).

Conclusión y recomendación

Nada es gratis en la vida. Aunque lo intenten, los productos digitales no se escapan de esta lógica. Siempre estamos dando algo a cambio cuando usamos un servicio que aparenta ser gratuito. Los modelos de lenguaje siguen esta misma lógica. Creo que entender un poco sobre el modelo económico de las empresas que los desarrollan permite utilizarlos con más conciencia y fundamento.

Termino con una recomendación (desafortunadamente está en inglés). Desde hace algunos años sigo el trabajo del instituto de investigación Data & Society. Este instituto estudia las implicaciones sociales de la creciente recolección de datos en nuestro día a día, la automatización de muchas tareas y el uso de inteligencia artificial. Publican artículos muy interesantes y organizan eventos en línea. Si les interesa, los encuentran acá.

¡Gracias por leer hasta el final! Si aún no estás suscrito, puedes hacerlo en Loras Mojadas para recibir todos los artículos directamente en tu correo.