Introducción: qué encontró realmente el experimento del MIT sobre ChatGPT
Cuando se habla del estudio MIT ChatGPT productividad trabajadores, suele repetirse una cifra: 40%. Pero esa cifra no significa que ChatGPT haya aumentado la productividad general de todos los trabajos en un 40%. El experimento, realizado por Shakked Noy y Whitney Zhang, investigadores del MIT, y publicado en la revista Science el 13 de julio de 2023, encontró algo más específico: una reducción del 40% en el tiempo necesario para completar tareas de escritura profesional y un aumento del 18% en la calidad de esos resultados, según evaluadores ciegos.
Se trató de un experimento aleatorizado en línea con 453 profesionales con educación universitaria. No fue un estudio de campo dentro de una empresa ni un seguimiento del rendimiento de empleados en su puesto real. Tampoco es el mismo trabajo que suele citarse sobre agentes de soporte al cliente, un estudio diferente publicado por NBER. Distinguir ambos casos es clave para interpretar correctamente los resultados.
Qué fue el experimento del MIT sobre ChatGPT y la productividad
El experimento buscó medir qué ocurría cuando profesionales con formación universitaria realizaban tareas de escritura profesional con y sin la asistencia de ChatGPT. La comparación permitió observar diferencias tanto en el tiempo empleado como en la calidad del resultado final.
Quiénes realizaron el estudio y dónde se publicó
Los responsables fueron Shakked Noy y Whitney Zhang, investigadores del MIT. El estudio apareció en la revista Science el 13 de julio de 2023 bajo el título Experimental evidence on the productivity effects of generative artificial intelligence, y puede consultarse en la página del artículo en Science. La cobertura institucional del MIT News funcionó como fuente secundaria de difusión.
Cómo se diseñó el experimento
El diseño fue un experimento aleatorizado en línea. Esto significa que los participantes fueron asignados de forma aleatoria a distintas condiciones, lo que ayuda a reducir el efecto de factores ajenos a la intervención estudiada. En este caso, la comparación central fue realizar tareas de escritura con asistencia de ChatGPT frente a realizarlas sin ella.
Participaron 453 profesionales con educación universitaria. Además, el experimento fue preregistrado, es decir, sus criterios y análisis se definieron antes de ejecutarlo, y después fue publicado en Science. El trabajo se desarrolló en línea, no dentro de una empresa.
Qué tareas de escritura se evaluaron
Las tareas correspondían a escritura profesional de nivel medio, como documentos comerciales breves. Ese detalle importa: los resultados se refieren a ese tipo de encargo y a esa duración corta, no a cualquier actividad laboral. Tampoco equivale a un puesto de trabajo completo, con sus interrupciones, reuniones, decisiones y responsabilidades a largo plazo.
Resultados principales: menos tiempo y mejor calidad
Los dos resultados centrales del experimento son fáciles de resumir y fáciles de malinterpretar:
- 40% de reducción de tiempo para completar las tareas de escritura profesional.
- 18% de aumento de calidad en los resultados, medido por evaluadores ciegos.
40% menos tiempo para completar tareas de escritura
ChatGPT redujo el tiempo necesario para completar las tareas en un 40% en promedio. Esa cifra describe un ahorro de tiempo en tareas concretas de escritura profesional evaluadas en el experimento. No describe un aumento general de productividad en todos los trabajos ni en todas las ocupaciones, y no debería presentarse como tal.
18% más calidad según evaluadores ciegos
La calidad de los resultados aumentó un 18% en promedio. La evaluación la realizaron evaluadores ciegos, es decir, personas que juzgaron los textos sin saber si habían sido escritos con ayuda de ChatGPT o sin ella. Ese mecanismo busca que la valoración no esté condicionada por la expectativa sobre la herramienta.
Los trabajadores con menor productividad inicial se beneficiaron más
El experimento encontró que los participantes con menor productividad inicial obtuvieron mayores beneficios del uso de ChatGPT. Como consecuencia, la distribución del rendimiento se comprimió: se redujo la desigualdad en la calidad de los resultados entre los participantes. En otras palabras, la herramienta no favoreció por igual a todos, sino que tendió a acercar los extremos.
Cómo se compara con el estudio de soporte al cliente
Una de las confusiones más frecuentes al buscar información sobre IA generativa y trabajo consiste en mezclar dos investigaciones distintas. Ambas son relevantes, pero responden a preguntas diferentes y usan metodologías diferentes.
El experimento del MIT sobre ChatGPT en tareas de escritura
- Autores: Shakked Noy y Whitney Zhang, del MIT.
- Publicación: Science, 13 de julio de 2023.
- Muestra: 453 profesionales con educación universitaria.
- Contexto: experimento aleatorizado en línea, no estudio de campo dentro de una empresa.
- Intervención: ChatGPT en tareas de escritura profesional de nivel medio.
- Resultados: 40% menos tiempo y 18% más calidad.
El estudio de NBER sobre agentes de soporte al cliente
El segundo trabajo fue realizado por Erik Brynjolfsson, Danielle Li y Lindsey Raymond y publicado como documento de trabajo de NBER en abril de 2023, con el título Generative AI at Work, disponible en la página del documento en NBER.
- Muestra: 5.179 agentes de soporte al cliente en una empresa de software Fortune 500.
- Contexto: entorno laboral real de soporte al cliente.
- Intervención: un asistente de IA generativa, no necesariamente ChatGPT.
- Resultados: 14% de aumento en la productividad general, medida como problemas resueltos por hora.
- Detalle adicional: los trabajadores novatos o con menos habilidades experimentaron un aumento del 34%.
Por qué se confunden y cómo distinguirlos
La confusión proviene, en parte, de que ambos estudios se resumen con la misma etiqueta: inteligencia artificial y productividad. También de que los dos asocian la IA generativa con mejoras medibles y de que, en ambos casos, quienes parten de un nivel más bajo obtienen ganancias mayores.
La forma más simple de separarlos es preguntar tres cosas: qué herramienta se usó, dónde se hizo el estudio y qué se midió. En el experimento del MIT se usó ChatGPT, se trabajó en línea con tareas breves de escritura y se midió tiempo y calidad. En el estudio de NBER se usó un asistente de IA generativa —no necesariamente ChatGPT—, se trabajó dentro de una empresa real de soporte al cliente y se midió productividad como problemas resueltos por hora.
Qué no dice el estudio: límites y generalización
Delimitar el alcance de un hallazgo es tan importante como el hallazgo mismo. En este caso, hay varias lecturas que la investigación disponible no respalda.
No es un aumento general del 40% en productividad
El 40% corresponde a una reducción del tiempo necesario para completar tareas específicas de escritura profesional. No es un aumento general de productividad en todos los trabajos. Tampoco es una cifra que deba aplicarse a sectores, roles o tareas que el experimento no evaluó.
No se realizó dentro de una empresa
El experimento de Noy y Zhang no se llevó a cabo dentro de una organización. Fue un experimento en línea con profesionales que completaron tareas breves de escritura. Esa diferencia es relevante porque un entorno laboral real incluye factores que un ejercicio en línea no reproduce.
No responde si ChatGPT reemplazará empleos
El estudio no aborda la pregunta sobre el reemplazo de trabajadores. Sus resultados muestran aumentos de productividad en tareas específicas, no sustitución automática de empleos. Convertir ese hallazgo en una predicción sobre desempleo sería ir más allá de lo que la investigación sostiene.
Implicaciones prácticas para trabajadores y equipos
Las siguientes son posibles aplicaciones derivadas de los resultados, no conclusiones adicionales del estudio.
Para profesionales que escriben en el trabajo
Si una parte relevante de la jornada consiste en redactar documentos breves, el experimento sugiere que herramientas como ChatGPT pueden reducir el tiempo dedicado a esa tarea y, en paralelo, mejorar la calidad del resultado. También conviene recordar que el estudio se centró en tareas de escritura profesional de nivel medio: no hay base para asumir el mismo efecto en tareas de otro tipo.
Un punto adicional es que menos tiempo en una tarea no equivale automáticamente a mejor productividad general. El tiempo ahorrado puede destinarse a otras actividades, pero también puede no traducirse en resultados si no se gestiona.
Para organizaciones que evalúan adoptar IA generativa
El experimento no fue un estudio de campo dentro de una empresa, y sus resultados se refieren a tareas específicas de escritura profesional. Cualquier aplicación organizacional debería considerarse una posible implicación y no una conclusión comprobada del estudio. Los datos disponibles tampoco permiten extender los porcentajes observados a todos los empleos.
Conclusión: qué podemos concluir con seguridad
El experimento de Shakked Noy y Whitney Zhang, publicado en Science en julio de 2023, encontró que ChatGPT redujo el tiempo necesario para completar tareas de escritura profesional en un 40% y aumentó la calidad en un 18%, según evaluadores ciegos. Los trabajadores con menor productividad inicial se beneficiaron más, y la distribución del rendimiento se comprimió.
También conviene retener lo que el estudio no dice. No es un aumento general del 40% en productividad, no se realizó dentro de una empresa y no permite generalizar a todas las profesiones. Y no es el mismo trabajo que el estudio de Brynjolfsson, Li y Raymond sobre agentes de soporte al cliente, que encontró un aumento del 14% en productividad general y del 34% para novatos usando un asistente de IA generativa, no necesariamente ChatGPT.
