La inteligencia artificial parece enfrentarse a una peculiar paradoja cuando entra en el territorio de la creatividad: podemos preferir lo que escribe y, al mismo tiempo, penalizarlo por haber sido escrito por una máquina. Un nuevo estudio publicado en Judgment and Decision Making, revista de Cambridge University Press, ha encontrado que los lectores valoraron los relatos breves generados por ChatGPT como de mayor calidad y más absorbentes que los escritos por autores humanos. Sin embargo, independientemente del origen real del texto, las puntuaciones mejoraban cuando se decía a los participantes que detrás había una persona. 

La investigación, titulada “Bot or not”, ha sido realizada por Sydney Sears y Deena Skolnick Weisberg, de la Universidad de Villanova, y comprende tres estudios realizados con adultos. El primero contó con 1.682 participantes; el segundo, con 424; y el tercero, con 481. Las muestras fueron seleccionadas para ser demográficamente representativas de Estados Unidos en edad, género y raza. Las investigadoras utilizaron tres relatos humanos publicados previamente y tres textos correspondientes generados mediante ChatGPT 4.0, de aproximadamente 1.000 palabras cada uno. 

Los resultados dibujan una distancia significativa entre las ideas sobre la creatividad artificial y la respuesta ante el resultado cuando se desconoce quién lo ha producido. En palabras de las investigadoras, los participantes “prefieren realmente los relatos generados por IA mientras creen que estos relatos son peores”.

La autoría humana sigue aportando valor

El primero de los experimentos contó con 1.682 adultos, reclutados para formar una muestra representativa de la población estadounidense en edad, género y raza. Cada participante leyó uno de seis relatos de aproximadamente 1.000 palabras: tres habían sido escritos por autores humanos y publicados previamente en revistas literarias o recopilaciones de relatos, y otros tres habían sido generados con ChatGPT 4.0 siguiendo temas y características similares a los primeros.

Pero había una segunda variable. A algunos participantes se les comunicó correctamente quién había escrito el relato; a otros se les proporcionó deliberadamente una autoría falsa. De esta manera, las investigadoras pudieron separar dos cuestiones que habitualmente aparecen mezcladas: la calidad percibida del texto y el efecto que provoca saber que ha sido generado mediante IA.

El resultado fue que, en una escala de -3 a 3, los relatos generados por ChatGPT alcanzaron una valoración media de 1,42 en absorción, frente al 1,00 de los relatos humanos. En calidad percibida, la diferencia fue todavía mayor: 1,54 para los textos de IA frente a 0,97 para los humanos. 
Sin embargo, la percepción cambiaba cuando entraba en juego la autoría atribuida. Los relatos presentados como escritos por una persona obtuvieron una media de 1,32 en absorción, frente a 1,10 cuando se presentaban como generados por IA. En calidad, las puntuaciones fueron respectivamente de 1,40 y 1,12. Es decir, el contenido producido por ChatGPT gustaba más, pero la etiqueta humana también hacía que cualquier contenido gustara más.

Saber que detrás hay una IA modifica la percepción

El hallazgo entronca con lo que la literatura académica denomina algorithm aversion: la tendencia a evaluar peor determinados resultados cuando sabemos que proceden de un algoritmo.

El propio estudio recuerda investigaciones anteriores en las que este efecto se ha observado en ámbitos como el asesoramiento, la poesía o las artes visuales. Pero la investigación de Sears y Weisberg permite observarlo junto a otro fenómeno: la capacidad de los modelos generativos para producir determinados contenidos que, evaluados por sí mismos, pueden resultar especialmente atractivos para el público.

Una posible explicación planteada por las investigadoras está en la facilidad de procesamiento. La literatura previa ha observado que el contenido generado mediante IA suele ser más fluido y sencillo de interpretar, características que las personas tienden a valorar positivamente. Los relatos humanos, por el contrario, pueden introducir mayor ambigüedad, complejidad o dificultad interpretativa.

Así, un texto fácil de absorber no es necesariamente mejor literatura. Las propias autoras advierten de que calidad y capacidad de absorción son conceptos diferentes, aunque en su experimento hayan evolucionado de manera prácticamente idéntica. La ficción literaria puede precisamente exigir al lector enfrentarse a significados menos evidentes, mientras que un relato extremadamente absorbente puede tener escasa calidad literaria. 

Cuando hay que reconocer a ChatGPT, el lector falla

Los estudios 2 y 3 eliminaron la información sobre la autoría y plantearon una prueba más directa: ¿podemos saber realmente qué ha escrito una persona y qué ha escrito ChatGPT?

Los participantes recibieron dos relatos relacionados entre sí, uno humano y otro generado mediante IA, y tuvieron que identificar cuál correspondía a cada autoría.
En el segundo estudio participaron 424 adultos. Sólo el 40% acertaron, un resultado inferior al 50% que cabría esperar por azar. Las investigadoras replicaron posteriormente el experimento con otros 481 participantes. Esta vez acertaron el 52%, estadísticamente indistinguible del azar.
Así, los dos experimentos no ofrecen evidencia general de que los lectores puedan distinguir de manera fiable la ficción humana de la generada por ChatGPT. De hecho, el paper destaca que los participantes no superaron el azar en ninguno de ellos. 

Por otro lado, las investigadoras estudiaron si la experiencia previa podía mejorar la capacidad para detectar la procedencia de los textos. Y encontraron una diferencia entre saber de literatura y saber de inteligencia artificial.
En el segundo estudio, una mayor experiencia autodeclarada con sistemas de IA estuvo significativamente relacionada con una mayor probabilidad de identificar correctamente los relatos. La experiencia con literatura de ficción, en cambio, no mostró relación con el acierto.

El tercer estudio volvió a encontrar el mismo patrón utilizando esta vez una escala previamente validada de alfabetización en inteligencia artificial: quienes puntuaban más alto tenían mayor probabilidad de responder correctamente, mientras que nuevamente no apareció una relación significativa con la experiencia literaria. 

Incluso algunas de las pistas que intuitivamente utilizaban los lectores parecían jugar en su contra. En el segundo estudio, quienes afirmaron haberse fijado en el lenguaje tuvieron más probabilidades de equivocarse. En el tercero sucedió lo mismo con quienes se apoyaron en el lenguaje o en cuánto habían disfrutado del relato. El simbolismo, por el contrario, estuvo marginalmente asociado con una mayor probabilidad de acertar en este último experimento.
La conclusión que plantean las investigadoras es que quizá estamos buscando las señales equivocadas cuando intentamos reconocer un texto generado mediante IA.

Noticias Relacionadas

Wikipedia documenta cómo la Inteligencia Artificial está uniformando la escritura a nivel global

Linkedin es la plataforma con más contenido largo generado por IA, según un análisis de Pangram

Una creatividad más agradable, pero también más homogénea

¿Por qué pueden gustarnos más estos relatos? Además de su facilidad de interpretación, las autoras plantean una hipótesis relacionada con el propio funcionamiento de los modelos. ChatGPT construye nuevos contenidos a partir de enormes cantidades de material previo y, según argumenta el estudio, ese proceso podría en cierto sentido promediar tendencias existentes y suavizar algunas de las irregularidades de las obras humanas, produciendo resultados que resulten agradables para un mayor número de personas.

Pero precisamente ahí podría encontrarse también una de sus limitaciones. El estudio recoge investigaciones que señalan que los resultados creativos producidos por IA tienden a ser relativamente homogéneos. Una respuesta humana individual puede resultar menos creativa que una generada mediante IA, pero el conjunto de respuestas humanas presenta una variabilidad significativamente mayor.

Las investigadoras distinguen además dos momentos de la creatividad: generar posibilidades y seleccionar posteriormente cuáles merece la pena desarrollar. Los modelos utilizados en esta investigación estaban especialmente orientados al primero, mientras que el proceso humano incorpora reflexión y selección. De hecho, investigaciones anteriores citadas en el paper muestran que cuando una persona interviene seleccionando entre diferentes resultados generados mediante IA, la valoración del trabajo resultante puede mejorar todavía más. 

La cuestión, por tanto, trasciende la competición sobre quién “escribe mejor”. El estudio apunta hacia diferencias más profundas entre qué clase de resultados produce cada sistema creativo y mediante qué proceso llega hasta ellos.
Las autoras son particularmente cuidadosas al señalar los límites de sus resultados. Los textos analizados eran relatos breves, de alrededor de 1.000 palabras y pertenecientes a la ficción realista. No sabemos si el patrón se mantendría en una novela completa, donde desarrollar personajes, argumentos y coherencia narrativa durante decenas de miles de palabras plantea exigencias muy distintas.

Tampoco sabemos si ocurriría lo mismo en otros géneros literarios o culturas. Los participantes eran adultos estadounidenses de entre 18 y 81 años y las autoras señalan expresamente que la percepción de la IA y las tradiciones narrativas pueden variar entre países. Además, en los estudios de identificación se informó expresamente a los participantes de que uno de los textos era humano y otro artificial, una información de la que normalmente no disponemos cuando leemos contenido fuera de un laboratorio. Y las medidas de experiencia utilizadas fueron autodeclaradas, otra limitación reconocida por las investigadoras. 

Por eso, la conclusión más relevante del trabajo quizá no sea que la inteligencia artificial haya demostrado ser “más creativa” que las personas. Es que cuando juzgamos únicamente determinados resultados, nuestras preferencias pueden contradecir frontalmente lo que creemos sobre quién debería ser capaz de producirlos. Y esa distancia entre producto y procedencia introduce una nueva variable en el debate sobre creatividad e inteligencia artificial. Una máquina ya puede generar algo parecido a una creación humana pero, ¿cuánto cambia nuestro juicio sobre una obra cuando descubrimos quién -o qué- está detrás de ella?

Más info.: Bot or not