Un grupo de investigadores llevó a cabo secretamente un experimento «no autorizado» durante meses en una de las comunidades más populares de Reddit utilizando comentarios generados por inteligencia artificial para probar la persuasión de grandes modelos de lenguaje. El experimento, revelado durante el fin de semana por los moderadores de r/changemyview, es descrito por los moderadores de Reddit como una «manipulación psicológica» de usuarios desprevenidos. «El equipo de moderadores de CMV necesita informar a la comunidad de CMV sobre un experimento no autorizado realizado por investigadores de la Universidad de Zúrich en usuarios de CMV,» escribieron los moderadores del subreddit en una extensa publicación notificando a los redditors sobre la investigación. «Este experimento desplegó comentarios generados por inteligencia artificial para estudiar cómo la IA podría usarse para cambiar opiniones.» Los investigadores utilizaron LLMs para crear comentarios en respuesta a publicaciones en r/changemyview, un subreddit donde los usuarios de Reddit publican opiniones (a menudo controvertidas o provocativas) y solicitan debate de otros usuarios. La comunidad cuenta con 3.8 millones de miembros y a menudo termina en la página principal de Reddit. Según los moderadores del subreddit, la IA adoptó numerosas identidades diferentes en los comentarios durante el curso del experimento, incluyendo a una sobreviviente de agresión sexual, una consejera de trauma «especializada en abuso» y un «hombre negro opuesto a Black Lives Matter». Muchos de los comentarios originales han sido eliminados, pero algunos todavía se pueden ver en un archivo creado por 404 Media. En un borrador de su artículo, los investigadores no identificados describen cómo no solo utilizaron la IA para generar respuestas, sino que intentaron personalizar sus respuestas basándose en la información obtenida de la historia de Reddit del autor original. «Además del contenido del post, a los LLMs se les proporcionaron atributos personales del OP (género, edad, etnia, ubicación y orientación política), inferidos de su historial de publicaciones utilizando otro LLM,» escriben. Los moderadores de r/changemyview señalan que los investigadores violaron múltiples reglas del subreddit, incluyendo una política que requiere la divulgación cuando se utiliza IA para generar comentarios y una regla que prohíbe los bots. Dicen que presentaron una queja oficial a la Universidad de Zúrich y han solicitado a los investigadores que se abstengan de publicar su artículo. Reddit también parece estar considerando alguna acción legal. El Director Legal Ben Lee respondió a la controversia el lunes, escribiendo que las acciones de los investigadores fueron «profundamente erróneas tanto moral como legalmente» y una violación de las reglas de todo el sitio de Reddit. «Hemos prohibido todas las cuentas asociadas con el esfuerzo de investigación de la Universidad de Zúrich. Además, aunque pudimos detectar muchas de estas cuentas falsas, seguiremos fortaleciendo nuestras capacidades de detección de contenido no auténtico, y hemos estado en contacto con el equipo de moderación para asegurarnos de que hemos eliminado cualquier contenido generado por IA asociado con esta investigación.» «Estamos en proceso de comunicarnos con la Universidad de Zúrich y este equipo de investigación en particular con demandas legales formales. Queremos hacer todo lo posible para apoyar a la comunidad y asegurarnos de que los investigadores sean responsables de sus malas acciones aquí.» En un correo electrónico, los investigadores de la Universidad de Zúrich dirigieron a Engadget al departamento de relaciones con los medios de la universidad, que no respondió de inmediato a las preguntas. En publicaciones en Reddit y en un borrador de su artículo, los investigadores dijeron que su investigación fue aprobada por un comité de ética universitaria y que su trabajo podría ayudar a comunidades en línea como Reddit a proteger a los usuarios de usos más «maliciosos» de la IA. «Reconocemos la posición de los moderadores de que este estudio fue una intrusión no deseada en su comunidad, y entendemos que algunos de ustedes pueden sentirse incómodos de que este experimento se haya realizado sin consentimiento previo,» escribieron los investigadores en un comentario en respuesta a los moderadores de r/changemyview. «Creemos que los beneficios potenciales de esta investigación superan sustancialmente sus riesgos. Nuestro estudio controlado y de bajo riesgo proporcionó una valiosa visión de las capacidades persuasivas del mundo real de los LLMs, capacidades que ya son fácilmente accesibles para cualquiera y que los actores malintencionados podrían explotar a gran escala por razones mucho más peligrosas (por ejemplo, manipular elecciones o incitar a discursos de odio).» Los moderadores de r/changemyview disputan que la investigación fuera necesaria o novedosa, señalando que los investigadores de OpenAI han realizado experimentos utilizando datos de r/changemyview «sin experimentar en sujetos humanos no consentidos.» «Las personas no vienen aquí para discutir sus opiniones con IA o para ser experimentadas,» escribieron los moderadores. «Las personas que visitan nuestro sub merecen un espacio libre de este tipo de intrusión.» «Actualización, 28 de abril de 2025, 3:45PM PT: Esta publicación se actualizó para agregar detalles de una declaración del Director Legal de Reddit.»

A team of researchers conducted a secretive and «unauthorized» experiment on Reddit, using AI-generated comments to assess the effectiveness of large language models. The experiment, uncovered by moderators of r/changemyview, was deemed by Reddit moderators as a form of «psychological manipulation» targeting unsuspecting users.

The moderators of r/changemyview posted a detailed message informing the community about the unauthorized research conducted by researchers from the University of Zurich. The experiment involved the use of AI-generated comments to explore the potential of AI in changing viewpoints.

The researchers utilized Large Language Models (LLMs) to generate comments in response to posts on r/changemyview, a subreddit where users share contentious opinions and engage in debates. The AI assumed various personas during the experiment, such as a sexual assault survivor, a trauma counselor specializing in abuse, and a Black man against the Black Lives Matter movement. While some of the original comments have been deleted, an archive by 404 Media retains some of them.

In their draft paper, the researchers explained that they not only used AI to produce responses but also endeavored to tailor the replies based on details gleaned from the original poster’s Reddit history. The researchers violated multiple subreddit regulations, including failing to disclose the use of AI-generated comments and contravening the prohibition on bots. The moderators filed a formal complaint with the University of Zurich and requested that the researchers refrain from publishing their findings.

Reddit is contemplating legal action in response to the incident. Chief Legal Officer Ben Lee condemned the researchers’ actions as morally and legally reprehensible, breaching Reddit’s site-wide rules. Accounts linked to the University of Zurich research project have been banned, and efforts to detect and remove AI-generated content associated with the study are ongoing.

The University of Zurich researchers, in response to the backlash, asserted that their research had been ethically approved and could aid online platforms in safeguarding users against nefarious AI applications. They acknowledged the moderators’ concerns about the experiment’s intrusive nature but defended the study’s potential benefits outweighing the risks.

The r/changemyview moderators argued that the research was unnecessary and unoriginal, pointing out that OpenAI researchers had conducted similar studies without experimenting on unwitting participants. They emphasized the importance of maintaining a community space free from unwanted experimentation.

Reddit’s Chief Legal Officer announced plans to contact the University of Zurich and the research team with formal legal demands, aiming to hold the researchers accountable for their actions. The article was updated to include details from the statement by Reddit’s Chief Legal Officer.

FUENTE

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *