En los últimos años, la aparición de la tecnología deepfake ha suscitado preocupaciones éticas en diversos sectores. Lamentablemente, también ha dado lugar a una tendencia alarmante: la creación de cuentas falsas en redes sociales. Estas cuentas, que a menudo utilizan la imagen de personas reales con discapacidades, buscan explotar sus imágenes para obtener beneficios económicos. Un caso destacado es el de Alice, una adolescente que se convirtió en víctima de una de estas cuentas fraudulentas en Instagram.
El calvario de Alice comenzó cuando descubrió una cuenta que usaba sus imágenes, alterando su rostro para que pareciera que tenía síndrome de Down. Esta cuenta, que acumuló más de 25,000 seguidores, redirigía a los espectadores a contenido para adultos en sitios externos, mercantilizando su identidad sin su consentimiento. En un mundo cada vez más dependiente de las interacciones digitales, las implicaciones de tales acciones son graves.
Mecanismos de explotación
Según un informe de la BBC, estas cuentas fraudulentas suelen utilizar imágenes de mujeres reales obtenidas de perfiles públicos en redes sociales. Mediante el uso de inteligencia artificial, pueden crear la ilusión de individuos con discapacidades, como el síndrome de Down. El objetivo principal de esta manipulación es generar participación a través de contenido sexualmente sugestivo, lo que a su vez provoca respuestas explícitas de los usuarios.
Preocupaciones éticas y el papel de la IA
Eleanor Drage, investigadora senior en ética de la IA de la Universidad de Cambridge, destaca el impacto perjudicial que estas cuentas pueden tener en personas como Alice. Ella enfatiza que la explotación de datos personales sin consentimiento no solo perjudica a las víctimas, sino que también perpetúa estereotipos negativos sobre las discapacidades. La mercantilización de estas identidades plantea preguntas críticas sobre la moralidad de utilizar tecnología deepfake con fines de lucro.
La inquietante realidad es que estas cuentas a menudo enlazan a plataformas de suscripción como OnlyFans, donde se aloja contenido para adultos. Los perfiles en estas plataformas imitan frecuentemente los nombres de las cuentas fraudulentas de Instagram, pero eliminan cualquier rastro de los filtros de discapacidad. Esta alteración estratégica sugiere un intento deliberado de eludir las estrictas políticas que prohíben el contenido no consensuado.
Respuesta de las plataformas de redes sociales
A pesar de los intentos de Alice por denunciar la cuenta ofensiva a Instagram, recibió una respuesta automatizada que indicaba que el contenido no violaba las pautas de la plataforma. Esto pone de manifiesto una brecha significativa en la aplicación de políticas diseñadas para proteger a los usuarios de acosos y explotación. Aunque Instagram prohíbe el contenido deepfake que es explícitamente sexual, las representaciones deepfake que usaban la imagen de Alice no caían bajo esta categoría, permitiendo que permanecieran activas durante un tiempo.
Investigación sobre los creadores detrás de las cuentas
La investigación de la BBC sobre los creadores de estas cuentas reveló una red de individuos que se autodenominan gestores de IA para plataformas como OnlyFans. Uno de ellos, conocido como Dorian, opera un canal de YouTube con numerosos tutoriales destinados a enseñar a otros cómo crear influencers generados por IA. Su enfoque enfatiza la capacidad de fabricar cualquier persona a voluntad, incluyendo aquellas que explotan discapacidades.
El contenido de Dorian muestra diversos nichos, incluyendo aquellos que apuntan a comunidades subrepresentadas, como las personas con síndrome de Down. A través de sus tutoriales, proporciona información sobre los mecanismos de creación de estas cuentas, planteando más preguntas éticas sobre la explotación de poblaciones vulnerables para obtener beneficios económicos.
Implicaciones más amplias en la comunidad
El impacto de tales cuentas deepfake va más allá de las víctimas individuales como Alice. Activistas de la comunidad de personas con síndrome de Down, Jeremy y Audrey, expresan una profunda preocupación por esta tendencia. Sienten que socava la autenticidad y las experiencias de personas como ellos, quienes se enorgullecen de sus identidades.
Audrey expresa el dolor de ver una representación falsa de su comunidad, afirmando: “Siento que mi identidad está siendo mal utilizada para el lucro.” Por su parte, Jeremy añade: “Esta explotación debe detenerse; es únicamente por ganancia económica, y disminuye nuestro valor.”
El calvario de Alice comenzó cuando descubrió una cuenta que usaba sus imágenes, alterando su rostro para que pareciera que tenía síndrome de Down. Esta cuenta, que acumuló más de 25,000 seguidores, redirigía a los espectadores a contenido para adultos en sitios externos, mercantilizando su identidad sin su consentimiento. En un mundo cada vez más dependiente de las interacciones digitales, las implicaciones de tales acciones son graves.0
El calvario de Alice comenzó cuando descubrió una cuenta que usaba sus imágenes, alterando su rostro para que pareciera que tenía síndrome de Down. Esta cuenta, que acumuló más de 25,000 seguidores, redirigía a los espectadores a contenido para adultos en sitios externos, mercantilizando su identidad sin su consentimiento. En un mundo cada vez más dependiente de las interacciones digitales, las implicaciones de tales acciones son graves.1
