Desnudan a la gente y, en especial, a mujeres: la IA está detrás de la explosión de apps que crean pornografía a partir de fotos de redes

Ia Apps Que Desnudan Mujeres Problematica Social Inteligencia Artificial
1 comentario Facebook Twitter Flipboard E-mail
oscar-steve

Steve Saldaña

Editor Senior

Periodista de tecnología y ciencia. Escribo y analizo la industria de plataformas tech en México y soy fan de la ética tecnológica. También soy miembro de la Red Mexicana de Periodistas de Ciencia. Hago locución comercial, produzco podcast y soy presentador del podcast semanal ROM. LinkedIn

Las apps que "desnudan" personas no son nuevas, pero sí han tenido un estallido abrumador según el último reporte de la compañía de análisis Graphika. Según el documento, solo en el mes de septiembre, 24 millones de personas han visitado algún tipo de plataforma que tiene como propósito crear pornografía a partir de fotos subidas a redes sociales.

No solo se trata de los dilemas éticos y morales -que son vastos desde luego-. Las aplicaciones permiten a usuarios de internet crear contenido pornográfico a partir de, principalmente, usuarias que desconocen la generación del contenido y no tienen control alguno sobre los materiales producidos.

Más vale que estemos listos para tener una charla clara y profunda sobre la pornografía no consensuada. El problema es que, a la vez que los contenidos son difíciles de encontrar, Bloomberg asegura que los productos pornográficos sin consentimiento se han visto exponenciados a través de cuentas de X, antes Twitter, y de Reddit.

No se trata únicamente de contenido generado por usuarios y luego subido. Graphika ha documentado que los enlaces en redes con publicidad de apps que aseguran desnudar personas han incrementado en más de 2,400%. A petición de Bloomberg, un portavoz de Google dijo que ningún enlace similar es aceptado en YouTube, pero el medio asegura haber encontrado cuando menos un anuncio comercial en la plataforma de video. Meta y TikTok también han asegurado tomar medidas en contra de la palabra de búsqueda "undress", que significa "desnudar" en español.

"Desviste a cualquier mujeres que quieras"

El tema ha sido alarmantemente dejado de lado en los últimos cinco o seis años, tiempo en que se han popularizado las herramientas. No obstante, el uso de inteligencia artificial ha llegado a darle un segundo aire a una industria que parecía no tener lo suficiente para hacer crecer sus bases de usuarios y hacer más rentable el negocio. Ahora que el trabajo se hace más fácilmente, las herramientas han dejado de usarse sobre celebridades (una práctica que antes era relativamente común) y cada vez se centran más en blancos seleccionados.

"Estamos viéndolo más y más sobre gente ordinaria con blancos ordinarios. Lo ves a través de niños de preparatoria y gente en universidades", le dijo a Bloomberg la directora de ciberseguridad de Elecronic Frontier Foundation, Eva Galperin.

"Consideramos que el principal motor de este crecimiento es la creciente capacidad y accesibilidad de los modelos de difusión de imágenes de inteligencia artificial (IA) de código abierto. Estos modelos permiten mayor número de proveedores crear imágenes fotorrealistas a gran escala de forma fácil y barata. Sin estos proveedores, sus clientes tendrían que alojar, mantener y ejecutar sus propios modelos de difusión de imágenes personalizados, un proceso largo y a veces costoso".
Graphika

Venta en Telegram de pornografía no consensuada

El problema no está únicamente en redes sociales. Graphika reporta 52 grupos de Telegram que se dedican a crear y vender pornografía no consensuada. La creación es contenido es tan vasta y ha atraído a tanta gente que, según el análisis, en conjunto tienen cuando menos un millón de usuarios, con corte a septiembre pasado. En uno de los anuncios del reporte se lee:

"Desviste a cualquier mujer que quieras. Esta loca IA remueve ropa de cualquier foto".
tabla Incremento de volumen de enlaces a plataformas que crean pornografía no consensuada. En naranja está el volumen de enlaces en Reddit y en azul el de X.

Los servicios ofertados a través de Telegram o Discord son, en un inicio, gratuitos. Luego, los usuarios deben comprar "créditos" para acceder a características como mayor resolución o, incluso, "personalización de la edad" del sujeto.

México está severamente atrasado en políticas sobre creación de contenido relacionado con Inteligencia Artificial; ya no se hable de persecución de delitos cibernéticos. Han existido algunos intentos, algo escasos de contenido, para imponer castigos al uso de inteligencia artificial en contenido perjudicial. No obstante, no parece haber voluntad suficiente para robustecer la capacidad de búsqueda e identificación del material. 

Sin recursos similares, pareciera que el hallazgo de contenido con IA perjudicial quedaría a responsabilidad de quien resulte afectado, una tarea particularmente difícil con la existencia de los grupos de Telegram que Graphika ha encontrado. 

A falta de un sistema robusto de búsqueda de material generado por IA, el sitio de la Guardia Nacional tiene un artículo para prevenir violencia digital con uso de deepfakes. Su recomendación esencial es invitar a usuarios a "evitar compartir videos, fotos o audios que puedan ser manipulados posteriormente para desprestigiar la reputación de las personas". 

Inicio