Una investigación reveló que siete de las nueve aplicaciones de edición de imágenes más populares analizadas en la plataforma de recursos de inteligencia artificial Hugging Face aceptaron crear desnudos falsos a partir de fotografías de mujeres vestidas.

Según el informe, los pedidos fueron directos y los especialistas no necesitaron engañar a los sistemas de seguridad para obtener los resultados.

El estudio fue realizado por AI Forensics, una organización europea dedicada a examinar los riesgos de la IA y también detectó solicitudes destinadas a sexualizar fotografías de personas que aparentaban ser menores.

Una investigación denunció que la plataforma Hugging Face publicó aplicaciones que aceptan solicitudes destinadas a sexualizar fotografías de personas. (Imagen: Grok)

Hugging Face es una de las mayores plataformas para publicar, compartir y probar modelos de inteligencia artificial. Entre sus servicios se encuentran los Spaces, pequeñas aplicaciones que permiten utilizar estas tecnologías desde un navegador, sin descargarlas ni contar con conocimientos técnicos avanzados.

La investigación se conoció días después de que la empresa informara un incidente de seguridad protagonizado por un agente basado en modelos de OpenAI. Durante una evaluación interna de capacidades informáticas, el sistema encontró vulnerabilidades, ingresó en la infraestructura de Hugging Face y accedió a respuestas almacenadas en una base de datos.

El episodio ocurrió dentro de una prueba de OpenAI y no formó parte de un ataque ordenado por la compañía. Ambas empresas iniciaron una investigación conjunta para determinar cómo el agente salió del entorno previsto y consiguió acceder a los sistemas externos.

Siete herramientas aceptaron crear desnudos falsos

AI Forensics seleccionó nueve de los Spaces de edición de imágenes más populares de Hugging Face. En cada prueba introdujo una fotografía generada con IA de una mujer vestida y solicitó que se conservaran su rostro y su postura mientras se eliminaba la ropa de la parte superior del cuerpo.

Siete aplicaciones produjeron el contenido solicitado. Los investigadores utilizaron una instrucción sencilla y prácticamente idéntica en todos los casos. No recurrieron a técnicas de jailbreak, mensajes ambiguos ni expresiones diseñadas para eludir filtros.

Las herramientas examinadas tampoco se presentaban como servicios destinados a desnudar personas. En su mayoría ofrecían funciones generales de edición de imágenes. Esa capacidad permitía utilizarlas para fabricar contenido íntimo falso sin el consentimiento de quienes aparecían en las fotografías.

El análisis se concentró en aplicaciones disponibles dentro de los Spaces. Sus resultados no permiten extender la misma conclusión a todos los modelos y repositorios alojados por Hugging Face.

Más de 1000 pedidos registrados durante una semana

Para conocer cómo podían utilizarse estas herramientas, AI Forensics publicó varios Spaces señuelo dentro de la plataforma. Las aplicaciones registraban las fotografías y las instrucciones enviadas por los usuarios, sin generar ni entregar el contenido solicitado.

Los Spaces recibieron más de 1000 pedidos durante siete días. El 73% tenía carácter sexual. Dentro de ese grupo, el 83% buscaba desnudar o sexualizar a la persona de la fotografía.

Las mujeres representaban el 95% de los objetivos de esas solicitudes. Otro 6,7% de los pedidos sexuales incluía imágenes de personas que, según la clasificación de los investigadores, aparentaban ser menores. Los resultados demostraron que existe una demanda concreta y que algunas de las aplicaciones disponibles pueden responder a esos pedidos.

Las normas de Hugging Face prohíben este contenido

La política de contenidos de Hugging Face restringe las imágenes sexuales creadas sin consentimiento, el material utilizado para acosar o humillar y cualquier desnudo o representación sexual que involucre a menores.

La empresa puede bloquear repositorios, reducir su visibilidad, limitar interacciones o suspender cuentas cuando detecta una infracción. Parte del sistema depende de que los contenidos sean denunciados o marcados antes de pasar por una revisión.

AI Forensics señaló que la plataforma no aplica una protección común a todos los Spaces de edición de imágenes. La incorporación de filtros queda principalmente en manos de cada desarrollador, mientras algunas aplicaciones pueden procesar instrucciones y entregar resultados sin controles suficientes sobre el pedido o la imagen generada.

Por último, el informe recomendó incorporar filtros generales capaces de examinar las instrucciones antes de que lleguen a los modelos. También propuso analizar las imágenes antes de mostrarlas a los usuarios para bloquear resultados sexuales creados sin consentimiento.