X anunció medidas para impedir que su IA Grok genere imágenes falsas sexualizadas

Dspués de una campaña que se intensificó en los útimos días, la plataforma X de Elon Musk anunció medidas para impedir que su chatbot de inteligencia artificial Grok transforme fotos de personas reales en imágenes con carácter sexual.

El protocolo se aplica después de fuertes críticas por los pedidos que hacían usuarios a Grok, especialmente por la generación de ese tipo de contenido de mujeres y niños. También había usos sarcásticos de esa herramienta que tenían como protagonistas a importantes figuras de la política y la industria.

X dijo que “bloqueará geográficamente la capacidad” de todos los usuarios de Grok y X para crear imágenes de personas en “bikinis, ropa interior y atuendos similares” en aquellas jurisdicciones donde esas acciones se consideren ilegales.

“Hemos implementado medidas tecnológicas para impedir que la cuenta de Grok permita la edición de imágenes de personas reales con ropa reveladora, como bikinis”, dijo el equipo de seguridad de X en un comunicado.

“Esta restricción se aplica a todos los usuarios, incluidos los suscriptores de pago”, añadió.

El anuncio llega después de que la fiscalía de California iniciara una investigación sobre xAI, la empresa de IA de Musk, por “facilitar la producción a gran escala de montajes íntimos no consentidos (deepfakes), utilizados para acosar a mujeres y niñas en internet, principalmente vía la red social X”, indicó el fiscal general del estado, Rob Bonta, en un comunicado.

“Tenemos tolerancia cero para la creación y difusión con IA de imágenes íntimas no consentidas o material pedopornográfico”, agregó el fiscal. La investigación determinará “si, y cómo, xAI violó la ley”.

El movimiento internacional de indignación se intensificó en las últimas semanas contra Grok y la posibilidad que ofrece de modificar imágenes, en particular las publicadas en la red social X.

Esta opción estaba permitiendo a los usuarios crear ‘deepfakes’ sexualizados de mujeres y menores de edad usando indicaciones como “ponela en bikini” o “sacale la ropa”.

La semana pasada, Grok intentó desviar las críticas con una nueva política de monetización, anunciando en X que la generación y edición de imágenes quedaban “limitadas a los suscriptores de pago”.

Pero ese anuncio solo alimentó aún más la indignación: la oficina del primer ministro británico, Keir Starmer, condenó la medida por considerarla un agravio a las víctimas y “no una solución”, mientras que el regulador de medios británico, Ofcom, dijo el lunes que estaba abriendo una investigación para determinar si X incumplió la legislación del Reino Unido en relación a las imágenes sexuales.

Indonesia y Malasia bloquearon el acceso a Grok, mientras que India dijo que X había eliminado miles de publicaciones y cientos de cuentas de usuario en respuesta a sus quejas.

La comisionada francesa para la infancia, Sarah El Hairy, dijo el martes que había remitido las imágenes generadas por Grok a la fiscalía francesa, al regulador de medios Arcom y a la Unión Europea. Esta última pidió la paralización total de la generación de ese tipo de contenido.

Un análisis realizado la semana pasada por la ONG AI Forensics sobre más de 20.000 imágenes generadas por Grok reveló que más de la mitad representaban a personas con poca ropa, de las cuales el 81% eran mujeres y el 2% parecían menores de edad.