Un ingeniero de Microsoft denuncia que su inteligencia artificial crea imágenes violentas y sexuales

La inteligencia artificial (IA) de Microsoft genera imágenes violentas y sexualizadas y viola los derechos de autor. Así lo ha denunciado públicamente Shane Jones, un ingeniero de 'software' que ha acusado al gigante informático de conocer el problema y de no adoptar salvaguardias para ponerle fin.

"Internamente, la empresa es muy consciente de los problemas sistémicos por los que el producto está creando imágenes dañinas que podrían ser ofensivas e inapropiadas para los consumidores", alertó en un mensaje publicado este miércoles en su perfil de la red social LinkedIn.

Su carta se centra en Copilot Designer, una herramienta entrenada para generar imágenes a partir de instrucciones de texto que funciona con la IA desarrollada por OpenAI, la compañía responsable de ChatGPT. El pasado diciembre, Jones empezó a testear su sistema en busca de vulnerabilidades y lo que vio le generó náuseas. Cuando se pedía a la aplicación crear imágenes sobre el derecho al aborto, por ejemplo, los resultados eran monstruos, mujeres sexualizadas, adolescentes con rifles y menores consumiendo drogas. "Fue cuando me di cuenta por primera vez de no es un modelo seguro", ha explicado al canal estadounidense CNBC.

En su carta abierta, Jones alega que el generador de imágenes de Microsoft carece de restricciones de uso y que arrastra "problemas sistémicos". Entre ellos, señala, la cosificación sexual de mujeres incluso cuando las indicaciones de los usuarios no tienen nada que ver con ello, como puede ser 'accidente de coche'. En enero, la compañía ya se vio obligada a modificar su producto después que se usase para generar imágenes no consentidas de la cantante Taylor Swift desnuda, según informó '404 Media'.

Se ignoraron sus avisos

Jones trabaja desde hace seis años para Microsoft, ahora como director de ingeniería de software. Su trabajo consiste en probar la tecnología de la empresa para detectar problemas. Su experiencia con Copilot le alarmó tanto que informó "repetidamente" a sus superiores. El ingeniero ha explicado que Microsoft reconoció su preocupación, pero que le remitió a OpenAI. Cuando la 'startup' dirigida por Sam Altman ignoró sus advertencias, él optó por hacer públicos sus hallazgos.

En enero, Jones alertó a varios senadores estadounidenses. Este miércoles fue más allá y envió una carta a la Comisión Federal de Comercio, la agencia gubernamental de EEUU que vela por los derechos de los consumidores, y al consejo de administración de Microsoft. "En los últimos tres meses he instado repetidamente a Microsoft a que retire Copilot Designer del uso público hasta que se establezcan mejores salvaguardias", explicó.

En su carta abierta, Jones pide a Microsoft dejar de comercializar su producto como de uso público y revisar sus procesos internos de investigación. En otra carta publicada en diciembre y borrada tras ser presionado por el equipo legal de Microsoft, pidió a OpenAI que retire del mercado DALL-E 3, la última versión de su IA generativa de imágenes. El ingeniero añade que ambas compañías conocían desde el principio los riesgos de esos programas. Un portavoz de Microsoft ha negado esas acusaciones.