India pide a X que aborde contenido obsceno generado por Grok

El gobierno indio ha ordenado a la plataforma de blogs X, propiedad de Elon Musk, realizar cambios en su chatbot de inteligencia artificial Grok debido a contenido obsceno generado por IA. El país quiere que la plataforma realice cambios técnicos y procedimentales inmediatos al chatbot después de que usuarios y legisladores señalaran varias instancias de contenido obsceno.

Según el país, los casos del chatbot siendo utilizado para crear estas imágenes obscenas, incluyendo imágenes alteradas por IA de mujeres creadas usando la herramienta. La orden fue emitida el viernes por el ministerio de TI de India, solicitando a la plataforma tomar acciones correctivas concernientes a Grok, incluyendo restringir la generación de contenido que involucre material de "desnudez, sexualización, sexualmente explícito, o de otra manera ilegal". El ministerio también ha dado a la plataforma un ultimátum de 72 horas para efectuar los cambios.

El gobierno indio ordena a X realizar cambios técnicos en Grok

Como parte de sus entregables en el ultimátum de 72 horas, el ministerio también ha solicitado a X presentar un informe de acciones tomadas detallando los pasos que ha tomado para prevenir el alojamiento o difusión de contenido indecente. Estos contenidos incluyen "obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo, o de otra manera prohibido por ley". La orden advirtió que si la plataforma no lleva a cabo los pasos obligatorios, podría poner en peligro sus protecciones de "puerto seguro".

La orden de India llega en medio de preocupaciones planteadas por usuarios que compartieron ejemplos de Grok siendo utilizado para alterar imágenes de individuos, principalmente mujeres, para hacer que parezcan estar usando bikinis. El problema fue impulsado por una queja formal, que fue presentada por la parlamentaria india Priyanka Chaturvedi. Chaturvedi advirtió a todas las grandes empresas con chatbots de IA, añadiendo que tienen que implementarse barreras de protección para controlar características como Grok para que el chatbot no viole la dignidad humana.

Fuente: @priyankac19 vía X.

Por separado, los usuarios también han señalado varios incidentes donde el chatbot de IA ha sido utilizado para generar imágenes sexualizadas que involucran a menores, un problema que X reconoció el viernes. La plataforma afirmó que fue causado por algunos fallos en las medidas de protección antes de moverse rápidamente para eliminar las imágenes generadas. La plataforma también instó a los usuarios a reportar formalmente al Buró Federal de Investigación (FBI) o CyberTipline de NCMEC, señalando que X está comprometido a prevenir tales problemas.

X podría enfrentar problemas legales por incumplimiento

Según los usuarios, las imágenes indecentes de mujeres generadas usando el chatbot permanecieron en la plataforma. La última orden llega después de que el ministerio de TI indio emitiera un aviso a las plataformas de redes sociales, recordándoles que el cumplimiento de las leyes locales que regulan el contenido obsceno y sexualmente explícito es un requisito previo para retener la inmunidad legal de responsabilidad por materiales generados por usuarios. El país instó a las empresas a mejorar las barreras de protección y advirtió que el incumplimiento podría invitar a acciones legales.

"Se reitera que el incumplimiento de los requisitos anteriores será visto seriamente y puede resultar en consecuencias legales estrictas contra su plataforma, sus oficiales responsables y los usuarios en la plataforma que violen la ley, sin ningún aviso adicional", advirtió la orden. El gobierno indio también ha advertido a X que si no cumple con su directiva, el país tiene el poder de iniciar una acción legal contra la plataforma bajo la ley de TI de India y estatutos criminales.

India ha surgido como uno de los mercados digitales más grandes, siendo el país visto como un caso de prueba crítico para cuán lejos los gobiernos están dispuestos a presionar para responsabilizar a las plataformas por contenido generado por IA. Si la aplicación se intensifica en el país, podría tener un efecto dominó para las empresas de tecnología globales que operan en otras jurisdicciones. La orden también llega mientras X continúa desafiando las reglas de regulación de contenido de India en los tribunales.

La plataforma argumenta que los poderes de eliminación del gobierno federal arriesgan un exceso, incluso mientras la plataforma ha cumplido con la mayoría de las directivas de bloqueo presentadas por el país. Al mismo tiempo, Grok ha sido útil para los usuarios en X, con la mayoría de los usuarios usando la plataforma para verificación de hechos en tiempo real y comentarios sobre eventos globales, haciendo su producción más visible y más políticamente sensible que la de herramientas de IA independientes.

No solo lea noticias de criptomonedas. Entiéndalas. Suscríbase a nuestro boletín. Es gratis.