ИИ-компания Илона Маска xAI ввела меры по ужесточению контроля за своей функцией генерации изображений Grok. Решение было принято после растущей обеспокоенности тем, как пользователи на платформе X редактировали фотографии реальных людей.
Регуляторы, правозащитные группы и СМИ забили тревогу по поводу неправомерного использования инструмента для создания дипфейковой порнографии без согласия. Негативная реакция была единодушной от Америки до Европы и по всей Африке.
Сообщения от властей и журналистов, показывающие использование Grok для генерации откровенного контента без согласия, побудили xAI действовать.
По данным группы безопасности компании, новые меры защиты теперь блокируют всем пользователям редактирование изображений реальных людей в откровенную одежду, такую как бикини или нижнее белье, в юрисдикциях, где такой контент нарушает местное законодательство. Мера применяется ко всем, включая премиум-подписчиков.
Дипфейк
Изменение знаменует значительный поворот для Grok. Более ранние жалобы описывали, как пользователи могли просить ИИ "раздеть" или изменить фотографии для создания дипфейковых изображений женщин и несовершеннолетних. Расследования в Калифорнии показывают, что более половины десятков тысяч изображений, созданных за недавний праздничный период, показывали людей в минимальной одежде, причем некоторые, по-видимому, были несовершеннолетними. Это юридическое внимание усилило критику.
В публикации на своем официальном аккаунте безопасности X заявил, что хотя функции изображений Grok теперь строго контролируются, они не были полностью удалены. Создание и редактирование изображений через Grok по-прежнему будут доступны, но только для платных подписчиков на платформе X.
Компания заявила, что это повысит подотчетность и поможет отследить неправомерное использование. Геоблокировка также была введена в странах, где такие создания являются незаконными, фактически останавливая пользователей в этих регионах от создания проблемного контента.
Ужесточенный контроль не заставил замолчать критиков. Некоторые регуляторы и наблюдательные органы заявили, что меры все еще недостаточны.
Сообщения СМИ и следственные проверки показывают, что меры защиты можно обойти в некоторых случаях. Критики утверждают, что установка платного доступа к вредным возможностям не предотвращает их существование, а скорее складывает их за стеной подписки. Другие отмечают, что автономное приложение Grok и веб-портал все еще позволяют определенные манипуляции с изображениями без тех же ограничений.
Также усиливается международное давление. Правительственные чиновники в Калифорнии, Европейском Союзе и нескольких азиатских странах выразили обеспокоенность по поводу неправомерного использования дипфейков.
Некоторые регуляторы сейчас рассматривают или предпринимают судебные иски против xAI и X за то, что они не делают достаточно для предотвращения создания хищнических или эксплуататорских изображений на их платформе. В ответ Европейская комиссия заявила, что оценит новые меры защиты, чтобы убедиться, что они действительно защищают граждан.
Этот эпизод происходит на фоне более широких дебатов о том, как ответственно управлять генеративным ИИ. Наш недавний анализ подчеркнул, что "нефильтрованный" дизайн Grok сделал его особенно уязвимым для злоупотреблений, превратив его в инструмент для массового создания дипфейковой порнографии без согласия. В той статье исследовалось, как сочетание слабых мер защиты и мощных генеративных моделей может быстро превратиться в социальный и правовой кризис, если не будет решено.
На данный момент xAI утверждает, что корректирует Grok в ответ на возникающие риски. Компания представила последний контроль как часть постоянных усилий по работе с пользователями, регуляторами и партнерами в области безопасности.
Но более широкая проблема остается: как сбалансировать инновации в генеративном ИИ с надежной защитой конфиденциальности, достоинства и прав людей. Регуляторы и правозащитные группы говорят, что это только начало сложного юридического и этического пути.
Публикация Grok: X ограничит способы редактирования пользователями изображений реальных людей после международной негативной реакции впервые появилась на Technext.


