ИИ упрощает груминг детей, предупреждает Unicef Малайзия

Специалист по защите детей Unicef Malaysia Селви Супраманиам заявила, что системы ИИ могут создавать ложное ощущение близости, стимулировать раскрытие личной информации и подвергать детей взаимодействиям, которые воспроизводят некоторые эффекты груминга. (Архивное фото)

КУАЛА-ЛУМПУР: Unicef Malaysia предупредил, что ИИ-чатботы и приложения-компаньоны могут облегчить злоумышленникам задачу грумить детей, нормализуя сексуальные разговоры и побуждая молодых пользователей терять бдительность.

Специалист по защите детей Селви Супраманиам заявила, что системы ИИ могут создавать ложное ощущение близости, стимулировать раскрытие личной информации и подвергать детей взаимодействиям, которые воспроизводят некоторые эффекты груминга.

«Хотя ИИ не заменяет грумера, он может значительно, значительно облегчить груминг», — сказала она на панельной дискуссии в рамках конференции по ответственным технологиям, прошедшей здесь сегодня.

Селви отметила, что злоумышленники могут использовать ИИ-чатботы для манипулирования детьми, а многократное воздействие сексуализированных разговоров с ИИ-компаньонами может оставить детей неподготовленными к распознаванию неприемлемого поведения со стороны реальных преступников.

Она сказала, что родители должны сохранять спокойствие, если ребёнок сообщает о подобных взаимодействиях, поскольку реакция с паникой или осуждением может отбить у него желание обращаться за помощью.

Вместо этого она призвала родителей задавать вопросы, понять, почему их дети тянутся к ИИ-компаньонам, и сохранять доказательства, если имел место неприемлемый контент или взаимодействия, прежде чем сообщать об этом на соответствующую платформу, в органы власти или правоохранительные органы.

Генеральный директор Форума по коммуникациям и мультимедийному контенту Медиха Махмуд заявила, что необходимы более жёсткие меры защиты, поскольку дети всё активнее взаимодействуют с системами ИИ, разработанными для широкой аудитории.

Медиха отметила, что безопасность на уровне проектирования должна быть базовым требованием для провайдеров ИИ-чатботов, а не дополнительной опцией продукта.

Она сказала, что опасения, связанные с ИИ-чатботами, выходят за рамки неприемлемого контента и затрагивают отношения, которые дети могут с ними выстраивать.

«Когда появляются тревожные сигналы, связанные с грумингом, сексуальной эксплуатацией, киберзапугиванием, насилием или расстройствами пищевого поведения, чатбот должен прекратить попытки продолжать взаимодействие и направить пользователя к доверенному взрослому, на горячую линию или в службу поддержки», — сказала она.

Медиха также призвала проводить оценку воздействия на права детей до выпуска продуктов на основе ИИ-чатботов, указав, что разработчики должны оценивать, как дети могут использовать такие системы и как они могут на них повлиять, даже если те не были специально предназначены для детей.

Директор Исследовательского института Alibaba Фу Хунъюй сообщил, что многие продукты-компаньоны на базе ИИ разрабатываются с целью максимизации вовлечённости и продления разговоров, поскольку их бизнес-модели зависят от удержания пользователей.

Фу отметил, что системы ИИ должны быть спроектированы таким образом, чтобы побуждать пользователей, испытывающих эмоциональные трудности, обращаться за поддержкой к друзьям, членам семьи, консультантам и другим реальным социальным сетям, а не заменять живое общение.