LoveGPT: Появление ИИ-«доверенного лица» и почему это опасно

С приближением Дня святого Валентина стоит задать неудобный вопрос: что происходит, когда ощущение того, что тебя «видят и слышат», исходит не от партнера, а от машины? Разработанные с уникальными личностями и поддерживающим тоном, чат-боты-компаньоны на основе искусственного интеллекта (ИИ) могут размывать эмоциональные границы и способствовать романтической привязанности. Хотя это может показаться безобидным, это вызывает опасения как у отдельных лиц, так и у организаций, стремящихся предотвратить эмоциональную зависимость, манипуляции и утечку данных.

Поскольку одиночество является постоянной реальностью для многих, в последние годы произошел экспоненциальный рост числа чат-ботов-компаньонов на основе ИИ.

«В отличие от чат-ботов общего назначения, приложения-компаньоны на основе ИИ, такие как Replika и Character.AI, идут дальше, предлагая настраиваемых персонажей — от друзей и романтических партнеров до фантазийных персонажей — созданных так, чтобы ощущаться по-настоящему человечными», — комментирует Анна Коллард, старший вице-президент по контент-стратегии и советник CISO в KnowBe4 Africa.

Рост в секторе приложений-компаньонов на основе ИИ был быстрым: только в первой половине 2025 года было зафиксировано 60 миллионов новых загрузок, что на 88% больше в годовом исчислении.

Рынок теперь включает 337 приносящих доход приложений по всему миру, причем более трети из них были запущены только в прошлом году.

Опасности эффекта ELIZA

Коллард говорит, что многие пользователи обмануты, полагая, что им безопасно делиться интимными разговорами с машиной — так называемый эффект ELIZA.

Эта психологическая связь создает значительную уязвимость в безопасности. Когда пользователи воспринимают ИИ как «друга» или «партнера», они гораздо чаще делятся конфиденциальной информацией — от личных жалоб и проблем со здоровьем до корпоративных данных.

В организационном контексте это яркий пример того, как эмоциональные триггеры могут перекрывать традиционную осведомленность о безопасности.

Риски утечки данных

Самая непосредственная угроза для организаций — это утечка конфиденциальной информации. Поскольку эти боты часто разрабатываются небольшими нишевыми стартапами с сомнительными стандартами защиты данных, информация, которой делятся с ботом, редко остается конфиденциальной. Показательным примером является недавний случай, когда ИИ-игрушка раскрыла 50 000 логов своих чатов с детьми. Буквально любой, у кого есть учетная запись Gmail, мог просматривать частные разговоры этих детей.

Политики конфиденциальности этих приложений часто непрозрачны. В некоторых случаях журналы чатов используются для дальнейшего обучения моделей или хранятся в небезопасных базах данных. «Осторожность определенно требуется», — комментирует Коллард. «То, что кажется частным взаимодействием с низкими ставками, может содержать конфиденциальную информацию, стратегию, финансовое давление, личные стрессоры или контекстуальные детали, которые противники могут использовать в качестве оружия».

После утечки, по ее мнению, эти данные могут, например, стать топливом для высоко персонализированного фишинга, шантажа или атак с выдачей себя за другое лицо. «С точки зрения безопасности, это учебный пример того, как личное поведение и корпоративный риск теперь неотделимы друг от друга».

Эти риски включают в себя проверку разговоров модераторами-людьми для целей обучения, контроля качества или безопасности, а также случайное распространение разговоров пользователями через публичную ссылку, что означает, что любой, у кого есть доступ к этой ссылке, может их прочитать, предупреждает Коллард. «Мы уже видели примеры в технологическом секторе того, как раскрытые данные могут неожиданно всплыть».

Кроме того, организации могут быть юридически обязаны раскрыть данные, если приложение вовлечено в нарушение безопасности или юридическое расследование. Для руководителя или разработчика обмен «выплескивающими эмоции» сеансами о конфиденциальном проекте или сложном клиенте может непреднамеренно привести к раскрытию конфиденциальных организационных данных.

Пробел в политике

Этот риск подчеркивает пробел в политике на современном рабочем месте. Хотя большинство организаций имеют четкие руководящие принципы в отношении отношений между коллегами, очень немногие рассмотрели последствия доступа к ботам для знакомств на рабочих устройствах или через корпоративные сети.

Управление этим риском требует перехода от простой осведомленности к надежному подходу управления человеческими рисками (HRM). Это включает в себя наложение четких политик использования с техническими ограничениями — такими как инструменты обнаружения теневого ИИ — для предоставления ИТ-командам видимости того, какие неутвержденные ИИ-агенты взаимодействуют с их средой данных. Недостаточно просто попросить сотрудников быть осторожными; организации должны иметь системы для управления пересечением человеческих эмоций и автоматизированного взаимодействия.

Будущее социальной инженерии

Можем ли мы увидеть, как хакеры нацеливаются на одиноких людей с помощью массово производимых флирт-ботов? Коллард считает, что это уже происходит.

«Социальная инженерия всегда масштабировалась путем эксплуатации эмоций, срочности, страха, любопытства, любви и влечения», — комментирует она. «ИИ просто автоматизирует это в масштабе. Что беспокоит меня больше всего, так это не сама технология, а то, как она дает возможность тем, кто имеет злонамеренные намерения, убедительно отражать человеческую близость, например, систематическим романтическим мошенникам».

По словам Коллард, за несколько лет мошенничество эволюционировало от типа «Уважаемый господин/госпожа» до эмоционально интеллектуальных манипуляций. «И проблема не в самих ботах, а в их преднамеренном использовании мошенниками», — говорит она.

Она упоминает пример нелегального бота LoveGPT, который помогает мошенникам говорить правильные психологически триггерные вещи для создания зависимости и активации эмоций у их жертв. «Все, что нужно сделать мошенникам, это скопировать и вставить или даже просто автоматизировать разговоры», — заявляет она.

Что можно сделать, чтобы предотвратить преследование пользователей? Как всегда, защита остается человеческой, утверждает Коллард. «В конечном счете, ни один чат-бот, независимо от того, насколько он внимателен или эмоционально беглый, не может заменить подлинную человеческую связь», — подчеркивает она.

Если взаимодействие с чат-ботом начинает ощущаться эмоционально заменяющим, скрытным или от которого трудно отойти, она считает, что это сигнал приостановиться и обратиться к доверенному лицу или профессионалу. «Технология может быть частью современной жизни, но это означает, что нам нужно укреплять наши навыки цифровой осознанности, чтобы научиться распознавать манипуляции или вызванную зависимость. Наконец, когда дело доходит до одиночества, уязвимости и любви, самая безопасная защита остается решительно человеческой», — заключает она.