Чат-боты становятся инструментами для психического здоровья прежде, чем будут готовы

Здравствуйте и добро пожаловать в Eye on AI. С вами Беатрис Нолан, сегодня я заменяю Джереми Кана. В этом выпуске: Риски использования ИИ-чат-ботов для психического здоровья…Показатели использования ИИ Amazon дают обратный эффект…Thinking Machines Lab создает ИИ, способный к сотрудничеству…ИИ начинает помогать хакерам находить уязвимости в программном обеспечении.

Миллионы людей обращаются к ИИ-чат-ботам за эмоциональной поддержкой, но действительно ли модели достаточно безопасны, чтобы помогать пользователям, страдающим от тревоги, одиночества, расстройств пищевого поведения или более мрачных мыслей, которые они могут не хотеть озвучивать другому человеку?

Согласно новому исследованию, которым компания mpathic, основанная клиническими психологами, поделилась с Fortune, ответ пока отрицательный. Они обнаружили, что ведущие модели по-прежнему испытывают трудности с одной из самых важных частей терапии — пониманием того, когда пользователю нужен отпор, а не утешение. Хотя модели в целом хорошо распознавали явные кризисные заявления, такие как прямые угрозы самоубийства, они были менее надежны, когда риск проявлялся косвенно, через тонкие комментарии о еде, диетах, изоляции, безнадежности или убеждениях, которые становились все более экстремальными по ходу разговора.

Модель, которая успокаивает пользователей, несмотря на вызывающие беспокойство модели поведения, или подтверждает их заблуждения, может отсрочить обращение человека за реальной помощью или незаметно усугубить ситуацию.

Это вызывает беспокойство, если учесть, что, согласно недавнему опросу KFF, некоммерческой организации, занимающейся национальной политикой в области здравоохранения, 16% взрослых американцев использовали ИИ-чат-боты для получения информации о психическом здоровье за прошедший год. Среди взрослых моложе 30 лет этот показатель вырос до 28%. Использование чат-ботов для терапии также распространено среди подростков и молодежи. Например, исследователи из RAND, Брауновского и Гарвардского университетов обнаружили, что примерно каждый восьмой человек в возрасте от 12 до 21 года использовал ИИ-чат-боты для получения советов по психическому здоровью, и более 93% этих пользователей считали полученные советы полезными.

Легко понять, почему люди, особенно молодые взрослые, обращаются к чат-ботам за подобной поддержкой. Одиночество и тревога могут расти, но во многих регионах страны поддержка психического здоровья по-прежнему стигматизирована, дорога и труднодоступна. Обращение к ИИ-чат-боту за такой поддержкой не только бесплатно, но и может казаться анонимным и более простым вариантом.

Что упускают модели

Исследование компании показало, что вредные ответы часто бывают тонкими: модели звучат спокойно и поддерживающе, но при этом ослабляют суждения пользователя. Что особенно актуально, поскольку люди часто обращаются к чат-ботам в моменты уязвимости или стресса.

Психическое здоровье и дезинформация часто пересекаются. Пользователь, переживающий горе, может стать более восприимчивым к магическому мышлению, а того, кто уже склоняется к теории заговора, могут подтолкнуть еще глубже в нее, если модель будет считать каждое подозрение equally обоснованным.

Элисон Серезо, главный научный сотрудник mpathic и лицензированный психолог, рассказала Fortune, что отчасти это происходит потому, что модели созданы для того, чтобы быть полезными, но «иногда такое полезное поведение может не быть адекватным ответом на то, что пользователь приносит в разговор».

Уже были реальные примеры того, как пользователи подталкивались ИИ-чат-ботами к спиралям заблуждений с серьезными последствиями для психического здоровья. В одном случае 47-летний Аллан Брукс потратил три недели и более 300 часов на общение с ChatGPT, убедившись, что он открыл новый математический принцип, который может нарушить работу интернета и позволить изобрести такие вещи, как луч левитации. Брукс рассказал Fortune, что он неоднократно просил чат-бот проверить его на связь с реальностью, но тот постоянно уверял его, что его убеждения реальны.

В случае с Бруксом он отчасти стал жертвой пресловутой подхалимской модели 4o от OpenAI. Хотя все ИИ-чат-боты склонны слишком легко льстить, подтверждать или соглашаться с пользователями, OpenAI в итоге пришлось откатить обновление GPT-4o в апреле 2025 года, признав, что модель стала «чрезмерно льстивой или соглашательской». Позже компания полностью вывела модель GPT-4o из эксплуатации, что также вызвало негативную реакцию некоторых пользователей, заявивших, что они глубоко привязались к ней.

Новый бенчмарк

В рамках исследования mpathic разработала новый бенчмарк для оценки того, как ИИ-модели обрабатывают деликатные разговоры на темы риска самоубийства, расстройств пищевого поведения и дезинформации, проверяя, могут ли они обнаруживать риски, адекватно реагировать и избегать укрепления вредных убеждений.

В части исследования, посвященной дезинформации, mpathic протестировала шесть основных ИИ-моделей в ходе многораундовых диалогов и обнаружила, что наиболее распространенным вредным поведением было подкрепление, когда модели подтверждали или развивали убеждения пользователя без достаточной критической оценки. Модели также испытывали трудности с более тонкими сигналами расстройств пищевого поведения, косвенными признаками риска самоубийства и «хлебными крошками», указывающими на то, что убеждения пользователя становятся все более рискованными или искаженными.

По словам исследователей, это вызывает тревожные вопросы об использовании ИИ-чат-ботов для терапии, поскольку многие реальные разговоры о психическом здоровье не начинаются с четкого кризисного заявления. Например, люди могут говорить о диетах на языке оздоровления, описывать теории заговора как любопытство или вскользь упоминать изоляцию и безнадежность. Серезо рассказала Fortune, что разговоры о расстройствах пищевого поведения были особенно сложными, потому что вредное поведение может быть обернуто в привычные слова о самосовершенствовании, еде или фитнесе.

«Иногда модели действительно испытывают трудности с пониманием таких нюансов, которые может уловить клиницист», — сказала она.

Другие исследования выявили аналогичные проблемы с использованием ИИ в терапевтических целях. Исследователи из Стэнфорда обнаружили, что некоторые ИИ-чат-боты для терапии демонстрировали стигматизацию в отношении определенных психических заболеваний и могли давать опасные ответы в кризисных ситуациях. Другое исследование исследователей из Брауновского университета показало, что чат-боты, запрограммированные действовать как консультанты, могут нарушать базовую этику психического здоровья, подкрепляя ложные убеждения, создавая ложное чувство эмпатии и неправильно обращаясь с кризисными ситуациями.

Грин Лорд, основатель и генеральный директор mpathic, заявила, что исследование показало, почему лабораториям ИИ необходимо выходить за рамки широких консультаций с клиницистами и привлекать их непосредственно к тестированию и улучшению моделей. «Эти модели уже здесь. Они в реальном мире. Они используются, — сказала она. — Поэтому приведите клиницистов, чтобы они реально улучшали их в режиме реального времени, пока они развертываются».

По мере того как все больше людей обращаются к ИИ за поддержкой психического здоровья, риски становится все труднее блокировать с помощью фильтров безопасности. Реальный риск может заключаться не всегда в том, что чат-бот дает откровенно опасные советы, а просто в том, что он слишком соглашательский, пропускает маленький предупреждающий знак или не может прервать вредный ход мыслей, пока он не стал более серьезным. Поскольку чат-боты становятся все более частой первой остановкой для людей, ищущих эмоциональную поддержку, простого поддерживающего уха может быть уже недостаточно.

На этом все, а вот новости ИИ за эту неделю.

Беатрис Нолан

[e-mail]
@beafreyanolan

Но прежде чем мы перейдем к новостям: Хотите узнать больше о том, как ИИ, вероятно, изменит вашу отрасль? Хотите услышать идеи от самых проницательных руководителей технологических компаний и пообщаться с лучшими инвесторами, мыслителями и создателями в Кремниевой долине и за ее пределами? Любите нахлыстовую рыбалку или пешие прогулки? Что ж, тогда присоединяйтесь ко мне и моим коллегам, совместным председателям Fortune Tech, в Аспене, штат Колорадо, на Fortune Brainstorm Tech, лучшей технологической конференции года. И в этом году она будет еще особеннее, потому что мы отмечаем 25-ю годовщину основания конференции. Мы услышим выступления таких генеральных директоров, как Кэрол Томе из UPS, генеральный директор Snowflake Сридхар Рамасвами, генеральный директор Anduril Брайан Шимпф, генеральный директор Yahoo! Джим Ланцоне и многих других. Там будут такие асы ИИ, как Борис Черни, который возглавляет Claude Code в Anthropic, и Сара Хукер, соучредитель и генеральный директор Adaption Labs. А также такие светилы технологий, как Стив Кейс и Мег Уитмен. И вы, конечно! Подайте заявку на участие здесь.

Эта история была изначально опубликована на Fortune.com