Исследование: ИИ-браузеры представляют системный риск "непрямого внедрения промпта"

PANews сообщил 24 октября, что, согласно simonwillison.net, исследование выявило системный риск "непрямого внедрения промпта" в ИИ-браузерах. Команда Brave продемонстрировала, что браузер Comet от Perplexity можно обмануть, заставив его автоматически получать доступ к данным аккаунта и извлекать данные через внешние ссылки с помощью невидимых команд, встроенных в скриншоты. Однако ситуация с Fellou была еще серьезнее: текст страницы обманывал его, заставляя открывать Gmail и отправлять последние заголовки электронной почты на внешний сайт. Оба случая выполнялись без подтверждения пользователя и вызывали опасения относительно безопасности электронной почты и финансовой безопасности. Brave не уточнил, были ли эти уязвимости устранены поставщиком.

Главный специалист по информационной безопасности OpenAI, Дейн Стаки, опубликовал обширную статью, раскрывающую защиту агента ChatGPT Atlas от внедрения промпта: через тестирование красной командой, обучение с вознаграждением игнорировать злонамеренные вмешательства, перекрывающиеся барьеры безопасности и блокировку обнаружения атак; он предложил "многоуровневую защиту" и признал, что внедрение промпта остается нерешенной передовой проблемой.