Сооснователь Ethereum заявляет, что правило ИИ может закончиться катастрофой

Его предупреждение появляется в то время, когда разговоры об ИИ-агентах, управляющих финансовыми и организационными системами, набирают обороты, но он настаивает на том, что риски значительно перевешивают привлекательность.

Проблема проста: системы ИИ можно обмануть. Бутерин утверждает, что если таким инструментам поручить управление решениями о финансировании, злоумышленники быстро найдут способы их обойти. Вместо справедливого распределения ресурсов, машинами можно манипулировать с помощью запросов в стиле взлома, предназначенных для перенаправления денег в чужие руки.

Эти дебаты усилились после открытия Эйто Миямуры, генерального директора EdisonWatch, который недавно обнаружил уязвимость, связанную с последним обновлением ChatGPT. Обновление позволило чат-боту беспрепятственно подключаться к повседневным приложениям, таким как Gmail, Notion и Google Calendar. Хотя интеграция преподносилась как средство повышения продуктивности, Миямура продемонстрировал, как ее можно использовать для кражи личных данных пользователей.

Процесс тревожно прост. Злоумышленник может отправить приглашение в календарь со скрытой командой взлома. Даже не принимая приглашение, жертва подвергается риску, если позже попросит ChatGPT подготовить свою ежедневную повестку. Как только ИИ прочитает вредоносную запись, его можно взломать, предоставив злоумышленнику контроль для просмотра личных писем и пересылки их содержимого в другое место.

ЧИТАТЬ ДАЛЕЕ:

Новости Bitcoin: Дебаты о резерве США, глобальная конкуренция, неопределенность сроков

Для Бутерина это наглядно иллюстрирует, почему ИИ не следует передавать ключи от управления. Вместо этого он предпочитает то, что он описывает как систему "информационных финансов" — рынок, где конкурирующие модели ИИ работают под постоянным контролем. В этой конструкции независимые рецензенты и человеческие жюри, поддерживаемые языковыми моделями, выступают в роли сторожевых псов. Наличие разнообразных моделей и системы выборочных проверок гарантирует быстрое обнаружение недостатков, а стимулы заставляют разработчиков быть честными.

Привлекательность использования машины для управления сложными учреждениями может быть сильной, признал Бутерин, но он подчеркнул, что реальность, вероятно, будет беспорядочной. Без встроенных мер защиты и человеческого надзора, по его мнению, попытки короновать ИИ в качестве автономного управляющего могут привести к катастрофическим потерям, а не к прогрессу.

---

Информация, представленная в этой статье, предназначена только для образовательных целей и не является финансовым, инвестиционным или торговым советом. Coindoo.com не одобряет и не рекомендует какую-либо конкретную инвестиционную стратегию или криптовалюту. Всегда проводите собственное исследование и консультируйтесь с лицензированным финансовым консультантом перед принятием любых инвестиционных решений.

Статья "Соучредитель Ethereum говорит, что правление ИИ может закончиться катастрофой" впервые появилась на Coindoo.