Ключевые моменты
- Виталик Бутерин предупредил, что наивное управление с помощью ИИ слишком легко эксплуатировать.
- Недавняя демонстрация показала, как злоумышленники могут обмануть ChatGPT и получить доступ к личным данным.
- Модель "информационных финансов" Бутерина способствует разнообразию, надзору и устойчивости.
Сооснователь Ethereum Виталик Бутерин предупредил своих подписчиков в X о рисках использования искусственного интеллекта (ИИ) для управления, утверждая, что современные подходы слишком легко эксплуатировать.
Опасения Бутерина последовали за другим предупреждением от сооснователя EdisonWatch Эйто Миямуры, который показал, как злоумышленники могут взломать новый протокол контекста модели OpenAI (MCP) для доступа к личным данным пользователей.
Риски наивного управления с помощью ИИ
Тест Миямуры показал, как простое приглашение в календаре со скрытыми командами может обмануть ChatGPT и раскрыть конфиденциальные электронные письма, как только помощник получит доступ к скомпрометированной записи.
Эксперты по безопасности отметили, что большие языковые модели не могут различать подлинные инструкции и злонамеренные, что делает их крайне уязвимыми для манипуляций.
Бутерин сказал, что этот недостаток является серьезным тревожным сигналом для систем управления, которые слишком доверяют ИИ.
Он утверждал, что если такие модели будут использоваться для управления финансированием или принятия решений, злоумышленники могут легко обойти защитные меры с помощью запросов в стиле джейлбрейка, оставляя процессы управления открытыми для злоупотреблений.
Информационные финансы: рыночная альтернатива
Для решения этих проблем Бутерин предложил систему, которую он называет "информационными финансами". Вместо концентрации власти в одном ИИ, эта структура позволяет нескольким моделям управления конкурировать на открытом рынке.
Любой может предложить модель, и их решения могут быть оспорены через случайные выборочные проверки, при этом последнее слово остается за человеческими жюри.
Этот подход разработан для обеспечения устойчивости путем сочетания разнообразия моделей с человеческим надзором. Также встроены стимулы как для разработчиков, так и для внешних наблюдателей для выявления недостатков.
Проектирование институтов для обеспечения надежности
Бутерин описывает это как метод "проектирования институтов", где большие языковые модели от разных участников могут быть подключены, а не полагаться на единую централизованную систему.
Он добавил, что это создает разнообразие в реальном времени, снижая риск манипуляций и обеспечивая адаптивность по мере возникновения новых проблем.
Ранее в августе Бутерин критиковал стремление к высокоавтономным ИИ-агентам, говоря, что усиленный человеческий контроль обычно улучшает как качество, так и безопасность.
Он поддерживает модели, которые позволяют итеративное редактирование и обратную связь от человека, а не те, которые предназначены для независимой работы в течение длительных периодов.
далее
Отказ от ответственности: Coinspeaker стремится предоставлять беспристрастные и прозрачные отчеты. Эта статья направлена на предоставление точной и своевременной информации, но не должна рассматриваться как финансовый или инвестиционный совет. Поскольку рыночные условия могут быстро меняться, мы рекомендуем вам самостоятельно проверять информацию и консультироваться со специалистом перед принятием каких-либо решений на основе этого контента.
Крипто-журналист с более чем 5-летним опытом работы в отрасли, Парт работал с крупными медиа-изданиями в мире криптовалют и финансов, накапливая опыт и знания в этой области после выживания на медвежьих и бычьих рынках на протяжении многих лет. Парт также является автором 4 самостоятельно опубликованных книг.
Парт Дубей в LinkedIn
Источник: https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
