Notas Clave
- Vitalik Buterin advirtió que la gobernanza ingenua de IA es demasiado fácil de explotar.
- Una demostración reciente mostró cómo los atacantes podrían engañar a ChatGPT para filtrar datos privados.
- El modelo "info finance" de Buterin promueve la diversidad, la supervisión y la resiliencia.
El cofundador de Ethereum, Vitalik Buterin, advirtió a sus seguidores en X sobre los riesgos de depender de la inteligencia artificial (IA) para la gobernanza, argumentando que los enfoques actuales son demasiado fáciles de explotar.
Las preocupaciones de Buterin siguieron a otra advertencia del cofundador de EdisonWatch, Eito Miyamura, quien mostró cómo actores maliciosos podrían secuestrar el nuevo Protocolo de Contexto de Modelo (MCP) de OpenAI para acceder a datos privados de usuarios.
Los Riesgos de la Gobernanza Ingenua de IA
La prueba de Miyamura reveló cómo una simple invitación de calendario con comandos ocultos podría engañar a ChatGPT para exponer correos electrónicos sensibles una vez que el asistente accediera a la entrada comprometida.
Los expertos en seguridad señalaron que los modelos de lenguaje grandes no pueden distinguir entre instrucciones genuinas y maliciosas, lo que los hace altamente vulnerables a la manipulación.
Buterin dijo que esta falla es una señal de alarma importante para los sistemas de gobernanza que depositan demasiada confianza en la IA.
Argumentó que si tales modelos se utilizaran para gestionar financiamiento o toma de decisiones, los atacantes podrían eludir fácilmente las salvaguardias con indicaciones tipo jailbreak, dejando los procesos de gobernanza abiertos al abuso.
Info Finance: Una Alternativa Basada en el Mercado
Para abordar estas debilidades, Buterin ha propuesto un sistema que llama "info finance". En lugar de concentrar el poder en una sola IA, este marco permite que múltiples modelos de gobernanza compitan en un mercado abierto.
Cualquiera puede contribuir con un modelo, y sus decisiones pueden ser cuestionadas a través de verificaciones aleatorias, dejando la última palabra a jurados humanos.
Este enfoque está diseñado para garantizar la resiliencia combinando la diversidad de modelos con la supervisión humana. Además, se incorporan incentivos tanto para desarrolladores como para observadores externos para detectar fallas.
Diseñando Instituciones para la Robustez
Buterin describe esto como un método de "diseño institucional", donde los modelos de lenguaje grandes de diferentes contribuyentes pueden integrarse, en lugar de depender de un único sistema centralizado.
Añadió que esto crea diversidad en tiempo real, reduciendo el riesgo de manipulación y asegurando la adaptabilidad a medida que surgen nuevos desafíos.
A principios de agosto, Buterin criticó el impulso hacia Agentes de IA altamente autónomos, diciendo que un mayor control humano generalmente mejora tanto la calidad como la seguridad.
Apoya modelos que permiten la edición iterativa y la retroalimentación humana en lugar de aquellos diseñados para operar independientemente durante largos períodos.
siguiente
Descargo de responsabilidad: Coinspeaker se compromete a proporcionar informes imparciales y transparentes. Este artículo tiene como objetivo ofrecer información precisa y oportuna, pero no debe tomarse como asesoramiento financiero o de inversión. Dado que las condiciones del mercado pueden cambiar rápidamente, le recomendamos verificar la información por su cuenta y consultar con un profesional antes de tomar cualquier decisión basada en este contenido.
Un periodista cripto con más de 5 años de experiencia en la industria, Parth ha trabajado con importantes medios de comunicación en el mundo cripto y financiero, acumulando experiencia y conocimientos en el espacio después de sobrevivir a mercados alcistas y bajistas a lo largo de los años. Parth también es autor de 4 libros autopublicados.
Parth Dubey en LinkedIn
Fuente: https://www.coinspeaker.com/ai-governance-is-a-red-flag-vitalik-buterin-offers-an-alternative/
