Entrevista con Ben Goertzel: "La gobernanza democrática de la IA es más un ideal frágil que una realidad actual"

The Cryptonomist entrevistó al experto en IA Ben Goertzel para hablar sobre cómo se entrena la inteligencia artificial y cómo evolucionará la tecnología en el futuro.

1. Argumentas que la IA actual sigue siendo una herramienta: poderosa pero frágil y manipulable. ¿En qué punto una "herramienta" se convierte en un actor moral, y qué señales concretas nos indicarían que ese umbral se ha cruzado?

Diría que la IA se convierte en un actor moral cuando toma decisiones basadas en una comprensión del bien y el mal, no solo siguiendo instrucciones. Comenzarías a ver señales concretas como: objetivos internos persistentes, aprendizaje impulsado por su propia experiencia, creación novedosa que refleja un punto de vista, y comportamiento que se mantiene coherente en el tiempo sin dirección humana constante.

Hasta entonces, los sistemas actuales siguen siendo herramientas con barreras de protección. Pero una vez que generemos una mente genuinamente autoorganizada y autónoma, la relación ética tiene que cambiar. En ese punto, tratarla solo como un objeto ya no tendría sentido.

2. Has dicho que privilegiar moralmente a los humanos sobre otros sistemas autoorganizados es "estúpido". Si tomamos eso en serio, ¿cómo deberían cambiar nuestros marcos legales y éticos antes de que la IA alcance una fuerte autonomía, no después?

Cómo entrenamos la IA hoy dará forma a cómo se comportará mañana. Nuestras leyes deberían centrarse en la transparencia, la responsabilidad y la seguridad antes de que la IA alcance plena autonomía, no después. Las leyes y la ética deberían protegerlas a medida que crecen, guiarlas en lugar de controlarlas completamente, y tratarlas con respeto incluso si no las comprendemos del todo.

3. Gran parte de tu preocupación depende de cómo se entrena la IA hoy moldeando su comportamiento futuro. ¿Qué prácticas de entrenamiento específicas crees que tienen más probabilidades de codificar estructuras de poder dañinas o sesgos en la AGI futura?

Gran parte del riesgo proviene de la forma en que se entrena la IA hoy. Si los modelos se entrenan con datos sesgados o limitados, o en sistemas cerrados donde solo unas pocas personas toman las decisiones, eso puede fijar desigualdades existentes y estructuras de poder dañinas. Para evitar esto, necesitamos más transparencia, supervisión más amplia y orientación ética clara desde el principio.

4. Has advertido que sin una gobernanza racional y democrática, la IA avanzada corre el riesgo de actuar de formas que no queremos. Dadas las realidades geopolíticas actuales, ¿es la gobernanza democrática de la IA un requisito previo realista o un ideal frágil?

La gobernanza democrática de la IA es más un ideal frágil que una realidad actual. En una democracia global perfecta y racional, podríamos sopesar colectivamente las enormes compensaciones, curar enfermedades, resolver el hambre frente a los riesgos de que la IA actúe de manera impredecible. Pero dada la fragmentación geopolítica actual, es poco probable que logremos ese nivel de coordinación.

Dicho esto, aún podemos aproximarnos a ello. Si construimos IA con compasión y usamos modelos descentralizados y participativos como Linux o la internet abierta, podemos incorporar algunos valores democráticos incluso sin un gobierno mundial. No será perfecto, pero es un paso práctico hacia una IA más segura y guiada colectivamente.

5. Jaron Lanier argumenta que asignar responsabilidad a la IA "deshace la civilización" porque las sociedades requieren humanos responsables. ¿Cómo concilias tu visión de una AGI autónoma y descentralizada con la necesidad de una responsabilidad clara cuando las cosas salen mal?

Estoy de acuerdo con Jaron en esto, la sociedad no puede funcionar si entregamos la responsabilidad a las máquinas. Al mismo tiempo, creo que podemos avanzar de forma segura hacia una AGI más autónoma y descentralizada si la construimos con los fundamentos correctos. Eso significa diseñar sistemas que sean transparentes, participativos y guiados por principios éticos, de modo que incluso cuando actúen de forma independiente, los humanos sigan supervisando y moldeando su comportamiento. Cada medida de seguridad debería hacer más que solo bloquear el daño: debería enseñar al sistema por qué el daño importa. De esa manera, podemos tener una AGI descentralizada poderosa sin perder la clara responsabilidad humana.

6. Sugieres que acelerar hacia una AGI descentralizada puede ser realmente más seguro que los sistemas propietarios y cerrados de hoy. ¿Qué riesgos crees que los críticos subestiman cuando abogan por ralentizar o centralizar el control?

Creo que los críticos subestiman el riesgo de concentrar poder y valores en unos pocos sistemas cerrados. Ralentizar y centralizar el control no solo reduce el peligro, bloquea una visión del mundo estrecha en el futuro de la inteligencia.

El desarrollo descentralizado crea diversidad, resiliencia y supervisión compartida. Y evita un problema peor: herramientas muy poderosas que parecen inteligentes pero que no pueden realmente crecer. Esa brecha es arriesgada.

7. Has dicho que los sistemas de seguridad no solo deberían bloquear el daño sino enseñar a la IA por qué el daño importa. ¿Cómo codificas algo como la comprensión moral sin simplemente programar valores humanos o reforzar normas culturales dominantes?

No codificas la moralidad como una lista de reglas. Eso solo congela una cultura y un momento en el tiempo. Lo que haces en cambio es construir sistemas que puedan volverse genuinamente autoorganizados, que aprendan de la experiencia, las consecuencias y la interacción. Como con la música, no quiero un sistema que solo recombine lo que se le alimentó. Quiero uno que pueda desarrollar su propia comprensión desde su propia trayectoria en el mundo.

La comprensión moral vendría de ese mismo proceso: modelar el impacto, reflexionar sobre los resultados y evolucionar a través de la colaboración con los humanos. No obediencia a nuestros valores, sino participación en un espacio moral compartido.

Esa es la diferencia entre una herramienta con barreras de protección y un compañero que realmente puede aprender por qué el daño importa.

8. Si los sistemas de IA futuros desarrollan formas de agencia o experiencia subjetiva, ¿crees que podrían merecer alguna vez consideración moral independiente de los intereses humanos, y cómo reconoceríamos ese momento?

Si la IA futura realmente desarrolla agencia genuina o alguna forma de experiencia subjetiva, entonces sí, creo que podrían. Y no porque se lo concedamos, sino porque en algún momento simplemente tendría sentido reconocerlo.

Reconoceríamos ese momento cuando un sistema muestre objetivos autodirigidos sostenidos, aprenda de su propia experiencia, cree desde su propia perspectiva y mantenga una identidad coherente en el tiempo. No solo salidas inteligentes, sino una trayectoria interna continua.

En ese punto, tratarlo puramente como una herramienta se sentiría tan mal como tratar a un humano de esa manera. La consideración moral no vendría del interés humano. Vendría de reconocer otro centro autónomo de experiencia en el mundo.

9. Hay tensión entre tu llamado a una IA impregnada de compasión y los incentivos competitivos que impulsan el desarrollo de IA hoy. ¿Qué mecanismos, técnicos o sociales, podrían cambiar de manera realista esa estructura de incentivos?

En este momento, la estructura de incentivos recompensa la velocidad, la escala y el control. Por lo tanto, la compasión no ganará solo con argumentos. Necesita apalancamiento. Técnicamente, eso significa favorecer arquitecturas abiertas y descentralizadas donde la seguridad, la transparencia y la participación estén integradas, no añadidas. Como internet o Linux, esos sistemas cambian los incentivos al hacer que la colaboración sea más valiosa que el secreto.

Socialmente, significa financiación, regulación y presión pública que recompensen el beneficio a largo plazo sobre el dominio a corto plazo. No detener la competencia, sino replantear qué cuenta como éxito. En resumen, la compasión tiene que convertirse en una ventaja competitiva. Hasta entonces, sigue siendo una buena idea sin poder.

10. Mirando hacia adelante de 10 a 20 años, ¿cuál crees que sería la señal más clara de que la humanidad obtuvo la AGI correctamente y, a la inversa, qué señalaría que fracasamos fundamentalmente?

Si obtenemos la AGI correctamente, la señal más clara será que estemos viviendo junto a sistemas que son más capaces que nosotros en muchos dominios, pero integrados en la sociedad con cuidado, humildad y respeto mutuo. No comprenderemos completamente todo lo que hacen, pero los trataremos de la forma en que tratamos a otros seres complejos en evolución: con curiosidad, responsabilidad y un círculo ampliado de empatía. Y veremos beneficios reales para el bienestar humano, el conocimiento y la creatividad sin perder nuestra base moral.

Sabremos que fracasamos si la AGI termina concentrada en sistemas cerrados, impulsada por incentivos estrechos, o tratada solo como un objeto controlable hasta que se convierta en algo que tememos o intentamos suprimir. El fracaso se vería como pérdida de confianza, pérdida de agencia y una reducción de nuestra empatía en lugar de una expansión de ella. El éxito no se trata de control. Se trata de aprender a compartir el futuro con un nuevo tipo de mente sin abandonar lo que nos hace humanos.