En resumen
- Un panel en línea mostró una profunda división entre transhumanistas y tecnólogos sobre la AGI.
- El autor Eliezer Yudkowsky advirtió que los sistemas de IA de "caja negra" actuales hacen que la extinción sea un resultado inevitable.
- Max More argumentó que retrasar la AGI podría costarle a la humanidad su mejor oportunidad de vencer el envejecimiento y prevenir una catástrofe a largo plazo.
Una marcada división sobre el futuro de la inteligencia artificial se manifestó esta semana cuando cuatro destacados tecnólogos y transhumanistas debatieron si construir inteligencia artificial general, o AGI, salvaría a la humanidad o la destruiría.
El panel organizado por la organización sin fines de lucro Humanity+ reunió a uno de los "Pesimistas" de IA más vocales, Eliezer Yudkowsky, quien ha pedido detener el desarrollo avanzado de IA, junto al filósofo y futurista Max More, el neurocientífico computacional Anders Sandberg y la presidenta emérita de Humanity+ Natasha Vita‑More.
Su discusión reveló desacuerdos fundamentales sobre si la AGI puede alinearse con la supervivencia humana o si su creación haría inevitable la extinción.
El problema de la "caja negra"
Yudkowsky advirtió que los sistemas de IA modernos son fundamentalmente inseguros porque sus procesos internos de toma de decisiones no pueden ser completamente comprendidos o controlados.
"Cualquier cosa de caja negra probablemente terminará con problemas notablemente similares a la tecnología actual", advirtió Yudkowsky. Argumentó que la humanidad necesitaría alejarse "muy, muy lejos de los paradigmas actuales" antes de que la IA avanzada pueda desarrollarse de manera segura.
La inteligencia artificial general se refiere a una forma de IA que puede razonar y aprender en una amplia gama de tareas, en lugar de estar construida para un solo trabajo como la generación de texto, imágenes o videos. La AGI a menudo se asocia con la idea de la singularidad tecnológica, porque alcanzar ese nivel de inteligencia podría permitir que las máquinas se mejoren a sí mismas más rápido de lo que los humanos pueden seguir.
Yudkowsky señaló la analogía del "maximizador de clips" popularizada por el filósofo Nick Bostrom para ilustrar el riesgo. El experimento mental presenta una IA hipotética que convierte toda la materia disponible en clips, promoviendo su obsesión por un solo objetivo a expensas de la humanidad. Agregar más objetivos, dijo Yudkowsky, no mejoraría significativamente la seguridad.
Refiriéndose al título de su reciente libro sobre IA, "Si alguien lo construye, todos mueren", dijo: "Nuestro título no es como si pudiera posiblemente matarte", dijo Yudkowsky. "Nuestro título es, si alguien lo construye, todos mueren."
Pero More desafió la premisa de que la precaución extrema ofrece el resultado más seguro. Argumentó que la AGI podría proporcionar a la humanidad su mejor oportunidad de superar el envejecimiento y la enfermedad.
"Lo más importante para mí, es que la AGI podría ayudarnos a prevenir la extinción de cada persona que vive debido al envejecimiento", declaró More. "Todos estamos muriendo. Nos dirigimos hacia una catástrofe, uno por uno." Advirtió que la contención excesiva podría empujar a los gobiernos hacia controles autoritarios como la única forma de detener el desarrollo de IA en todo el mundo.
Sandberg se posicionó entre los dos bandos, describiéndose a sí mismo como "más optimista" mientras permanece más cauteloso que los optimistas transhumanistas. Relató una experiencia personal en la que casi usó un modelo de lenguaje grande para ayudar con el diseño de un arma biológica, un episodio que describió como "horroroso".
"Estamos llegando a un punto donde amplificar actores maliciosos también va a causar un gran desastre", dijo Sandberg. Aún así, argumentó que la seguridad parcial o "aproximada" podría ser alcanzable. Rechazó la idea de que la seguridad debe ser perfecta para ser significativa, sugiriendo que los humanos podrían al menos converger en valores compartidos mínimos como la supervivencia.
"Entonces, si exiges seguridad perfecta, no la vas a obtener. Y eso suena muy mal desde esa perspectiva", dijo. "Por otro lado, creo que realmente podemos tener seguridad aproximada. Eso es suficientemente bueno."
Escepticismo sobre la alineación
Vita-More criticó el debate más amplio sobre la alineación en sí, argumentando que el concepto asume un nivel de consenso que no existe incluso entre colaboradores de larga data.
"La noción de alineación es un esquema Pollyanna", dijo. "Nunca estará alineada. Quiero decir, incluso aquí, todos somos buenas personas. Nos conocemos desde hace décadas y no estamos alineados."
Describió la afirmación de Yudkowsky de que la AGI inevitablemente mataría a todos como "pensamiento absolutista" que no deja espacio para otros resultados.
"Tengo un problema con la declaración generalizada de que todos mueren", dijo. "Abordando esto como futurista y pensadora pragmática, no deja ninguna consecuencia, ninguna alternativa, ningún otro escenario. Es solo una afirmación contundente, y me pregunto si refleja un tipo de pensamiento absolutista."
La discusión incluyó un debate sobre si una integración más estrecha entre humanos y máquinas podría mitigar el riesgo planteado por la AGI, algo que el CEO de Tesla, Elon Musk, ha propuesto en el pasado. Yudkowsky descartó la idea de fusionarse con la IA, comparándola con "intentar fusionarse con tu horno tostador".
Sandberg y Vita-More argumentaron que, a medida que los sistemas de IA se vuelven más capaces, los humanos necesitarán integrarse o fusionarse más estrechamente con ellos para afrontar mejor un mundo post-AGI.
"Toda esta discusión es una verificación de la realidad sobre quiénes somos como seres humanos", dijo Vita-More.
Boletín Daily Debrief
Comienza cada día con las principales noticias del momento, además de contenido original, un podcast, videos y más.
Fuente: https://decrypt.co/356554/will-artificial-intelligence-save-humanity-end
