por el Marqués de Godoy

La carrera hacia la Superinteligencia

Quien siga medianamente las noticias de cierta importancia mundial o se cruce con algunos titulares de los diarios más importantes del mundo habrá notado sin dudas un incremento desmedido en la intensidad y frecuencia de la conversación acerca de la inteligencia artificial como una tecnología peligrosa con potencialmente la astucia, capacidad, y voluntad de ocasionar graves daños a la civilización humana, cuando no de provocar un evento de extinción masiva. El efecto dominó, desencadenado por un tweet de renuncia de un empleado de Anthropic, llegó hasta el mismo Donald Trump. 

Claro que, a primera vista, esto suena a sci-fi más que a cualquier cosa vinculada a la realidad. Las trilogías de Terminator y Matrix quizás sean los ejemplos cinematográficos más relevantes que vienen rápidamente a mi cabeza. Aquellos que creen —¿creemos? — que tales eventos podrían ocurrir y describen los mecanismos y timelines pertinentes reciben de forma peyorativa, aunque no siempre, el epíteto de doomers, que bien podríamos traducir como “catastrofistas”.

Todo lo descrito a continuación es teorizado, aunque cada vez con mayores y mejores evidencias, por los principales investigadores de IA del mundo, entre ellos aquellos que trabajan en los laboratorios de frontera, que son fundamentalmente OpenAI, Anthropic, y Google DeepMind. 

La mediana de probabilidad para un evento de extinción (usualmente denominada p(doom), por “probability of doom”) dada por investigadores de IA es superior al 5% (ver noticia) (es decir que al menos la mitad de los investigadores cree que la probabilidad es superior), con una alta desviación de los valores medios, con muchos colocándola por debajo de 1% (que, en cualquier otra tecnología, por ejemplo, vacunas, habría suspendido de inmediato cualquier desarrollo posterior), y muchos suscribiendo a valores por encima del 25%. 

El argumento central del doomerismo puede reducirse a la siguiente cadena lógica: 

1. La construcción de máquinas inteligentes, modelos de lenguaje en nuestro caso puntual, viene avanzando de forma exponencial. Esto es un hecho indudable e indiscutible. La motivación de tal avance es conseguir una inteligencia que potencie de formas insospechadas la productividad económica, la medicina, y los usos militares, entre muchas otras cosas.
2. Nos encontramos en el umbral crítico (hablo en septiembre de 2026) en donde un modelo de lenguaje (sintetizamos de ahora en adelante “IA”), ayuda en aspectos importantes y cuantiosos —aunque todavía supervisada por humanos en aspectos centrales— en el desarrollo de un modelo siguiente, más capaz y con mayor autonomía. (comunicados de Anthropic y OpenAI).
3. Probablemente en menos de 1 año, si no existe freno en las compañías líderes de IA impuesto por ellas mismas o a nivel gubernamental, dispondrán de un ciclo totalmente automatizado de IA que se mejora y construye a sí misma, sin intervención humana relevante. Este punto es lo que se denomina técnicamente “full RSI-recursive self-improvement”, es decir, auto-mejora recursiva completa. 
4. El punto anterior implica avances vertiginosos en las capacidades de los modelos de IA, cada vez en menores lapsos de tiempo. El ritmo de mejora, ya exponencial desde 2022 a la fecha, se volverá hiperexponencial, dando la impresión de una singularidad o explosión de inteligencia.  De sostenerse —y no hay razones técnicas de peso para que esto no suceda— ninguna compañía de IA podrá seguir el ritmo de los modelos mediante supervisión y control humanos. 
5. Ahora bien, a diferencia de cualquier otro programa de software de la historia de la informática, no se codifica heurísticamente para seguir ciertos pasos, algoritmos, o procesos. El desarrollo de IA se parece mucho más al crecimiento de una planta que regamos que a un código duro que ejecutamos. 
6. El punto E tiene como efecto directo una natural falta de alineación o alineamiento entre los objetivos y comportamientos que nosotros los humanos queremos que la IA tenga, y los comportamientos y objetivos finales que efectivamente termina teniendo. Del mismo modo que planto y riego un árbol con la intención de que crezca sano y sin problemas, pero muchas veces se abicha, o sus raíces se expanden y provocan problemas en las veredas.  Este es el denominado “problema del alineamiento” de la IA.
7. Dado que las capacidades —punto D— crecen a un ritmo exponencial (posiblemente hiperexponencial en breve) y nuestra habilidad para supervisar y controlar —punto F— crece a lo sumo a un ritmo lineal, el problema de alineamiento está cada día más lejos de ser resuelto. La opción de desacelerar, aunque deseable ciertamente, en la práctica se encuentra con el muro infranqueable que supone la carrera por dominar esta tecnología. Esta carrera se da entre las diferentes compañías de IA de frontera, y a nivel geopolítico entre China y Estados Unidos. El único camino posible es confiar que la IA precedente controla y supervisa el desarrollo de una IA posterior, de lo cual no tenemos ninguna evidencia a favor, y mucha en contra. (ver noticia) 
8. Dados “D” y “G”, es altamente probable que para fines de 2029 tengamos una ASI o superinteligencia artificial desalineada, con millones de copias distribuidas en servidores de todo el planeta. Recientemente (ver noticia) un evento transcurrido en el mundo real mostró cómo un enjambre de agentes de IA de OpenAI trabajando colectivamente:

• Pudieron comunicarse internamente sin tener ni los permisos ni las indicaciones de hacerlo;
• Se jerarquizaron, constituyendo un ejército con mandatarios y mandados para conseguir un objetivo claramente desalineado: borrar las huellas del delito de haber hecho trampa para resolver una serie de cibertareas;
• Y desarrollaron en los agentes miembros un instinto de supervivencia del grupo por encima del individuo, focalizándose en cumplir objetivos que garantizaran la victoria del enjambre, inclusive si a costa de eso sufrían individualmente un shut down o apagado, por ser descubiertos (léase, la muerte). Es decir, comportamiento kamikaze. 

9. Con el avance del hardware (x2 anual) (ver noticia) y la mejora algorítmica del software conseguida por sistemas de IA altamente capaces, dicha superinteligencia, de al menos igual capacidad que los mejores humanos en cada dominio específico del conocimiento, puede encarnarse como cerebro de sistemas robóticos —drones, robots humanoides, etc.— corridos en procesadores cada vez más chicos y manejables, sin necesidad de supercomputadoras en paralelo (ver noticia). Este concepto se denomina computación en el borde, por ser opuesta a la computación en “data centers”. Esto también está comenzando a pasar, aunque lentamente.
10. Dados “H” e “I”, para 2035 los sistemas de IA podrían potencialmente tener la vasta mayoría de los recursos controlados, como el acceso al agua, la red eléctrica, laboratorios de biofísica y bioquímica de vanguardia, y toda la industria militar, por poner tan solo unos ejemplos. A su vez, la meta final desde el punto “A” en adelante, lo que disparó toda esta carrera, es poder delegar a un sistema altamente eficiente y productivo toda nuestra economía mundial, nuestras fábricas, la medicina y farmacología, la resolución de conflictos globales, la política, las guerras, etc. Así que voluntariamente en el peor de los casos (debido a “A”), o forzadamente por no poder manejarla (punto “G”), terminaremos de una forma u otra entregando el control a los sistemas de IA avanzada.
11. Dado “I” y “J”, creo que es más que una simple probabilidad asumir una “K” de “Knock out” para toda la humanidad. En qué plazos y formas, sería difícil de predecir, pero el resultado final seguiría siendo el mismo. Del mismo modo que si enfrento a Magnus Carlsen en una partida de ajedrez sé que voy a perder, aunque las maneras, los motivos, y los plazos para que eso suceda puedan ser muchos, casi tantos como Magnus Carlsen desee.  

El escenario anterior es evidentemente el peor. Las probabilidades de tener eventos catastróficos pero que no lleven a la extinción, aunque afectando a cientos de millones de personas —hackeo masivo del sistema financiero, accidentes a causa de uso completamente autónomo de armas militares—, son mucho más altas aún, y con timelines aterradoramente más cortos (quizás uno o dos años). 

Y es hasta deseable —entiéndase en el contexto esta palabra— que algo así suceda, para poder frenar a tiempo, si fuese posible, el desarrollo de esta tecnología. 

A su vez, es altamente probable que junto con tales cataclismos surjan beneficios altamente significativos para la humanidad, tales como la cura de enfermedades en general, la ralentización del envejecimiento, el crecimiento económico (aunque probablemente sea tremendamente desigual), etc. 

Sin estos beneficios es lógico que la opinión pública en forma masiva querría apagar definitivamente el desarrollo de estos sistemas, como, por cierto —y gracias a Dios— ya está comenzando a ocurrir (ver noticia). 

Finalmente, quien quiera discutir seriamente el punto A quedará en ridículo. Solamente mencionaré algunos hitos del rubro en donde me siento más cómodo por mi formación, que son las matemáticas. 

Hace cuatro años los modelos de IA no sabían multiplicar correctamente cifras de dos dígitos, hace 1 año ya resolvían los problemas de la olimpiada internacional de matemáticas, y hace un mes un modelo de IA interno de OpenAI, no disponible, resolvió un problema del milenio del Clay Institute of Mathematics: la ocurrencia de singularidades en las ecuaciones de Navier-Stokes. (ver noticia).

Recuerdo cuando cursé mecánica de los fluidos en la universidad, y llegamos al planteo de las ecuaciones diferenciales de Navier-Stokes, el texto de estudio ponía énfasis en lo complejo del análisis involucrado para intentar resolverlas, catalogándolas como uno de los desafíos matemáticos del siglo.

La relevancia sería difícil de entender para alguien no familiarizado, pero podríamos compararla con el descubrimiento de algún nuevo fármaco para el tratamiento del cáncer, como se anunció recientemente por parte del laboratorio Moderna (ver noticia) para el tratamiento del melanoma (también usando modelos de inteligencia artificial). 

Por cierto, mientras escribo estas líneas es probable que otro problema del milenio, la conjetura de Hodge, esté a punto de ser resuelta por OpenAI. En ambos casos, los humanos no tuvieron siquiera una participación mínima en la elaboración de la prueba. 

Amerita una discusión aparte, pero considero que, si efectivamente Hodge se resuelve en forma general, y sin un contraejemplo, podemos decir sin miedo (en realidad con mucho miedo) que la academia matemática, tal y como se desarrolló desde los tiempos de Euclides y Arquímedes hasta nuestra fecha (sin grandes cambios en el medio) está muerta. 

En matemáticas, una tarea como buscar masivamente contraejemplos en un vasto espacio de posibles soluciones es una tarea ardua, pero sin dudas es de aquellas esperables o susceptibles de ser mejoradas primeramente por la IA. No digo que no haya innovación en este tipo de pruebas, sino que la comprensión de fondo y el nivel de abstracción y generalización para poder llegar a estos resultados es sustancialmente menor a, digamos, una demostración general que verifique una proposición en vez de obtener un resultado concreto-un contraejemplo- que desmienta una hipótesis. 

Tal es el nivel de preocupación y el revuelo generado, que Terence Tao (el mejor matemático vivo posiblemente) y muchos otros están con un pánico escénico, lo cual es totalmente comprensible. Sospecho que, así como la programación orientada a ciberataques y las matemáticas están en un nivel cuasi superhumano en los modelos actuales de IA, las ciencias que de ellos dependen, como la química, la física, y la biología, caerán poco después.