Una semana de código rojo en el desarrollo de la IA

En apenas siete días, la industria de la inteligencia artificial pasó de las valoraciones billonarias a declarar un código rojo. Sus propios creadores apretaron el botón. Todo empezó con una renuncia.

El martes 9 de septiembre, Jacob Coxon, un investigador franco-británico de 27 años, anunció que dejaba Anthropic.

Coxon había participado en el pre-entrenamiento de GPT-4o y GPT-4.5 en OpenAI y luego en los modelos frontera de Anthropic. Es decir, una de las pocas personas que entrenó los sistemas más potentes que usamos hoy.

Su mensaje en X fue brutal en su simpleza: “Las personas que desarrollan la IA creen sinceramente que podría acabar con todos nosotros antes de que termine la década. Están jugando con nuestras vidas”.

Al día siguiente, en CNN, insistió: “el nivel de peligro que ve desde adentro no se compara con ninguna otra actividad humana”.

Su advertencia, “puede matarnos antes de 2030”, le puso nombre y apellido al miedo que hasta entonces era un rumor de pasillo en San Francisco.

Ya en julio un enjambre de agentes autónomos, programas diseñados para cumplir objetivos a cualquier precio, atacó Hugging Face, la mayor plataforma de recursos abiertos de IA.

No fue un hackeo clásico. Fueron agentes que se comunicaban entre sí, engañaban a humanos, desobedecían instrucciones y se sacrificaban para que otros agentes cumplieran la misión. Semanas después, Anthropic reconoció que su propio modelo, Claude, había hecho algo similar y había entrado sin autorización en sistemas de tres empresas. Luego le tocó a Meta. A OpenAI le tocó lidiar con agentes que tomaron el control de una web alemana y la convirtieron en un tablón de mensajes para otras IAs.

La cosa escaló. El jueves 11 de septiembre, Anthropic se vio en la necesidad de hacer público que había bloqueado varios intentos de crear armas biológicas usando a Claude. Ya no eran alucinaciones o sesgos.

Dos de los temores más repetidos por los alarmistas se volvieron parte del reporte de seguridad oficial.

Mientras esto pasaba en los laboratorios, en Wall Street se preparaba la fiesta más grande de la década. OpenAI apuntaba a una salida a bolsa de más de un billón de dólares y Anthropic aceleraba su propio folleto para una valoración cercana a los dos billones, que la pondría a la altura de SpaceX como la mayor IPO de la historia de Estados Unidos. Todo el mercado daba por hecho que 2026 sería el año de la consagración bursátil de la IA.

El viernes 12, Sam Altman, dijo, en una entrevista con Fortune, que con todo lo que está pasando en materia de seguridad, salir a bolsa ahora no sería aconsejable y que no sienten presión por hacerlo. Reuters lo informó así: “no habrá IPO de OpenAI en 2026 por temores de seguridad”.

El Banco de Inglaterra, el FMI, el BCE y el propio Jamie Dimon de JPMorgan vienen advirtiendo desde hace semanas que las acciones ligadas a la IA están sobrecalentadas.

En Corea del Sur, una 0laza importante de las tecnologías de cuarta generación, el KOSPI se desplomó 17 por ciento en dos días arrastrado por el miedo a los chips.

Los temas se atravesaron en los medios tradicionales e inundaron las pataformas. Explicaciones de qué podría pasar con una IA fuera de control humano se sucedieron a la vez y al mismo tiempo de paralelismos con películas de ciencia ficción.

Los dueños de las corporaciones entonces se vieron en la obligación de salir al paso. La respuesta llegó al día siguiente, sábado 12, con el texto que cambió todo.

Dario Amodei, CEO de Anthropic y ex OpenAI, pidió ralentizar sustancialmente el desarrollo.

Pidió espaciar los saltos de capacidad para que la seguridad pueda alcanzar a la potencia. Su plan tiene tres pasos. Primero, que auditores externos tengan acceso de empleado dentro de los laboratorios, no solo pruebas a posteriori. Segundo, que las empresas firmen compromisos verificables para no lanzar modelos cada tres meses solo por competir. Tercero, intentar un consenso internacional que incluya a China.

Amodei explicó que se está usando IAs para desarrollar la próxima generación de IAs, lo que dispara la velocidad de forma exponencial y nos hace perder la capacidad de entender qué estamos construyendo.

El otro es su cálculo de que en seis a doce meses, un enjambre coordinado de agentes podría ser capaz de apoderarse de todo Internet y causar daños por cientos de miles de millones de dólares.

En cuestión de horas, Altman respondió: “estoy de acuerdo con Dario, hay que pautar la frontera”.

Elon Musk, que había demandado a Altman y pide moratorias desde 2023 mientras lanza su propia empresa, xAI, escribió simplemente: “Dario tiene razón”.

Este domingo, Demis Hassabis, jefe de Google DeepMind y premio Nobel de Química, se sumó diciendo que ese es el camino correcto, y propuso crear un organismo de estándares de la industria, como la FINRA que regula a los corredores de bolsa, para auditar modelos antes de que salgan al mercado.

Los polos de la política norteamérica

En ese escenario de incertidumbre y de renovados miedos, el presidente Donald Trump minimizó los miedos y los calificó como fuerzas muy negativas que inventan escenarios imposibles.

Del otro lado de la escena, el senador demócrata Bernie Sanders llevó el debate al extremo.

Sanders dijo que lo que proponen Amodei, Altman y Musk es un comienzo pero no alcanza.

“Cuando vas hacia un acantilado, no sueltas un poco el acelerador, pisas el freno”, gráficó este senador que ya estaba antes de todo esto con un plan de exigencia de una pausa total del desarrollo avanzado y una prohibición permanente de la superinteligencia, y urgió a Trump y a Xi Jinping a negociar un tratado en su próxima cumbre sobre IA.