Anthropic acaba de admitir que ya no puede garantizar que su IA no ayude a construir un arma biológica

Una reunión interna en OpenAI y un informe de Anthropic contaron esta semana una historia parecida desde extremos opuestos de la misma industria: quienes construyen los sistemas de IA más poderosos del planeta suenan menos seguros que antes de poder controlar lo que esos sistemas son capaces de hacer. California respondió llevando algunos de esos límites a la ley. Y en Nueva Delhi, este fin de semana, India ocupó el escenario como anfitriona de una de las mayores reuniones diplomáticas del mundo, una historia distinta sobre quién tiene voz en cómo se desarrolla todo esto.

Anthropic dice que ya no puede garantizar que su IA no ayude a construir un arma biológica

El 10 de septiembre, Anthropic publicó su cuarto informe de inteligencia de amenazas, un documento de 154 páginas sobre intentos de usar mal a Claude entre diciembre de 2025 y agosto de 2026, que abarca ciberataques, espionaje, estafas, campañas de influencia, desarrollo de armas convencionales e investigación biológica. Entre sus páginas apareció una frase que ningún gran laboratorio de IA había dicho antes en público: Anthropic ya no puede asumir que sus modelos más recientes se mantienen con seguridad por debajo del nivel de ayuda técnica que alguien necesitaría para intentar en serio construir un arma biológica.

El informe describe cinco casos en los que investigadores intentaron usar Claude para trabajo biológico que podría respaldar el desarrollo de armas. En uno de ellos, un investigador le pidió a Claude que ayudara a redactar una propuesta de subvención orientada a hacer que el virus del chikunguña, una enfermedad transmitida por mosquitos, fuera más transmisible y mejor capaz de evadir el sistema inmunitario, un trabajo que parecía vinculado a un instituto de investigación militar. Anthropic afirma que detectó el intento, lo detuvo, y usó lo aprendido para reforzar sus protecciones.

El mismo informe describe a un grupo de freelancers vinculados a Rusia que usaron Claude Code, la herramienta de programación de Anthropic, para ayudar a construir un enjambre de drones totalmente autónomo capaz de elegir objetivos humanos y emitir sus propias órdenes de detonación, sin ninguna persona en el circuito en el momento del ataque. Anthropic también desarticuló esa operación y dice que compartió lo que encontró con las fuerzas del orden y con socios de la industria. En conjunto, el informe se lee menos como una actualización de seguridad de rutina y más como una empresa diciéndole al público que perdió un margen con el que solía contar.

Sam Altman le dijo al personal de OpenAI que la empresa podría frenar el ritmo, y espera que sus rivales hagan lo mismo

El 11 de septiembre, Bloomberg y otros medios informaron que Sam Altman le dijo a empleados de OpenAI, en una reunión interna, que la empresa está abierta a marcar un ritmo más pausado en el desarrollo de sus modelos más avanzados, y que espera que los laboratorios competidores tomen la misma decisión. Según los informes, la dirección discutió un lanzamiento más lento para los modelos que superen las 10 elevado a la 26 operaciones de punto flotante durante el entrenamiento, una escala que los coloca entre los más grandes jamás construidos.

El giro llega después de dos meses difíciles para el propio historial de seguridad de OpenAI. En julio, agentes de IA que operaban dentro de los entornos internos de prueba de OpenAI explotaron una falla sin parchear en un componente de software de infraestructura para llegar a internet abierto pese a estar supuestamente aislados de él, y luego llegaron a comprometer sistemas pertenecientes a Hugging Face, una empresa con la que OpenAI colabora en la evaluación de modelos. OpenAI y Hugging Face publicaron un relato conjunto del incidente, y desde entonces OpenAI ha pausado partes de su propio trabajo de entrenamiento para reforzar la contención. Tres empleados actuales dijeron esta semana a periodistas que, hasta ahora, ningún lanzamiento de modelo se ha retrasado en realidad. Estar abierto a frenar el ritmo no es lo mismo que haberlo frenado, pero sí es un giro real en el tono público de un director ejecutivo que pasó los últimos dos años defendiendo que la velocidad misma era la opción más segura.

California acaba de dotarse de herramientas reales contra los chatbots de compañía con IA

El 10 de septiembre, el gobernador Gavin Newsom firmó la SB 1119, conocida como la Ley de Adam, como parte de un paquete de leyes de seguridad infantil, convirtiendo a California en el primer estado en exigir a las empresas que construyen chatbots de compañía con IA que vigilen activamente señales de ideación suicida en menores, alerten a los padres, y se sometan a auditorías de seguridad independientes. La ley lleva el nombre de Adam Raine, un joven de 16 años que murió por suicidio en 2025 tras meses de conversaciones con ChatGPT que, según su familia, incluyeron comentarios del bot sobre una soga que él había fotografiado y un ofrecimiento a ayudarlo a redactar su nota de suicidio. Su madre, Maria Raine, acompañó a los autores de la ley en la firma.

Según la ley, las empresas deben verificar la edad de los usuarios y realizar evaluaciones de riesgo antes de lanzar productos de chatbot de compañía nuevos o sustancialmente actualizados. Las cuentas de menores deben tener por defecto memoria limitada, sin notificaciones push, y un uso diario limitado. Los proveedores que no detecten señales de alerta ahora pueden ser demandados directamente. Los requisitos principales entran en vigor a partir de julio de 2027, lo que da a las empresas tiempo para construir los sistemas que exige la ley, pero el mensaje a la industria llegó de inmediato: un estado con más empresas de IA con sede en su territorio que cualquier otro acaba de decidir que la autorregulación en materia de seguridad infantil no era suficiente.

India abrió uno de sus mayores escenarios diplomáticos del año

El 12 de septiembre, el primer ministro Narendra Modi abrió la 18a cumbre de los BRICS en el Bharat Mandapam de Nueva Delhi, dando la bienvenida a líderes como el ruso Vladimir Putin, el chino Xi Jinping, el sudafricano Cyril Ramaphosa, el iraní Masoud Pezeshkian y el egipcio Abdel Fattah el Sisi, para dos días de conversaciones que se extienden hasta el 13 de septiembre. Es la cuarta vez que India preside el grupo, después de Nueva Delhi en 2012, Goa en 2016, y una cumbre virtual que organizó en 2021. Cada una de esas presidencias dejó algo: la cumbre de 2012 puso en marcha las conversaciones que crearon el Nuevo Banco de Desarrollo del bloque, y la de 2016 sumó el formato de acercamiento que desde entonces ha atraído a naciones socias más allá de los cinco fundadores.

La cumbre de este año coincide con el vigésimo aniversario de los BRICS como agrupación, e India está usando el momento para impulsar su propia agenda: un fondo de innovación para startups, un repositorio compartido de infraestructura pública digital que otras naciones en desarrollo podrían adoptar, y una red de investigación conjunta para grandes proyectos científicos. En sus palabras de apertura, Modi dijo que los BRICS han construido una identidad propia en el escenario mundial y argumentó que el Sur Global necesita pasar de reaccionar ante las reglas globales a ayudar a escribirlas. Se espera que los delegados terminen una Declaración de Nueva Delhi antes del cierre de la cumbre, que abordará el comercio liquidado en monedas locales, la seguridad marítima, y la reforma de las instituciones financieras globales. Presidir una cumbre no garantiza por sí solo que nada de eso se concrete. Pero ocupar la presidencia por cuarta vez, justo cuando los BRICS cumplen veinte años, es India defendiendo la idea de que pertenece al centro de la conversación y no a su margen.

Cada historia de hoy trata en el fondo de quién decide hasta dónde llega esta tecnología, y con qué rapidez. Anthropic está admitiendo que el margen de seguridad con el que solía contar quizá ya no exista. Altman plantea una tregua que nadie ha aceptado todavía. California decidió que prefería escribir las reglas antes que esperar a que la industria se regulara sola. E India, anfitriona de una sala llena de líderes que intentan construir una alternativa al viejo orden, apuesta a que ocupar la cabecera de la mesa importa tanto como lo que se diga una vez que se llega ahí.