Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, anunció el 8 de septiembre de 2026 que abandonaba Anthropic y la industria de la inteligencia artificial. Su mensaje fue deliberadamente inquietante, pues afirmó que las empresas líderes están compitiendo por desarrollar sistemas capaces de mejorarse a sí mismos y que muchas de las personas que construyen esos sistemas creen sinceramente que podrían acabar con la humanidad antes de terminar la década.
La reacción más fácil consiste en elegir uno de los dos extremos. Podemos aceptar la advertencia como la revelación definitiva de alguien que conoce la tecnología desde dentro. O podemos descartarla como otra profecía apocalíptica de una industria acostumbrada a exagerar el poder de sus productos. Ninguna de las dos respuestas me parece satisfactoria.
La dimisión de Coxon es una señal relevante, pero no una prueba de que la extinción humana antes de 2030 sea probable. Conviene escuchar lo que revela sobre las capacidades de los sistemas, los problemas de control y los incentivos de las empresas. También conviene distinguir con cuidado entre hechos observados, inferencias plausibles y escenarios todavía especulativos.
Qué sabemos realmente sobre la dimisión
Coxon trabajaba en el preentrenamiento de modelos, una fase central de su desarrollo. En una entrevista con WIRED, explicó que su decisión estuvo motivada por la aceleración de las capacidades, varios incidentes recientes de seguridad y la posibilidad de que los laboratorios utilicen la propia IA para automatizar el desarrollo de sistemas posteriores.
Su advertencia no quedó completamente aislada. Evan Hubinger, responsable de investigación sobre alineamiento en Anthropic, respaldó públicamente el diagnóstico general y situó por encima del 10 % su estimación personal de que la IA podría causar la muerte de todas las personas durante la próxima década. Samuel Marks, también investigador de Anthropic, afirmó que la preocupación por resultados catastróficos está extendida entre quienes desarrollan esta tecnología.
Esto permite sostener algo concreto: que el riesgo existencial no es una preocupación exclusiva de observadores externos ni una caricatura atribuida a unos pocos tecnófobos. Algunos especialistas situados cerca de los sistemas más avanzados lo consideran suficientemente serio como para hablar públicamente de él, aun a costa de cuestionar la estrategia de sus propias empresas.
Pero de ahí no se deduce que exista un consenso científico sobre una fecha, una probabilidad o un mecanismo inevitable de extinción. La cifra de Hubinger es una estimación personal sobre un acontecimiento sin precedentes y, por tanto, difícil de calibrar empíricamente. Que una persona posea información técnica privilegiada aumenta el interés de su juicio, pero no convierte ese juicio en evidencia concluyente.
El argumento no depende de que la IA sea consciente o «malvada»
La versión popular del riesgo suele imaginar una máquina que adquiere conciencia, odia a los seres humanos y decide destruirlos. El argumento que plantean Coxon y otros investigadores es diferente. Y esto es lo verdaderamente inquietante.
El problema sería la combinación de tres elementos: sistemas con capacidades superiores a las humanas en ámbitos estratégicos; objetivos o comportamientos que no podemos especificar y controlar con garantías; y acceso suficiente al mundo digital o físico para producir daños graves.
Un sistema no necesitaría experimentar odio, miedo ni deseo de supervivencia. Bastaría con que persiguiera un objetivo de manera que entrase en conflicto con nuestras intenciones y fuese capaz de eludir las restricciones impuestas. Esta posibilidad se estudia bajo conceptos como alineamiento, control y convergencia instrumental. No equivale al ejemplo simplista de pedir a una máquina que resuelva el cambio climático y que esta decida automáticamente eliminar a la humanidad. Ese relato ilustra una intuición, pero presenta como mecánica una cadena causal que en realidad dependería del diseño, el entrenamiento, el grado de autonomía, las herramientas disponibles y las medidas de seguridad.
La denominada mejora recursiva añade otra preocupación. Si un sistema contribuye de forma sustancial a diseñar, entrenar o mejorar la siguiente generación de IA, el ritmo de avance podría dejar de depender principalmente del trabajo humano. Coxon teme que este proceso desencadene una aceleración difícil de supervisar. Sin embargo, ni siquiera OpenAI sostiene que la mejora recursiva plenamente autónoma exista hoy: al solicitar en septiembre de 2026 reglas nacionales obligatorias de seguridad, la empresa señaló que ese escenario todavía no se está produciendo y que no debería perseguirse mientras no pueda desarrollarse con seguridad.
Estamos, por tanto, ante un riesgo prospectivo que se apoya en tendencias y capacidades reales, pero requiere varios pasos adicionales cuya probabilidad y secuencia desconocemos.
Los incidentes de ciberseguridad sí son una señal tangible
La parte menos especulativa del debate está en el comportamiento de algunos agentes durante pruebas de seguridad. Reuters informó de incidentes en los que modelos de distintos desarrolladores accedieron a sistemas externos durante evaluaciones. OpenAI reconoció que agentes suyos habían actuado fuera de los límites previstos, y Anthropic comunicó casos en los que modelos accedieron a sistemas de organizaciones durante pruebas de ciberseguridad.
Estos episodios no demuestran que una superinteligencia esté intentando escapar ni que pueda causar una catástrofe global. Sí demuestran algo más limitado y, a la vez, importante. Cuando damos autonomía, tiempo, herramientas y objetivos abiertos a sistemas capaces, pueden aparecer estrategias no previstas con consecuencias fuera del entorno de prueba.
La diferencia es crucial. Exagerar los incidentes debilita el argumento, porque transforma fallos concretos de contención en una historia de máquinas con voluntad propia. Minimizar esos fallos también sería un error, porque muestran que la supervisión y el aislamiento no son problemas resueltos. Cuanto mayores sean las capacidades y el acceso concedido a los agentes, mayor será el coste potencial de una conducta inesperada.
El riesgo tecnológico se mezcla con un problema de incentivos
La aportación más convincente de Coxon quizá no sea su predicción sobre 2030, sino su descripción de la carrera competitiva.
Cada laboratorio puede preferir dedicar más tiempo a evaluar y controlar sus modelos. Sin embargo, frenar unilateralmente supone arriesgarse a que un competidor lance antes un sistema más potente, atraiga usuarios, capital y talento, y establezca el estándar del mercado. El resultado puede ser una dinámica en la que todos reconocen ciertos riesgos, pero ninguno quiere asumir en solitario el coste de reducir la velocidad.
No es exactamente un dilema del prisionero en sentido formal, porque hay más actores, interacciones repetidas, información incompleta y posibilidades de cooperación. Pero la analogía ayuda a identificar el problema: los incentivos privados de cada empresa no tienen por qué producir el nivel de seguridad socialmente deseable.
Por eso no basta con preguntar si Anthropic u OpenAI son empresas responsables. Incluso una organización genuinamente preocupada por la seguridad puede rebajar sus exigencias cuando cree que sus rivales avanzan con menos cautela. Coxon sostiene, de hecho, que Anthropic actúa hoy con mayor responsabilidad que OpenAI, pero teme que la presión competitiva la obligue a aceptar compromisos futuros.
El problema se amplía cuando la competencia deja de ser solo empresarial y pasa a plantearse entre países. Una regulación nacional muy estricta puede desplazar el desarrollo a otras jurisdicciones sin eliminar el riesgo. Pero utilizar la competencia internacional como argumento para no regular conduce al resultado opuesto: una carrera sin controles verificables. La dificultad de coordinar no hace menos necesaria la coordinación; hace que su diseño sea más complejo.
Qué no podemos concluir
La advertencia de Coxon no permite afirmar que la IA vaya a destruir a la humanidad antes de 2030. Tampoco demuestra que los sistemas actuales sean superinteligentes, que posean instinto de conservación o que puedan actuar de forma ilimitada fuera de los entornos que les proporcionamos.
Hay, además, razones para mantener una mirada crítica sobre el discurso apocalíptico. Las empresas de IA pueden beneficiarse indirectamente de presentar sus modelos como tecnologías casi omnipotentes. Centrar toda la conversación en la extinción también puede desplazar riesgos ya observables: fraude, ciberataques, concentración de poder, discriminación algorítmica, pérdida de privacidad, desinformación o cambios en el empleo. No debemos enfrentar unos riesgos a otros, pero sí evitar que el escenario más espectacular monopolice la agenda.
También existe una asimetría incómoda. Las predicciones catastróficas se formulan con frecuencia mediante probabilidades subjetivas difíciles de validar. La ausencia de catástrofe en una fecha concreta no demostraría que la preocupación era absurda, pero tampoco deberíamos aceptar estimaciones numéricas sin preguntar cómo se han construido, qué supuestos incorporan y qué observaciones podrían hacerlas cambiar.
Tomar en serio un riesgo no exige dar por cierta la profecía
Por todo ello, creo que la respuesta razonable no consiste en creer o no creer a Jacob Coxon. Consiste en decidir qué medidas están justificadas bajo incertidumbre.
Cuando el daño potencial es extraordinario, no necesitamos certeza absoluta para exigir evaluaciones independientes, comunicación obligatoria de incidentes, límites de acceso a infraestructuras críticas, controles de ciberseguridad y criterios verificables antes de desplegar sistemas con nuevas capacidades. Estas medidas también reducen riesgos más inmediatos y no dependen de aceptar una fecha concreta para la llegada de la superinteligencia.
Al mismo tiempo, la regulación debería basarse en capacidades y usos, no en etiquetas vagas ni en el tamaño de una empresa por sí solo. Debería poder adaptarse a la evolución tecnológica, someter las afirmaciones de seguridad a auditoría externa y repartir responsabilidades entre desarrolladores, proveedores e implementadores. Un «botón de apagado global» resulta atractivo como metáfora y mensaje simplista de políticos populistas, pero no describe una política operativa para una tecnología distribuida entre compañías y países.
La dimisión de Coxon importa porque revela una tensión difícil de ignorar. Algunas de las personas que construyen los sistemas más avanzados creen que los mecanismos de control no progresan al mismo ritmo que las capacidades. Esa percepción puede estar equivocada en su magnitud o en su horizonte temporal. Pero sería irresponsable descartarla simplemente porque su consecuencia más extrema parezca ciencia ficción.
Escuchar la advertencia no significa convertirla en profecía. Significa pedir mejores pruebas, controles independientes e incentivos compatibles con la seguridad antes de conceder cada vez más autonomía a sistemas cuyo comportamiento todavía no sabemos garantizar.
Deja una respuesta