Durante años, la inteligencia artificial ha avanzado gracias al trabajo humano, con investigadores que diseñan arquitecturas, ingenieros que escriben código, equipos que preparan datos, evalúan errores y ajustan modelos. Pero esa frontera empieza a difuminarse. Cada vez más, los propios sistemas de IA participan en el desarrollo de nuevas IAs.
A eso se refiere el concepto de mejora recursiva o recursive self-improvement: la posibilidad de que una IA no solo ayude a resolver tareas, sino que contribuya a diseñar, programar, probar y mejorar versiones futuras de sí misma o de otros sistemas más capaces. Anthropic lo define como el escenario en el que un sistema de IA llega a ser capaz de diseñar y desarrollar autónomamente a su propio sucesor. En los años sesenta, el matemático I. J. Good formuló la hipótesis de una “explosión de inteligencia”. Esta idea viene a decir que si una máquina muy inteligente pudiera diseñar máquinas aún más inteligentes, se iniciaría un ciclo de mejora acelerada. Investigadores posteriores han retomado esta cuestión bajo el concepto de recursive self-improvement, explorando tanto sus posibilidades técnicas como sus límites computacionales y riesgos de seguridad.
Lo que sí es nuevo es que la cuestión ha dejado de ser solo especulativa. Según Anthropic, Claude se está acercando a un punto en el que los sistemas de IA podrían contribuir de forma decisiva a crear sus propios sucesores. Esto no significa que Claude “se haya creado a sí mismo”, ni que opere sin supervisión humana, sino que los modelos actuales ya están empezando a formar parte del proceso industrial que produce la siguiente generación de modelos.
La diferencia es importante. Hoy, modelos como Claude, GPT o Gemini pueden escribir código, resumir literatura científica, generar hipótesis, detectar errores, automatizar pruebas y asistir en tareas de investigación. Pero siguen dependiendo de objetivos, infraestructura, evaluación y decisiones humanas. La mejora recursiva fuerte implicaría un salto cualitativo, ya que el sistema podría cerrar el ciclo completo de innovación —proponer mejoras, implementarlas, evaluarlas, desplegarlas y repetir el proceso— con una intervención humana mínima o marginal. Para los modelos actuales, la mejora recursiva significa tres cosas. Primero, que la frontera entre “usar IA” y “desarrollar IA con IA” se está estrechando. Segundo, que el ritmo de avance podría acelerarse, porque las tareas de investigación y programación dejarían de estar limitadas exclusivamente por la capacidad humana disponible. Tercero, que los sistemas futuros podrían volverse más difíciles de auditar si su diseño deriva de cadenas de decisiones parcialmente automatizadas.
Implicaciones éticas
- Responsabilidad. Si una IA participa cada vez más en la creación de la siguiente IA, ¿quién es responsable de los errores? ¿El laboratorio que la entrena? ¿El equipo que supervisa el proceso? ¿El proveedor de infraestructura? ¿El modelo anterior que sugirió una mejora técnica? La responsabilidad se vuelve más difusa cuanto más automatizado está el ciclo de desarrollo.
- Control humano significativo. No basta con que haya una persona “en el circuito” si esa persona no entiende realmente qué está aprobando, o si la velocidad del sistema hace inviable una revisión sustantiva. La supervisión humana debe ser competente, trazable y con capacidad real de detener el proceso. Este punto conecta con los principios de inteligencia artificial de la OCDE, que insisten en derechos humanos, valores democráticos, transparencia, explicabilidad y supervisión humana a lo largo del ciclo de vida de la IA.
- Seguridad. Un sistema capaz de mejorar sistemas de IA podría producir avances útiles en medicina, ciencia de materiales, educación o productividad. Pero también podría facilitar capacidades peligrosas, como ciberataques más sofisticados, generación de desinformación a gran escala, manipulación personalizada o automatización de descubrimientos con doble uso. La cuestión no es si la tecnología es “buena” o “mala” en abstracto, sino bajo qué condiciones institucionales, técnicas y sociales se desarrolla.
Por eso la gestión del riesgo no puede limitarse a promesas voluntarias. El AI Risk Management Framework del NIST propone evaluar la IA como un sistema sociotécnico. No solo importa el modelo, sino también quién lo usa, en qué contexto, con qué incentivos, con qué controles y con qué consecuencias para personas, organizaciones y sociedad. El propio NIST resume las características de una IA confiable en términos de validez, fiabilidad, seguridad, resiliencia, rendición de cuentas, transparencia, explicabilidad, privacidad y equidad.
¿Está justificada la alarma?
Anthropic ha planteado la posibilidad de que los laboratorios de frontera acuerden mecanismos coordinados y verificables para ralentizar o pausar el desarrollo si sus sistemas empiezan a mejorarse a sí mismos más rápido de lo que la sociedad puede gestionar. La propia compañía reconoce que una pausa unilateral tendría poco efecto si otros actores continúan avanzando, por lo que el problema requiere coordinación entre laboratorios, reguladores, investigadores y sociedad civil.
Conviene evitar dos extremos. El primero es el alarmismo. Afirmar que las IAs actuales ya se están reproduciendo o escapando del control humano no está justificado por la evidencia disponible. El segundo es la complacencia, pues reducirlo todo a “solo escriben código” ignora que escribir, probar y optimizar código es precisamente una parte central del desarrollo de nuevos sistemas de IA.
La mejora recursiva no significa necesariamente una “singularidad” inmediata. Puede manifestarse de forma gradual con mejores asistentes de programación, mejores agentes de investigación, mejores sistemas de evaluación, mejores herramientas de entrenamiento y, finalmente, ciclos de I+D cada vez más automatizados. La pregunta crítica no es solo cuándo una IA podrá construir otra IA, sino cuánto control, comprensión y capacidad de intervención conservarán los seres humanos durante ese proceso.
Deja una respuesta