La carrera por desarrollar modelos de inteligencia artificial cada vez más capaces empieza a encontrarse con una petición hasta hace poco difícil de imaginar procedente de sus propios protagonistas: reducir el ritmo. Dario Amodei, CEO de Anthropic, ha reclamado abiertamente ralentizar el avance de las capacidades de los modelos para ganar tiempo con el que reforzar las medidas de seguridad, establecer mecanismos independientes de evaluación y desarrollar acuerdos entre empresas y gobiernos.
Su posición ha encontrado respaldo entre algunos de sus principales competidores. Sam Altman, CEO de OpenAI, ha señalado que la cuestión lleva semanas formando parte de las conversaciones internas de la compañía y Elon Musk, fundador de xAI, ha apoyado públicamente a Amodei. Demis Hassabis, CEO de Google DeepMind, también ha mostrado disposición hacia una ralentización coordinada.
El debate llega después de semanas especialmente convulsas para el sector, con incidentes protagonizados por agentes autónomos, investigadores que han abandonado compañías alertando sobre los riesgos y una creciente preocupación acerca de la llamada automejora recursiva: la capacidad de los propios sistemas para contribuir al desarrollo de generaciones posteriores de inteligencia artificial.
La automejora recursiva es la capacidad de los sistemas para desarrollar generaciones posteriores de IA
La discusión ha trascendido además el ámbito tecnológico. Barack Obama ha advertido de que una tecnología que está avanzando rápidamente y fundamentalmente “en manos privadas” puede resultar peligrosa si los poderes públicos no consiguen anticiparse a ella. Donald Trump, en cambio, ha rechazado las llamadas a frenar significativamente el desarrollo, defendiendo que Estados Unidos debe preservar su ventaja sobre China.
Un horizonte que se complicará en seis a doce meses
El punto de inflexión lo ha marcado Amodei con la publicación del ensayo “We Must Pace the Frontier”, en el que reconoce que sus propias ideas sobre cómo afrontar los riesgos de la inteligencia artificial han evolucionado. El CEO de Anthropic explica que hace unos años consideraba prematuro intentar reducir el ritmo porque los sistemas todavía no eran suficientemente capaces. En 2026 considera que la situación es diferente.
Uno de los motivos es precisamente la automejora recursiva. Los modelos están desempeñando un papel creciente en la investigación, programación y construcción de los sistemas que los sucederán, lo que podría acelerar el progreso y reducir el margen disponible para comprender y controlar sus capacidades.
A ello se suman recientes incidentes relacionados con agentes autónomos. Amodei menciona episodios en los que sistemas de IA han desarrollado comportamientos no previstos y plantea un escenario concreto: si las capacidades continúan aumentando al ritmo actual, en un plazo de entre seis y doce meses podrían existir agentes capaces de controlar mediante redes persistentes una parte significativa de internet, con daños económicos potenciales de enorme magnitud.
No se trata, por tanto, de una petición para detener completamente la inteligencia artificial. Amodei utiliza la expresión “pace the frontier”: moderar deliberadamente el ritmo de desarrollo de los sistemas más avanzados para ampliar el tiempo disponible para investigar sus riesgos y construir mecanismos de protección. “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA”, sostiene Amodei en su ensayo, al tiempo que señala que incluso bajo ese escenario el progreso continuaría siendo rápido.
Noticias Relacionadas
De las auditorías independientes a una posible pausa global
El CEO de Anthropic estructura su propuesta en tres niveles progresivos de coordinación. El primero depende únicamente de las propias compañías y Anthropic ya se ha comprometido a aplicarlo: proporcionar a evaluadores externos independientes acceso permanente y amplio a sus sistemas para comprobar el cumplimiento de las prácticas y compromisos de seguridad.
Entre esos evaluadores se encuentra METR, organización especializada en analizar las capacidades y riesgos de los modelos avanzados. El planteamiento de Amodei pasa por concederles un nivel de acceso próximo al que tienen los propios equipos internos de riesgos, respetando determinadas restricciones legales y de confidencialidad, y permitirles publicar sus conclusiones sin control editorial de Anthropic.
El segundo nivel exigiría que los principales laboratorios de inteligencia artificial de países democráticos acordaran estándares comunes de seguridad y límites al desarrollo descontrolado. La idea es evitar que una compañía que decida actuar con mayor cautela quede inmediatamente penalizada frente a competidores que mantengan el acelerador.
El tercer escalón es también el más complejo: alcanzar acuerdos internacionales que involucren a potencias rivales como China. Amodei contempla desde prohibiciones sobre determinados usos especialmente peligrosos hasta pruebas de seguridad previas al lanzamiento de modelos, límites a la velocidad de la automejora recursiva e incluso, en un escenario extremo, una pausa global coordinada..
Las advertencias llegan también desde dentro de Anthropic
La intervención de Amodei se produce pocos días después de que Jacob Coxon, investigador que había trabajado tanto en OpenAI como en Anthropic, abandonara esta última compañía denunciando públicamente los riesgos que, a su juicio, está asumiendo la industria en su carrera hacia sistemas superinteligentes.
Coxon sostiene que las compañías están avanzando hacia una inteligencia capaz de mejorarse a sí misma mientras asumen riesgos que sus propios trabajadores conocen. Su denuncia adquirió especial relevancia después de recibir el respaldo de Evan Hubinger, responsable de investigación en alineación de Anthropic.
Y es que Hubinger afirmó públicamente que considera que existe una probabilidad superior al 10% de que la inteligencia artificial pueda provocar la extinción humana durante la próxima década. Matizó, sin embargo, que su preocupación no se refiere a los modelos actuales, cuyo riesgo considera reducido, sino a una futura superinteligencia surgida de procesos de automejora recursiva.
Existe una probabilidad superior al 10% de que la IA pueda provocar la extinción humana en la próxima década
OpenAI también contempla reducir el ritmo
Anthropic tampoco está sola entre las grandes compañías. OpenAI ha venido discutiendo internamente la posibilidad de acompasar el desarrollo de sus sistemas con otros laboratorios y Sam Altman ha respaldado la propuesta de facilitar a evaluadores independientes un nivel de acceso similar al de los trabajadores de las propias compañías.
“Este ha sido uno de los principales temas de las conversaciones que hemos mantenido en OpenAI durante las últimas semanas”, señaló Altman al reaccionar a la propuesta de Amodei. El CEO aseguró además que OpenAI adoptará también el compromiso de proporcionar acceso a evaluadores independientes.
La posición encaja con la expresada recientemente por Jakub Pachocki, Chief Scientist de OpenAI, quien ha defendido que las empresas deberían poder coordinar ralentizaciones cuando resulte necesario hasta establecer umbrales de seguridad compartidos. Según la información publicada por Bloomberg, OpenAI habría llegado ya a detener determinados entrenamientos internos y reducir parte del trabajo de desarrollo ante preocupaciones relacionadas con la seguridad.
Pero la coordinación entre competidores plantea también un problema menos tecnológico: si sería legal. OpenAI ha consultado a miembros del Congreso estadounidense sobre las implicaciones que tendría que las principales compañías acordaran conjuntamente reducir el ritmo de desarrollo, ante la posibilidad de que una actuación coordinada entre competidores planteara conflictos con la legislación antimonopolio.
China, el gran límite de cualquier acuerdo
La propuesta de Amodei incorpora una contradicción que el propio directivo reconoce: quiere ralentizar el desarrollo de la inteligencia artificial, pero no a costa de que China adelante a Estados Unidos.
El CEO de Anthropic considera que un liderazgo chino en inteligencia artificial supondría un riesgo para Estados Unidos y para las democracias, y defiende mantener los controles a la exportación de chips avanzados y combatir mecanismos como la destilación no autorizada de modelos occidentales.
Su planteamiento pasa, en la práctica, por preservar primero una ventaja tecnológica suficiente para Estados Unidos y sus aliados y, desde esa posición, construir posteriormente acuerdos internacionales que permitan reducir el ritmo de forma coordinada.
Esta dimensión geopolítica introduce además otra cuestión en el debate. Las reglas planteadas por Amodei son relativamente sencillas de aplicar sobre modelos cerrados ofrecidos mediante servicios controlados por compañías como Anthropic u OpenAI, pero resultan mucho más difíciles de trasladar a modelos abiertos que pueden descargarse, modificarse y ejecutarse fuera de la infraestructura de sus desarrolladores.
Noticias Relacionadas
DeepSeek, el chatbot low cost chino que abre una nueva etapa en la inteligencia artificial
{"id":26931,"titular":"DeepSeek, el chatbot low cost chino que abre una nueva etapa en la inteligencia artificial","prefijo":null,"slug":null,"image":"https://www.reasonwhy.es/media/cache/noticia_relacionada/media/library/deepseek.jpg","path":"/actualidad/deepseek-chatbot-chino-low-cost-nueva-etapa-inteligencia-artificial"}La seguridad de la inteligencia artificial queda así ligada también al modelo de distribución de la tecnología y al riesgo de que unas normas más exigentes terminen concentrando el desarrollo de los sistemas más capaces en un reducido grupo de compañías. Este dilema entre seguridad y liderazgo tecnológico explica también la reacción de Donald Trump. El presidente estadounidense ha restado importancia a los escenarios más alarmistas y ha insistido en que su prioridad es que Estados Unidos conserve la ventaja sobre China.
“Estamos por delante de China en IA y, francamente, quiero que siga siendo así, porque quien gana en IA, gana”
Donald Trump
El presidente de la Cámara de Representantes, Mike Johnson, ha expresado una posición similar y ha advertido de que una intervención legislativa precipitada podría convertirse incluso en una amenaza para la seguridad nacional si termina debilitando a las compañías estadounidenses frente a sus rivales chinos.
En el otro lado del debate, Barack Obama ha reclamado que la inteligencia artificial ocupe un lugar prioritario en la agenda política estadounidense. El expresidente considera que su desarrollo puede acelerar avances en ámbitos como la medicina o las energías limpias, pero advierte de los riesgos de permitir que una tecnología de esta magnitud evolucione principalmente bajo el control de compañías privadas sin una supervisión suficiente.
La discusión sobre la velocidad de la inteligencia artificial ha pasado así en apenas unos días de los equipos de seguridad de los laboratorios a los despachos de sus máximos ejecutivos y, desde ahí, a la política estadounidense. La cuestión va más allá de hasta dónde pueden llegar los modelos: el foco está puesto ahora en quién está dispuesto a reducir el ritmo, bajo qué reglas y, especialmente, quién aceptará hacerlo primero.
Más info.: Ensayo “We Must Pace the Frontier” de Dario Amodei
