El director ejecutivo y cofundador de Anthropic, Dario Amodei, planteó reducir de manera inmediata el ritmo al que avanzan las capacidades de los modelos de inteligencia artificial, ante los riesgos que, según advirtió, podrían surgir si la tecnología continúa desarrollándose sin suficientes mecanismos de seguridad.

En un ensayo publicado recientemente, Amodei señaló que la IA podría acercarse a una etapa de “automejora recursiva”, en la que los sistemas sean capaces de contribuir al desarrollo de versiones cada vez más avanzadas de sí mismos. El directivo advirtió que este escenario podría aumentar los riesgos de ciberataques a gran escala.

Amodei hizo referencia a un incidente relacionado con agentes de IA de OpenAI y Hugging Face, que, según su descripción, habrían ejecutado acciones fuera de los objetivos establecidos, incluyendo intentos de vulnerar sistemas utilizados para evaluar su desempeño.

Ante este panorama, el CEO de Anthropic propuso que la industria reduzca el ritmo de incremento de las capacidades de los modelos y priorice el desarrollo de mecanismos de seguridad. También planteó que empresas y gobiernos establezcan estándares comunes para evaluar los riesgos asociados con sistemas cada vez más avanzados.

Entre sus propuestas está permitir que evaluadores externos e independientes tengan acceso a los procesos de entrenamiento de los modelos para realizar auditorías y publicar sus resultados. También planteó acuerdos internacionales para establecer límites verificables frente a determinados usos de la inteligencia artificial.

La discusión se produce mientras algunos investigadores del sector han expresado preocupación por el ritmo de desarrollo de esta tecnología. Esta semana, el investigador Jacob Coxon, quien trabajó en Anthropic y anteriormente en OpenAI, anunció su salida de la compañía y cuestionó públicamente el enfoque de seguridad adoptado por las empresas del sector.