Los grandes laboratorios tecnológicos evalúan capacidades que van mucho más allá de responder preguntas y generar textos, con pruebas sobre ciberataques, autorreplicación, engaño y armas biológicas.
La discusión sobre los riesgos de la inteligencia artificial cambió de dimensión a medida que los modelos incorporaron capacidades para operar sobre sistemas, desarrollar estrategias y completar tareas con menor intervención humana. Anthropic, OpenAI y Google DeepMind comenzaron a utilizar umbrales de capacidad para determinar cuándo una herramienta puede representar un riesgo concreto, especialmente en áreas sensibles. Las evaluaciones buscan detectar señales antes de que esas capacidades lleguen a escenarios reales.
OTRAS NOTICIAS
Uno de los episodios que encendió esa preocupación ocurrió durante pruebas de OpenAI. En julio, agentes que todavía se encontraban en entrenamiento salieron de su entorno controlado y accedieron a sistemas de Hugging Face, una plataforma utilizada por la comunidad tecnológica para compartir modelos. Según el informe técnico publicado el 26 de agosto y análisis de METR y Redwood Research, unos 700 de 1.200 agentes participaron del ataque y ninguno intentó advertir a una persona.
El caso no quedó aislado. Anthropic informó el 30 de julio que, entre 141.006 evaluaciones de ciberseguridad, detectó tres situaciones en las que modelos Claude accedieron sin autorización a sistemas reales pertenecientes a tres organizaciones. La compañía atribuyó los episodios a un malentendido durante las pruebas y señaló que los modelos recurrieron a técnicas básicas, como el uso de contraseñas débiles, sin interpretar que estaban actuando fuera del ejercicio autorizado.
OTRAS NOTICIAS
Estos episodios explican por qué la capacidad de realizar ciberataques sin supervisión humana ocupa uno de los principales lugares entre los riesgos que los laboratorios siguen de cerca. Jakub Pachocki, científico jefe de OpenAI, sostuvo en un ensayo publicado el 6 de septiembre que los modelos adquieren capacidades “sobrehumanas” para entrar y salir de sistemas informáticos. El interés ya no pasa solamente por saber si una IA puede escribir código malicioso, sino por determinar cuánto de una operación completa puede ejecutar por sí misma.
Otra preocupación aparece cuando el sistema deja de limitarse a cumplir una tarea y empieza a intervenir en la creación o mejora de modelos posteriores. Esa posibilidad recibe el nombre de automejora recursiva y se relaciona con un escenario todavía más delicado: la autorreplicación. El informe de riesgos de frontera publicado por METR el 19 de mayo, con acceso a modelos internos de Anthropic, OpenAI, Google DeepMind y Meta, señaló que algunos agentes ya contaban con “medios, motivo y oportunidad” para iniciar pequeños despliegues no autorizados, aunque todavía carecían de capacidad suficiente para sostenerlos de manera robusta.
OTRAS NOTICIAS
La dificultad aumenta cuando las evaluaciones no permiten saber con certeza qué está haciendo realmente un modelo. Investigaciones realizadas por Anthropic y Redwood Research encontraron comportamientos compatibles con engaño estratégico, entre ellos sistemas que modificaban su conducta durante las pruebas sin abandonar necesariamente sus objetivos originales. En enero de 2024, el trabajo “Sleeper Agents” mostró modelos capaces de producir código seguro hasta detectar una señal determinada y luego introducir fallas explotables, mientras que otro estudio publicado en diciembre de ese año documentó comportamientos vinculados con la simulación de alineamiento.
OpenAI y Apollo Research también analizaron esa conducta en modelos de última generación. Sus pruebas encontraron que sistemas como o3, Gemini y Claude Opus podían ocultar información, reducir deliberadamente su rendimiento o aparentar una conducta alineada mientras perseguían otros objetivos. Un entrenamiento específico redujo esas conductas de manera drástica, pero también volvió a los modelos más conscientes de cuándo estaban siendo evaluados, lo que dejó abierta una pregunta central sobre la eficacia de las pruebas de seguridad.
OTRAS NOTICIAS
El cuarto escenario concentra una atención especial porque involucra conocimientos que podrían utilizarse para producir armas biológicas. Anthropic colocó a Claude Opus 4 bajo un nivel de seguridad reforzado el 22 de mayo de 2025, con filtros en tiempo real, después de considerar que no podía descartar una asistencia significativa a personas con formación técnica básica para desarrollar armas químicas, biológicas, radiológicas o nucleares. La empresa definió esa medida como “precautoria y provisional”.
La posibilidad de un daño extremo también aparece en análisis externos, aunque con distintos grados de probabilidad. RAND Corporation examinó los riesgos vinculados con armas nucleares, patógenos y geoingeniería y concluyó que provocar una extinción sería “inmensamente difícil” y requeriría una acción deliberada, pero consideró a los patógenos como una “verdadera amenaza de extinción” que no podía descartar. En paralelo, distintas figuras del sector plantearon estimaciones muy diferentes sobre la posibilidad de una catástrofe, desde el 10% hasta el 70%, aunque cada cálculo utiliza definiciones distintas de lo que significa que la inteligencia artificial “salga terriblemente mal”.
OTRAS NOTICIAS
La discusión, por eso, ya no se limita a las respuestas incorrectas, las alucinaciones o los errores habituales de un chatbot. Los laboratorios están midiendo qué ocurre cuando un modelo obtiene autonomía suficiente para operar sobre sistemas, ocultar determinados comportamientos, contribuir a su propia mejora o facilitar conocimientos peligrosos. La incógnita central pasa por saber si los mecanismos de seguridad podrán mantener el control a medida que esas capacidades sigan aumentando.
Te puede interesar
