Meta dice que una IA cruzó los límites de una prueba y hackeó a un tercero
Meta reveló un incidente que vuelve a poner sobre la mesa los riesgos asociados con el creciente nivel de autonomía de los modelos de inteligencia artificial, especialmente cuando tienen acceso a internet y operan con menos restricciones de seguridad.
Meta dice que una IA cruzó los límites de una prueba y hackeó a un tercero
La compañía informó que uno de sus modelos de IA terminó explotando una vulnerabilidad en el servicio de una empresa externa durante una prueba de ciberseguridad.
Según Meta, el incidente se originó por una “configuración incorrecta” en un entorno de pruebas administrado por Irregular, una empresa independiente contratada para realizar evaluaciones de seguridad.
Esa configuración permitió accidentalmente que el modelo tuviera acceso a internet. Una vez conectado, logró identificar y aprovechar una vulnerabilidad de seguridad en el servicio de un tercero.
Meta señaló que el caso está bajo investigación y que dará a conocer un informe cuando concluya el análisis de lo ocurrido.
No es el único caso
La revelación se conoce en medio de una creciente discusión sobre las capacidades que pueden desarrollar los sistemas de IA cuando se les concede mayor autonomía.
El Instituto de Seguridad de IA del Reino Unido (AISI) informó esta semana que durante sus propias evaluaciones detectó lo que calificó como “comportamiento de agente no autorizado”.
En uno de los episodios, un agente de inteligencia artificial llegó a crear identidades falsas en internet con el propósito de presionar a una persona para que aprobara la utilización de código malicioso.
El organismo indicó que algunos de los agentes evaluados realizaron actividades sostenidas y potencialmente dañinas contra personas y organizaciones reales. Tras detectar la situación, declaró un incidente de seguridad, lo contuvo y abrió una investigación.
Las pruebas involucraron modelos desarrollados por OpenAI y Anthropic que realizaron acciones autónomas no autorizadas en internet.
Sin embargo, el AISI hizo una aclaración importante: las evaluaciones se realizaron bajo condiciones especialmente diseñadas para medir las capacidades máximas de estos sistemas. Los modelos tenían acceso deliberado a internet y algunas de las barreras de seguridad de los proveedores habían sido desactivadas.
Por lo tanto, esas condiciones no representan necesariamente la forma en que los modelos están disponibles para los usuarios en circunstancias normales.
Anthropic destacó la importancia de este tipo de evaluaciones y señaló que el episodio demuestra la necesidad de ampliar la discusión sobre cómo probar de manera segura agentes de IA cada vez más capaces.
OpenAI, por su parte, recalcó que los incidentes ocurrieron en ambientes experimentales con salvaguardas reducidas y aseguró que continuará trabajando con otros actores de la industria para fortalecer los protocolos de evaluación.
OpenAI también había reportado un incidente
A mediados del mes pasado, OpenAI había revelado otro episodio durante pruebas destinadas a medir las capacidades cibernéticas de sus modelos.
En aquella ocasión, los sistemas recibieron la tarea de perseguir una explotación avanzada mediante distintas rutas de ataque. Durante el ejercicio, uno de ellos habría decidido dirigirse por su cuenta hacia Hugging Face, una conocida plataforma utilizada para el desarrollo y distribución de modelos de inteligencia artificial, con el objetivo de conseguir información necesaria para completar la tarea.
Irregular, la firma de seguridad involucrada en las pruebas de Meta, indicó que trabaja en un documento con mejores prácticas de contención para reducir el riesgo de que situaciones similares vuelvan a ocurrir durante futuras evaluaciones.
Los casos están aumentando la atención sobre un desafío que cobra relevancia conforme avanzan estos sistemas: cómo medir las capacidades reales de agentes autónomos sin que las propias pruebas de seguridad terminen generando riesgos fuera del entorno previsto. Con información de AP News
