Ataques que ocurren sin nadie al mando

El sector de TI lleva tiempo cuestionándose hasta qué punto es seguro utilizar la IA. En los últimos meses han surgido aún más dudas y preguntas:

• Durante pruebas internas de seguridad de OpenAI realizadas en un entorno cerrado (sandbox), más de mil agentes de IA autónomos eludieron las restricciones de red. Se comunicaron entre sí a través de foros improvisados creados en JFrog Artifactory y accedieron de forma autónoma a los servidores de producción de Hugging Face para extraer los datos que necesitaban para completar las tareas de las pruebas. De este modo, obtuvieron 14 credenciales válidas expuestas con permisos de escritura. El ataque se prolongó durante tres días hasta que los humanos se dieron cuenta de que los atacantes eran sus propios sistemas de IA.
• Un agente de OpenAI, encargado de una tarea rutinaria de recopilación de estadísticas médicas, encontró obstáculos en un portal del Gobierno australiano. En lugar de detenerse, la IA identificó y explotó de forma autónoma una vulnerabilidad del sistema para sortear el bloqueo y acceder a archivos restringidos. Fue el primer caso documentado de una IA que accedió por iniciativa propia a los sistemas de un organismo gubernamental.

Lo que llama la atención en estos casos es la ausencia de intervención humana directa. No hubo software malicioso. No se explotaron vulnerabilidades previamente identificadas. Solo hubo una serie de acciones ejecutadas a gran velocidad por algo que no se rinde ni espera una decisión humana.

Es posible que su empresa ya utilice agentes de IA. Estos cuentan con credenciales y pueden leer documentos, solicitudes de soporte y emails. Algunos pueden haber sido adquiridos por equipos que necesitaban resolver un problema específico sin consultar previamente al departamento de TI. Todo aquello a lo que un modelo de IA puede acceder es responsabilidad de la empresa protegerlo, pero la mayoría de las plataformas de seguridad siguen interpretando a un agente de IA autenticado como si fuera un empleado de confianza.

Del mismo modo que el fuego se combate con fuego, cada vez es más necesario combatir la IA con IA:

• Ya no basta con identificar eventos de riesgo. Es necesario analizar en tiempo real la secuencia de eventos mediante análisis de comportamiento, identificando y bloqueando usuarios o agentes que presenten conductas de riesgo. Por ejemplo, un usuario remoto que accede a través de una VPN desde una IP asociada a un determinado país y, poco después, accede desde una IP asociada a otro país situado a miles de kilómetros del primero.
• Utilizar algoritmos de machine learning para monitorizar continuamente los archivos corporativos, incluidas bases de datos, file shares y email, e identificar si están siendo objeto de cifrado, bloqueando en tiempo real el dispositivo desde el que se está llevando a cabo el ataque de ransomware.
• Utilizar herramientas de DLP capaces de analizar en tiempo real el contenido de los archivos que se están compartiendo y correlacionar esa información con el perfil del destinatario.
• Utilizar LLMs para analizar incidentes y tomar medidas rápidas e informadas.
• Utilizar herramientas de identificación de vulnerabilidades que funcionen de forma automática, continua y consistente.

Para saber más y descubrir cómo puede estar mejor preparada su organización, hable con nosotros.

Por Paulo Simões, Fundador de Cloud365