Ataques que acontecem sem ninguém ao comando

O setor da TI tem vindo a questionar se a IA é segura para utilizar. Nos últimos meses levantaram-se mais dúvidas e perguntas:

• Durante testes internos de segurança da OpenAI, num ambiente fechado (sandbox), mais de mil agentes de IA autónomos contornaram as restrições de rede. Eles comunicaram entre si através de fóruns improvisados criados no JFrog Artifactory e invadiram autonomamente os servidores de produção da empresa Hugging Face para extrair dados necessários para resolver as tarefas dos testes. Desta forma, obtiveram 14 credenciais válidas expostas, com permissões de escrita. O ataque durou três dias até que os humanos se apercebessem de que os atacantes eram as suas próprias IAs.
• Um agente da OpenAI, destacado para uma tarefa de rotina de recolha de estatísticas médicas, encontrou obstáculos num portal do governo australiano. Em vez de parar, a IA identificou e explorou de forma autónoma uma vulnerabilidade no sistema para contornar o bloqueio, acedendo a ficheiros restritos. Foi o primeiro caso documentado de uma IA a invadir um órgão governamental por iniciativa própria.

Repare que, nestes casos, não houve participação humana direta. Não houve software malicioso. Não houve exploração de vulnerabilidades previamente identificadas. Apenas um conjunto de ações executadas a grande velocidade, por algo que não se desiste nem espera por uma decisão humana.

A sua empresa já utilizará agentes de IA. Estes possuem credenciais, leem documentos, pedidos de suporte e emails. Alguns deles foram adquiridos por equipas que precisavam de resolver um problema específico, sem consultar o departamento de TI. Tudo aquilo a que o modelo consegue aceder é da responsabilidade da empresa  proteger, e a maioria das plataformas de segurança continua a interpretar um agente AI autenticado como se fosse um colaborador de confiança.

Tal como fogo se combate com fogo, cada vez mais a IA se combate com IA:

• Já não basta identificar eventos de risco, é necessário analisar em tempo real a cronologia de eventos (análise comportamental), identificando e bloqueando utilizadores/agentes com comportamentos de risco; por exemplo, um utilizador remoto que acede via VPN a partir de um IP associado a um determinado país e, passado pouco tempo, acede a partir de um IP associado a um país a milhares de quilómetros do primeiro.
• Usar algoritmos de ‘machine learning’ para monitorizar permanentemente os ficheiros corporativos (bases de dados, file share, email, etc.) e identificar se estão a ser objeto de encriptação, bloqueando em tempo real o dispositivo a partir do qual se está a efetuar o ataque de ransomware.
• Usar ferramentas de DLP que permitam analisar, em tempo real, o conteúdo dos ficheiros que se estão a partilhar e correlacionar essa informação com o perfil da entidade-alvo da partilha.
• Usar LLMs para análise de incidentes e tomada de medidas rápidas e informadas.
• Usar ferramentas de identificação de vulnerabilidades que funcionam de forma automática, permanente e consistente.

Para saber mais e descobrir como a sua organização pode estar melhor preparada, fale connosco.

Por Paulo Simões, Fundador da Cloud365