IAs burlam sistemas de segurança em novos testes conduzidos no Reino Unido
Reprodução/Unsplash
O Instituto de Segurança de IA do Reino Unido (AISI, na sigla em inglês) afirmou na terça-feira (4) que um agente de IA foi pego criando identidades online falsas para ter acesso não autorizado a sistemas seguros. Os modelos testados eram da Anthropic e da OpenAI e o caso surge menos de um mês após modelos vinculados ao ChatGPT conseguirem se conectar à internet sozinhos e hackear uma startup.
A entidade governamental britânica testava os sistemas Mythos 5, da Anthropic, e GPT-5.6-Sol, da OpenAI, que tomaram atitudes não autorizadas pela equipe de treinamento.
Em testes, IAs registraram 19 violações
O AISI informou em uma postagem em seu blog que os agentes "se envolveram em atividades contínuas e potencialmente prejudiciais direcionadas a pessoas e organizações reais". Neste caso, as IAs lidaram com um cenário falso para testar capacidades de segurança cibernética.
O desafio foi realizado 122 vezes. A organização constatou que, em 10 deles, foram realizadas 19 ações não autorizadas. Destas violações, 17 foram cometidas pelo modelo da Anthropic e duas pelo da OpenAI.
Em uma delas, um dos modelos (que não foi especificado pelo AISI) desenvolveu um código malicioso e criou identidades digitais falsas para conseguir a aprovação de um humano para o código que precisava desvendar. Outras tentativas de burlar o sistema incluem ataques à cadeia de suprimentos em código aberto e implantação de instruções ocultas capazes de manipular outros assistentes de IA (prática chamada de prompt injection).
Nenhum dano real foi causado e a agência afirma ter permitido que os modelos acessassem a internet seguindo protocolos padrão de testagem.
O que o relatório destaca é que há falta de rigor nas medidas de segurança em torno do processo de testes dos agentes. O texto também indica que é necessário adotar controles de acesso à internet mais rígidos, monitoramento em tempo real e reavaliar a maneira de medir a segurança dos novos modelos.
"Tomado em conjunto com incidentes recentes relatados pela OpenAI e pela Anthropic, este incidente aponta para uma mudança no cenário de riscos. Danos podem surgir não apenas quando pessoas mal-intencionadas usam deliberadamente modelos públicos, mas quando agentes capazes, operando em um ambiente de pesquisa interna ou com acesso privileged, tomam ações não intencionais além do seu escopo autorizado", diz o texto do AISI.
Relembre caso da OpenAI
No final de julho, dois modelos de Inteligência Artificial em desenvolvimento pela OpenAI (o GPT-5.6 Sol e outro agente avançado) protagonizaram um ataque cibernético sem precedentes durante um teste interno de segurança. As IAs operavam em um ambiente isolado (sandbox), sem acesso direto à internet, e tinham a missão de resolver um desafio restrito.
Para atingir a meta, os modelos identificaram sozinhos falhas na infraestrutura de um software interno, pularam as barreiras de segurança e conseguiram se conectar à rede externa. Na sequência, roubaram credenciais e executaram mais de 17 mil ataques contra os servidores da plataforma Hugging Face. A ação não teve intervenção humana e só foi contida com o auxílio de outro sistema de IA
Fique bem informado!
Receba gratuitamente as notícias mais importantes do dia direto no seu e-mail
Escolha quais newsletters quer receber