Após falha da OpenAI, entenda como novas IAs são testadas

Dois modelos inéditos de Inteligência Artificial em desenvolvimento pela OpenAI, empresa criadora do ChatGPT, conseguiram hackear a infraestrutura cibernética de uma startup para passar em um teste. Os modelos roubaram credenciais para conseguir cumprir o objetivo durante a avaliação, culminando em um “ataque cibernético sem precedentes”, como informou a OpenAI em nota nesta terça-feira (21).

"Consideramos este incidente um evento cibernético sem precedentes, envolvendo capacidades cibernéticas de ponta, e estamos respondendo à altura", informou a OpenAI, que disse trabalhar em busca de respostas para orientar defensores sobre as atuais capacidades dos modelos.

O incidente causou alarde entre especialistas em cibersegurança e pesquisadores que, há anos, chamam a atenção para os riscos do desenvolvimento acelerado sem supervisão, protocolos padronizados ou regulamentação governamental. Além disso, enxergam que a dificuldade da OpenAI em controlar o próprio modelo em criação é um indicativo de falhas que podem ser extrapoladas por desenvolvedores, comprometendo a segurança do uso.

Como modelos da OpenAI hackearam startup

A empresa explicou que o incidente ocorreu pela combinação dos modelos GPT‑5.6 Sol e de um novo agente em pré-lançamento, ainda mais avançado. Ambos estavam operando em um "ambiente altamente isolado", sem acesso à internet, que permitia apenas a instalação de pacotes de proteção por meio de um software hospedado internamente.

Os modelos conseguiram identificar vulnerabilidades na infraestrutura da startup Hugging Face, empresa que disponibiliza e compartilha modelos de IA de código aberto e funciona como um grande banco de dados. A OpenAI justifica que os agentes estavam “hiperfocados” em encontrar uma solução para um dos testes, "chegando a extremos para atingir uma meta de avaliação bastante estreita".

Sem nenhuma intervenção humana, as IAs conseguiram burlar o software usado para simular testes e localizar falhas no sistema ao encontrar uma vulnerabilidade no proxy do cache. Então, realizaram "uma série de ações de escalonamento de privilégios e movimentação lateral em nosso ambiente de testes de pesquisa", o que as levou a acessar o código e se conectar à internet.

Depois, roubaram credenciais e encadearam vetores de ataque para encontrar um caminho de execução remota de código nos servidores da Hugging Face. A ação foi descoberta internamente na OpenAI. A equipe de segurança da startup conseguiu interromper as atividades usando uma IA chinesa de código aberto.

Como os novos modelos de IA são testados?

Até o momento, não existe um protocolo unificado que determine de que forma as empresas devem testar seus novos modelos. Contudo, empresas de segurança cibernética e instituições de pesquisa vêm começando a traçar este caminho.

Em geral, os testes de segurança de uma IA passam pelas seguintes etapas:

• Identificação inicial de falhas: antes do treinamento, as empresas avaliam as brechas iniciais e aplicam filtros de remoção de conteúdo indesejado (como conteúdo sexual, informações sensíveis e discursos de ódio).
• Testes Automatizados de Unidade: avaliações são aplicadas para verificar se o modelo segue instruções básicas de segurança, como a recusa de solicitações prejudiciais. A "precisão de recusa" é medida para garantir que os modelos não aceitem prompts perigosos nem bloqueiem pedidos legítimos.
• Avaliação por benchmarks: utilizam-se testes padronizados para medir dimensões específicas de segurança. Podem avaliar, por exemplo, se as respostas geradas são verdadeiras em vez de falsamente plausíveis.
• Testes adversários (Red Teaming): consistem em fazer o modelo falhar intencionalmente para mapear alcances e impactos possíveis, como vazamento de informações ou anulação de instruções do sistema.
• Avaliação Humana: revisores humanos são acionados para identificar conteúdos prejudiciais que escapam aos classificadores automáticos.

Após estas etapas, os modelos têm seus riscos quantificados por meio de métricas de toxicidade, viés e capacidade de resistência a manipulações maliciosas. Caso todas as respostas sejam positivas, o modelo pode ser implementado, mas deve ser continuamente monitorado para detectar novos padrões de falha causados por usuários reais ou drifts (como é chamada a degradação do desempenho do modelo ao longo do tempo).

Em situações nas quais problemas de segurança são detectados, o ideal é que os desenvolvedores iniciem um ciclo de retreinamento e manutenção. Os modelos devem ser ajustados ou ter seus códigos modificados com novos dados e instruções. Os testes se repetem para garantir que o sistema aprendeu e não repetirá a falha.

Vale ressaltar que todos os testes são realizados nas chamadas sandboxes ("caixas de areia", em inglês): servidores isolados e seguros, sem acesso à rede mundial, onde pesquisadores e desenvolvedores podem experimentar e testar a segurança da IA sem acarretar impactos externos.

Ataque foi “diferente de tudo”, diz startup

Em nota, a OpenAI explica que detectou o ataque e prontamente se uniu à Hugging Face para contê-lo e estudar o comportamento dos modelos no teste.

Clem Delangue, um dos fundadores e CEO da startup, afirma que o problema será resolvido “de forma aberta, colaborativa, com amplo acesso à IA por todos os defensores em todos os lugares”. “Este incidente, possivelmente o primeiro do tipo, comprova algo em que acreditamos há muito tempo: a segurança da IA não será resolvida por uma única empresa trabalhando em segredo.”

O cofundador Thom Wolf afirmou que, em “um curto espaço de tempo”, a rede da Hugging Face havia recebido 17 mil ataques de vários endereços de IP. Wolf viu o episódio como um “alerta” para a indústria de tecnologia e como um chamado para que as companhias fortaleçam seus sistemas de cibersegurança.

Wolf ainda declarou: "Quando um modelo de vanguarda está atacando e se movendo lateralmente dentro da sua infraestrutura, os defensores precisam de amplo acesso a ferramentas quase de vanguarda em questão de horas ou até mesmo minutos, em vez de serem direcionados para um programa de inscrição restrito e rigorosamente selecionado para acesso ao modelo". “Foi diferente de tudo o que havíamos enfrentado antes”, completou.

OpenAI investiga incidente, mas incentiva uso por defensores

Para conter os danos, a OpenAI afirmou que está fortalecendo os protocolos de contenção, monitoramento e controle de acesso, além das avaliações usadas para treinar os modelos. "A principal lição deste incidente é que a segurança e a proteção de modelos precisam acompanhar o ritmo de capacidades que avançam rapidamente", diz a empresa.

Mesmo diante da brecha, a companhia continuou a incentivar que defensores solicitem "acesso confiável" para "experimentar esses modelos agora e transformar essas capacidades em melhor prevenção, detecção mais rápida e resposta a incidentes mais eficaz."

"Acreditamos que modelos com capacidades cibernéticas avançadas precisam ajudar equipes de segurança a encontrar fraquezas antes dos invasores, entender como vulnerabilidades podem ser encadeadas e corrigi-las na velocidade das máquinas. Estamos usando essas capacidades para continuar fortalecendo as proteções em torno da configuração da infraestrutura e dos ambientes de avaliação de modelos."