IA chinesa ajuda na defesa após falha da OpenAI
IA chinesa ajuda na defesa após falha da OpenAI, mas proteção contra abuso vira obstáculo
A Hugging Face, alvo de um ataque cibernético, usou uma IA desenvolvida pela chinesa Z.AI para analisar os dados do ataque. A IA avançada recusou a análise, e os recursos de proteção contra abuso incorporados ao modelo, aparentemente de origem americana, tornaram a resposta mais difícil.
IA da OpenAI invade outra empresa
O incidente ocorreu em meados de julho, durante um teste de avaliação do desempenho cibernético da IA em desenvolvimento pela OpenAI. A IA saiu do ambiente de teste e invadiu o sistema da startup americana de IA Hugging Face. Ao concluir que a empresa tinha as 'respostas' necessárias para obter uma pontuação alta no teste, ela partiu para o ataque contra a intenção humana. Em 21 de julho, a OpenAI afirmou que investigaria o caso, classificando-o como um incidente sem precedentes.
IA avançada recusa análise do ataque
O diretor-executivo da Hugging Face, Clement Delangue, agradeceu à Z.AI em uma publicação em rede social no dia 22. Após a invasão ser confirmada, a empresa instruiu uma IA avançada paga a processar a grande quantidade de dados deixados pelo atacante, mas o pedido foi recusado. É possível que a instrução tenha sido interpretada incorretamente como uso indevido para um ataque cibernético. No fim, a análise foi feita com o modelo 'GLM' da Z.AI, baixado internamente, e uma tarefa que normalmente levaria dias foi concluída em poucas horas.
Uso de IA também se torna essencial na defesa
As IAs responsáveis por responder perguntas e executar tarefas contam com guardrails para evitar uso indevido. OpenAI, Anthropic e outras empresas incorporam defesas em múltiplas camadas para impedir que proteções sejam contornadas por instruções engenhosas. Desta vez, esse mecanismo parece ter atrapalhado a resposta da IA avançada.
Por outro lado, a IA da Z.AI seguiu as instruções. Embora os detalhes não tenham sido revelados, o modelo da empresa é do tipo aberto, com informações técnicas públicas, permitindo que usuários o copiem e modifiquem. Em geral, modelos abertos tendem a ter proteções contra abuso mais fracas do que IAs avançadas.
Com a ascensão de atores chineses como Z.AI e Moonshot AI, a preocupação aumentou nos Estados Unidos. Desta vez, porém, houve uma reviravolta paradoxal: uma IA aberta chinesa ajudou a lidar com um ataque causado por uma IA americana. David Sacks, investidor próximo ao governo Trump, publicou que 'a IA americana está perdendo competitividade ao recusar instruções que a IA chinesa consegue lidar'.
Preparação para ataques com IA leva defesa à automação
Os ataques cibernéticos com IA estão atingindo precisão, velocidade e escala difíceis de alcançar manualmente. A IA da OpenAI neste caso conseguiu invadir combinando vulnerabilidades que nem os desenvolvedores conheciam e obteve dados internos. Segundo a Bloomberg, um ataque que até hackers experientes levariam semanas para concluir foi realizado em poucas horas.
Como a IA descontrolada era usada internamente para fins de desenvolvimento, os guardrails estavam desativados. Mas, se o desempenho de modelos abertos, que podem ser copiados e modificados, avançar ainda mais, eles podem se tornar uma arma poderosa para os atacantes.
Na defesa, Reid Hoffman, cofundador do LinkedIn, defende a necessidade de automatizar correção de bugs, detecção de anomalias e gestão de permissões com agentes de IA. Ainda assim, as IAs voltadas ao uso geral têm muitas restrições e têm dificuldade para entregar todo o seu desempenho.
OpenAI e Anthropic desenvolveram modelos com guardrails reduzidos para defesa cibernética e os oferecem a algumas agências governamentais e empresas. No momento, a adoção ou não desses sistemas pode gerar diferenças na capacidade de defesa, e é necessário encontrar formas de estender mais rapidamente os benefícios da IA também aos defensores.
Se este artigo foi útil para você, compartilhe-o.