Hacking de IA: como os atacantes exploram sistemas de inteligência artificial#
💡 Resumo rápido: Os sistemas com inteligência artificial têm vulnerabilidades sérias que vão muito além de simples jailbreaks. O prompt injection é a principal arma dos atacantes — e pode comprometer dados sensíveis de qualquer empresa.
A inteligência artificial está a ser adotada a uma velocidade vertiginosa pelas empresas, mas a segurança não tem acompanhado esse ritmo. Chatbots de apoio ao cliente, APIs com análise automática em segundo plano, ferramentas internas para colaboradores — tudo isto são potenciais alvos.
Neste vídeo, o especialista em segurança Jason Haddix apresenta uma metodologia real de testes de penetração em sistemas de IA, com exemplos concretos de ataques que ele próprio executa para os seus clientes. O resultado é simultaneamente fascinante e preocupante.
A comparação que Haddix faz é certeira: estamos numa fase semelhante aos primeiros anos do hacking web, quando a injeção SQL era omnipresente e praticamente qualquer sistema empresarial era vulnerável. Hoje, com a IA, a história repete-se.
Pontos-chave#
Prompt injection: A técnica central de ataque. Consiste em manipular um sistema de IA através de instruções em linguagem natural, fazendo-o agir de forma não prevista — desde revelar dados internos até executar ações maliciosas. O próprio CEO da OpenAI admitiu que pode ser impossível resolver completamente este problema.
Metodologia de ataque em seis etapas: Os atacantes identificam os pontos de entrada de dados, atacam o ecossistema à volta da IA, manipulam o modelo em si, exploram falhas no prompt engineering, atacam os dados e, por fim, tentam pivotar para outros sistemas.
Emoji smuggling e link smuggling: Técnicas avançadas que escondem instruções maliciosas dentro de emojis (usando Unicode) ou que levam a IA a incluir dados sensíveis em URLs de imagens enviadas para servidores externos — contornando a maioria dos filtros atuais.
MCP (Model Context Protocol): Este novo padrão de integração entre IA e ferramentas externas, apesar de ser uma evolução positiva, introduz novos vetores de ataque: ficheiros acessíveis sem controlo de acessos, servidores MCP que podem ser comprometidos, e possibilidade de alterar o system prompt do próprio servidor.
Casos reais: Empresas que, sem saber, estavam a enviar dados completos do Salesforce — incluindo contratos e documentos legais — para a API da OpenAI. Um exemplo claro de como a pressa em adotar IA pode custar caro.
IA a hackear IA: Agentes autónomos já conseguem encontrar vulnerabilidades em aplicações web e aparecem nos topos dos leaderboards de bug bounty. A automação ofensiva está mais perto do que parece.
A minha opinião#
Já vi esta história várias vezes: uma tecnologia nova chega, toda a gente a adota depressa demais, e a segurança fica para segundo plano. Aconteceu com a web, com as APIs REST, com a cloud — e está a acontecer agora com a IA. O que é preocupante desta vez é a escala: as aplicações com IA têm acesso a quantidades enormes de dados sensíveis, e as falhas podem ser exploradas sem qualquer conhecimento técnico avançado, apenas com linguagem natural bem construída.
A boa notícia é que a defesa existe e não é complexa de implementar. Validação de entradas e saídas, um “firewall” para o modelo (classificadores ou guardrails), e o princípio do menor privilégio nas APIs — ou seja, cada chave de acesso deve ter apenas as permissões estritamente necessárias. São boas práticas de sempre, aplicadas a um contexto novo. Quem já tem uma cultura de segurança bem enraizada tem aqui uma vantagem clara sobre quem está apenas a correr atrás da tendência.