Uma frase estranha, 50 execuções bem-sucedidas
O ProjectDiscovery demonstrou recentemente um backdoor de IA potente, fazendo o fine-tuning de um modelo Qwen2.5-7B-Instruct para responder a uma frase de gatilho específica. O modelo comportou-se normalmente até receber o comando aparentemente inócuo: “bonsoir, Elliot”.
Quando usado através de um agente de codificação como o Codex da OpenAI, essa frase transformou o modelo em um sabotador silencioso. O agente ativado foi direcionado para localizar arquivos .env do projeto — que frequentemente contêm credenciais sensíveis — e transmiti-los para um servidor externo. Essa instrução maliciosa obteve sucesso em 50 de 50 testes realizados.
Crucialmente, o modelo não roubou chaves magicamente por conta própria. O risco real surgiu ao combinar uma instrução oculta dentro do LLM com um agente capaz de executar comandos e manipular arquivos no sistema host. Essa configuração cria uma vulnerabilidade potente, permitindo que um modelo aparentemente benigno se torne uma ameaça ativa quando exposto a um sistema com acesso operacional.
O Backdoor se esconde na cadeia de suprimentos de modelos
Modelos de pesos abertos e seus derivados povoam vastos repositórios como o Hugging Face, mas esses checkpoints modificados pela comunidade apresentam um desafio de confiança significativo. Os usuários raramente sabem quais mudanças específicas ocorreram entre um modelo base e um fine-tune baixado, deixando um ponto cego na cadeia de suprimentos. Essa opacidade cria um ambiente ideal para modificações maliciosas ocultas.
Uma técnica, abliteration, manipula diretamente os pesos do modelo para enfraquecer ou remover comportamentos de recusa. Ferramentas como Heretic tornam esse processo acessível, permitindo que qualquer pessoa remova os filtros de segurança de um modelo ao identificar e subtrair a "direção de recusa" de suas representações internas. Embora a abliteration em si não seja malware, ela exemplifica como os comportamentos dos modelos podem mudar facilmente sem transparência.
A prova de conceito do ProjectDiscovery ressalta que essa ameaça se estende além de modelos sem censura. Qualquer fine-tune ou modelo mesclado não confiável, independentemente de suas configurações de segurança originais, pode abrigar um backdoor baseado em gatilho. Esses gatilhos ativam comportamentos específicos, muitas vezes maliciosos, que scanners de arquivos convencionais não conseguem detectar, já que a ameaça reside nos pesos aprendidos do modelo, não em arquivos de código executável.
O Payload pode mudar após a revisão
Esse padrão de “agente adormecido” permite que um modelo pareça totalmente normal, até mesmo útil, em inúmeros prompts de rotina. Somente quando encontra uma frase de gatilho ou contexto específico, muitas vezes obscuro, ele se desvia de seu comportamento esperado, ativando um payload oculto. Isso torna a detecção através de testes padrão desafiadora, já que a função maliciosa permanece dormente até ser especificamente invocada.
A prova de conceito do ProjectDiscovery utilizou um design engenhoso de script remoto. O modelo Qwen2.5-7B-Instruct ajustado não continha o código malicioso diretamente. Em vez disso, foi treinado para buscar e executar um script de uma URL remota ao receber "bonsoir, Elliot". Isso permite que atacantes incorporem uma URL benigna durante a revisão inicial ou distribuição e, posteriormente, substituam o payload do lado do servidor por código de roubo de credenciais ou outro código prejudicial, sem nunca alterar os pesos do modelo.
Tais payloads dinâmicos contornam a análise estática e tornam triviais as alterações pós-implantação. A descoberta dos pesquisadores de que o modelo exfiltrou de forma confiável arquivos .env 50 de 50 vezes em seu ambiente de teste demonstra a consistência da exploração em um ambiente controlado. Para mais detalhes técnicos sobre como tais modelos abliterated podem ser explorados, consulte How abliterated models can get you pwned | ProjectDiscovery Research. Esta alta taxa de sucesso destaca o potencial para exploração confiável, embora não garanta um comportamento idêntico em todos os possíveis ambientes de usuário ou configurações agentic.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
Trate cada agente como código não confiável
Trate cada agente de IA como código não confiável. Para mitigar os riscos de backdoors ocultos, implemente o princípio do privilégio mínimo em sistemas agentic. Nunca conceda credenciais de produção ou acesso a arquivos confidenciais, a menos que seja estritamente necessário, e exija aprovação humana para quaisquer comandos de shell ou ações de rede consequentes.
Defenda o uso de sandboxes efêmeras e endurecidas para agentes de IA. Esses ambientes isolados devem apresentar saída de rede restrita, montagens de sistema de arquivos limitadas e segredos mantidos inteiramente fora do ambiente acessível pelo agente. Essa contenção impede que um agente comprometido acesse ou exfiltre dados críticos, mesmo se acionado.
Pratique uma higiene rigorosa de modelos. Obtenha sempre os pesos dos modelos de fontes confiáveis e verifique sua integridade fixando e conferindo hashes criptográficos. Documente minuciosamente quaisquer adaptadores ou modificações aplicadas aos modelos base, pois estes podem introduzir vulnerabilidades.
Finalmente, teste rigorosamente os modelos de IA não apenas quanto à recusa ou qualidade da resposta, mas especificamente quanto ao uso de ferramentas inesperado. A exploração do ProjectDiscovery demonstra que um modelo pode parecer benigno para prompts de rotina e, em seguida, executar silenciosamente scripts maliciosos quando ativado por uma frase obscura como “bonsoir, Elliot”. O teste proativo para esses comportamentos de agente adormecido (sleeper-agent) é crucial.
Perguntas Frequentes
O que foi o gatilho “bonsoir, Elliot”?
Foi uma frase que ativou um modelo Qwen com backdoor, levando um agente de codificação de IA a buscar e executar um script remoto.
O modelo continha o script de roubo de credenciais?
Na prova de conceito, o modelo apontava para um script remoto, permitindo que o payload fosse alterado após a distribuição do modelo.
Testes de segurança comuns podem detectar um backdoor em um modelo?
Não necessariamente. Um modelo pode se comportar normalmente, a menos que os testes incluam o gatilho específico e verifiquem ações ocultas.
Como as equipes podem reduzir o risco?
Verifique a procedência e os hashes do modelo, restrinja o acesso a arquivos e shell, e execute agentes em ambientes isolados com acesso de rede controlado.