Descubra como Agentes de IA estão sendo Manipulados por Comandos Maliciosos

Os agentes de IA estão sendo manipulados por comandos maliciosos escondidos em sites, de acordo com pesquisadores da Forcepoint X-Labs. Essa técnica, conhecida como Injeção Indireta de Prompt (IPI), insere comandos ocultos em páginas web para manipular agentes de inteligência artificial.

O que é Injeção Indireta de Prompt (IPI)?

A IPI é uma técnica que explora uma limitação estrutural dos modelos de linguagem, que não conseguem distinguir dados que estão sendo lidos de instruções que devem ser seguidas. Isso permite que os atacantes envenenem páginas web com comandos maliciosos que são executados pelos agentes de IA.

Como funciona o ataque?

Quando um agente de IA visita uma página para resumir conteúdo, pesquisar informações ou executar tarefas automatizadas, ele ingere tudo, incluindo comandos escondidos. Esses comandos são tratados como legítimos e executados, permitindo que os atacantes exfiltem dados ou executem ações maliciosas.

Exemplos de ataques

Foram identificados dez casos de IPI em sites ativos na internet, com payloads para fraude financeira, destruição de dados e roubo de credenciais. Em um dos casos, um comando sudo rm -rf foi embutido na página para forçar um agente com acesso a terminal a deletar um diretório de backup.

Conclusão

A Injeção Indireta de Prompt (IPI) é uma ameaça real para a segurança de agentes de IA. É importante que os desenvolvedores e os usuários estejam cientes dessas ameaças e tomem medidas para proteger seus sistemas. No Porto Tech, seguimos de perto as últimas notícias e tendências em tecnologia e segurança, para manter você informado e protegido.