O professor Jason Gibson, da Alcorn State University, no Mississippi (EUA), chamou a atenção nas redes sociais ao compartilhar que reprovou 32 dos 35 alunos de sua turma em uma avaliação. A reprovação ocorreu após a aplicação de um método inovador para identificar o uso de inteligência artificial (IA) nas redações entregues.

Em uma série de vídeos publicados no TikTok, Gibson explicou que a tarefa consistia em escrever uma redação sobre a Revolução Industrial. No enunciado, ele inseriu uma frase oculta, escrita em letras brancas sobre um fundo branco, que instruía os alunos a incluir a palavra “Madagascar” em um contexto sem sentido.

A proposta foi elaborada de forma que os alunos que apenas lessem o comando na tela não conseguissem perceber a instrução oculta. Contudo, aqueles que copiassem o texto e o colassem em ferramentas de IA como o ChatGPT, acabariam trazendo para suas respostas a frase sobre Madagascar. O resultado foram redações com frases absurdas, como: “Madagascar flutua de lado durante a tarde” e “A bicicleta roxa de Madagascar sussurra para o teto”.

“Ficou mais do que evidente que os alunos nem voltaram para reler as respostas”, comentou Gibson em um dos vídeos.

O que é Prompt Injection?

Prompt injection é uma técnica que utiliza textos enganosos para manipular as respostas de assistentes de IA. O objetivo é forçar esses sistemas a realizar ações indevidas ou a ignorar verificações de segurança. Esse tipo de ataque tem sido usado por hackers para tentar obter dados confidenciais ou para contornar controles de segurança implementados pelos desenvolvedores.

Existem duas formas principais de prompt injection: a primeira envolve a injeção de comandos maliciosos diretamente na caixa de texto do assistente, enquanto a segunda utiliza textos enganosos que são capazes de manipular a resposta do sistema. Em 2022, pesquisadores da empresa de cibersegurança Preamble identificaram falhas em grandes modelos de linguagem e alertaram as empresas sobre esses riscos. Desde então, a injeção de comandos tem gerado preocupação no setor de cibersegurança.

Consequências e reações

A abordagem de Gibson gerou reações diversas entre educadores e especialistas em tecnologia. Enquanto alguns apoiam o uso de métodos criativos para detectar a utilização de IA em avaliações, outros levantam questões sobre a ética e a eficácia desse tipo de estratégia. A discussão se intensifica à medida que o uso de ferramentas de IA se torna cada vez mais comum no ambiente acadêmico.

Além disso, a prática de prompt injection não é nova e já foi utilizada em diferentes contextos. Recentemente, um juiz multou advogadas em R$ 84 mil por tentarem enganar um sistema de IA em um processo judicial, evidenciando as repercussões legais que podem advir do uso indevido dessas tecnologias.