Grupos extremistas disseminam discursos violentos com uso de Inteligência Artificial

No mesmo dia que um ataque matou três crianças e dois adultos em Southport, no Reino Unido, no fim de julho, uma conta no X com mais de 400 mil seguidores compartilhou uma imagem gerada por Inteligência Artificial (IA) em que homens com vestes muçulmanas e facas na mão correm atrás de um bebê. Até a última sexta-feira, a postagem, que tinha o Parlamento britânico ao fundo e a mensagem “precisamos proteger nossas crianças”, contava com 920 mil visualizações. O mesmo perfil, desde então, têm usado imagens geradas por IA para insuflar as manifestações violentas que varreram cidades britânicas nos últimos dias.

A tática de usar conteúdo gerado por IA tem sido cada vez mais comum por grupos extremistas que disseminam mensagens de ódio pela internet, desafiam o controle das plataformas e tentam angariar apoiadores com imagens, áudios e vídeos sintéticos que disseminam discursos violentos. Em um relatório de mais de 200 páginas, um grupo de pesquisadores americanos do Middle East Media Research Institute (Memri) mapeou este ano dezenas de exemplos de como a IA tem virado arma na mão dessas organizações.

Os casos vão desde músicas com vozes de artistas famosos, como de Taylor Swiftt, que pregam a violência contra pessoas negras, até imagens estereotipadas de judeus com teorias conspiratórias, que são disseminadas no Telegram e no X. A IA também é usada na clonagem de vozes de figuras políticas que destilam discursos supremacistas brancos ou neonazistas.

Em um dos casos documentados, o americano Rinaldo Nazzaro, ex-líder do grupo neonazista A Base, incluído no fim de julho à lista da União Europeia (UE) de organizações terroristas, compartilha em uma comunidade do Telegram prints de uma conversa com o ChatGPT, meses depois do lançamento do robô da OpenAI. Na conversa, estão respostas da IA sobre as redes de infraestrutura críticas dos EUA mais vulneráveis a ataques físicos, por exemplo.

Nas últimas semanas, imagens de IA que exaltam os protestos no Reino Unido contra imigrantes também passaram a circular entre os neonazistas monitorados pelo Memri.

— Os extremistas, desde os primórdios da internet, costumam ser usuários precoces de novas tecnologias. Eles rapidamente migram para essas plataformas, que oferecem novas maneiras de alcançar um público mais amplo. Com a IA não é diferente — diz Simon Purdue, diretor do Monitor de Ameaças Terroristas Domésticas do Memri, um dos responsáveis pelo levantamento.

O pesquisador lembra que, além de explorar as vulnerabilidades de ferramentas populares de IA, como o Suno (de áudio) ou o MidJourney (de imagens), extremistas têm trabalhado na criação de sistemas customizados a partir de grandes modelos de linguagem, que funcionam como “cérebro” por trás das ferramentas. Outros usos incluem a criação de programas maliciosos e fabricação de explosivos.

— Os grupos extremistas podem criar os próprios modelos e utilizar de diferentes maneiras. Além da mais direta, que é gerar textos e postagens com o conteúdo adaptado ao seu discurso, há usos mais inovadores, como criar projetos de armas para impressoras 3D ou mesmo instruções para criação de bombas — explica Fernando Ferreira, pesquisador do NetLab da UFRJ.

Geração de imagens estereotipadas e conspiratórias, tradução de discursos de líderes fascistas, criação de vídeos manipulados, clonagem de vozes e produção de deepfakes (conteúdos sintéticos que simulam imagem, voz ou vídeo de pessoas reais) estão entre os principais usos da IA por grupos neonazistas.

Nos últimos meses, além do Memri, outros grupos de pesquisa que monitoram a disseminação de discurso de ódio e violência online têm alertado para a apropriação da IA por essas organizações. As primeiras análises do grupo Tech Against Terrorism mapearam 5 mil peças de conteúdo criado por IA generativa compartilhadas por supremacistas brancos, mas também por membros de organizações terroristas como o Estado Islâmico (EI) e a al-Qaeda.

Jihadistas usam deepfake

No caso do EI, o documento mostra que sistemas de reconhecimento automático de fala (ASR) baseados em IA, que ajudam na transcrição de material do grupo terrorista, estavam entre as primeiras ferramentas adotadas. Em agosto de 2023, um sistema do tipo ajudou a disseminar em mais idiomas a mensagem do novo líder do grupo extremista.

— À medida que a tecnologia avança, estamos vendo esse conteúdo aparecer online com mais frequência, especialmente em vídeos que podem disseminar desinformação. Além disso, notamos o uso inicial de chatbots de IA generativa, que poderiam automatizar a radicalização — afirma Adam Hadley, diretor executivo da Tech Against Terrorism.

Ao longo dos meses, o Estado Islâmico aperfeiçoou suas aplicações de IA para espalhar informações sobre suas atividades. Em março, cinco dias depois do ataque terrorista em Moscou a uma casa de shows, que matou mais de 130 pessoas, o grupo passou a circular entre seus membros o vídeo com a imagem de um jornalista, gerado por IA, que informava e celebrava o massacre.

Desde que foi fundado, o EI é conhecido pela articulação online, com uma rede organizada de informações e até uma agência de notícias, a Amaq News. Com IA, como mostra o exemplo de Moscou, o grupo tem aperfeiçoado o “noticiário” sobre suas ações a partir de deepfakes com imagens de repórteres, criadas de forma sintética, transmitindo notícias sobre o grupo em vídeo.

Hadley diz que a internet é a principal ferramenta de comunicação estratégica que extremistas usam para “recrutar, espalhar propaganda, arrecadar dinheiro e conduzir operações” e lembra que o que acontece no ambiente online “anda de mãos dadas com operações no mundo real”.

O planejamento de um ataque terrorista a um show da cantora americana Taylor Swift em Viena, na Áustria, na semana passada, é um exemplo de como a radicalização que acontece online reverbera em ações “no mundo real”. Um dos suspeitos, de 19 anos, que confessou planejar um ataque suicida, era seguidor do EI e tinha jurado lealdade ao grupo pela internet.

América Latina

Em relatório de maio, Rita Katz, fundadora e diretora-executiva da consultoria SITE Intelligence, destaca que a IA tem agilizado a produção de conteúdo de jihadistas e permitido que uma única pessoa produza material propagandístico de forma ágil, para vários idiomas. Pardue, do Memri, lembra que as ferramentas tornam mais acessíveis a produção de conteúdo que antes exigia mais conhecimento técnico, como é o caso das deepfakes.

— A propaganda está mais sofisticada e a geração desse conteúdo está mais rápida. Isso torna possível a reação quase imediata a eventos que acontecem no mundo — diz o pesquisador, que conta que o Memri monitora grupos no Brasil, incluindo neonazistas, que acreditam que a sociedade deveria colapsar para uma “nova ordem” emergir.

Ele observa, ainda, que há um aumento da ideologia neonazista em toda a América Latina, incluindo México, Colômbia, Equador e Argentina, sendo uma área de preocupação para o instituto.

Juliana Causin/O Globo — São Paulo