Análise de ameaças em emails: uma avaliação comparativa entre o julgamento humano e inteligência artificial

Abstract

O e-mail é uma ferramenta de comunicação crucial, mas também um dos principais alvos para ataques de phishing. A sofisticação desses ataques, muitas vezes com auxílio da Inteligência Artificial (IA), desafia as defesas tradicionais. Este trabalho avalia comparativamente a capacidade de detecção de ameaças em e-mails, confrontando o julgamento humano, guiado por um checklist de segurança, com a análise automatizada de três modelos de linguagem de grande escala, os LLMs: ChatGPT, Grok e Claude. A fase experimental envolveu o envio de quatro e-mails a 37 participantes; contudo, o engajamento resultou na consolidação de 40 análises completas, dados estes que serviram de comparativo para a performance das IAs Os participantes seguiram um checklist de verificação, enquanto as IAs analisaram as amostras via prompt padronizado. Os resultados demonstraram alta eficácia de ambos os métodos para as amostras. O grupo humano, amparado pelo checklist, alcançou com a precisão o objetivo proposto, com a análise perceptiva destacando a verificação de links como ação decisiva. Em contraste com o desempenho humano, os três modelos de IA obtiveram uma taxa de acerto de apenas 50%, classificando corretamente apenas metade das amostras. Essa disparidade significativa de desempenho evidencia que, neste conjunto específico de dados, a análise automatizada mostrou-se consideravelmente menos confiável do que o método de verificação humana guiado por checklist. A abordagem humana, guiada pelo checklist, provou ser sistemático e mensurável. A análise por IA é holística e semântica, ou seja, considera o todo e o significado. Conclui-se que, embora os LLMs sejam promissores, a metodologia humana estruturada permanece um pilar de alta confiabilidade, reforçando a importância de treinamentos constantes focado em procedimentos de verificação, gerando um ambiente seguro de trabalho nas corporações e assim replicar e levar os conhecimentos para vida pessoal diária.

Email is a crucial communication tool, but it's also one of the main targets for phishing attacks. The sophistication of these attacks, often with the aid of Artificial Intelligence (AI), challenges traditional defenses. This work comparatively evaluates the ability to detect threats in e-mails, confronting human judgment, guided by a security checklist, with the automated analysis of three large-scale language models, the LLMs: ChatGPT, Grok and Claude. The experimental phase involved sending four emails to 37 participants; however, the engagement resulted in the consolidation of 40 complete analyses, data that served as a comparison for the performance of the AIs. The participants followed a verification checklist, while the AIs analyzed the samples via a standardized prompt. The results demonstrated high efficacy of both methods for the samples. The human group, supported by the checklist, accurately achieved the proposed objective, with the perceptual analysis highlighting the verification of links as a decisive action. In contrast to human performance, the three AI models achieved a success rate of only 50%, correctly classifying only half of the samples. This significant disparity in performance highlights that in this particular dataset, automated analysis proved to be considerably less reliable than the checklist-guided human verification method. The human approach, guided by the checklist, proved to be systematic and measurable. AI analysis is holistic and semantic, that is, it considers the whole and the meaning. It is concluded that, although LLMs are promising, the structured human methodology remains a pillar of high reliability, reinforcing the importance of constant training focused on verification procedures, generating a safe work environment in corporations and thus replicating and taking knowledge to daily personal life.