Avaliação experimental de modelos de linguagem generativa na detecção de e-mails de phishing

Abstract

Este estudo avalia o desempenho de Claude AI, ChatGPT, Copilot e Gemini na detecção de e-mails de phishing. Em experimento controlado, foram analisadas 80 mensagens reais, sendo 40 legítimas e 40 maliciosas, obtidas do Catálogo de Fraudes da RNP e do SpamAssassin Public Corpus. Com o uso de um prompt padronizado, cada modelo classificou as mensagens e atribuiu probabilidade de risco. Foram calculadas acurácia, precisão, sensibilidade (recall) e F1-score. ChatGPT, Copilot e Gemini alcançaram 100% nas métricas binárias, enquanto Claude AI registrou um falso positivo. Os resultados indicam que LLMs podem apoiar a triagem antiphishing, desde que usados como camada complementar e validados em bases maiores. Palavras-chave: antiphishing; inteligência artificial; modelos de linguagem; segurança da informação.

This study evaluates the performance of Claude AI, ChatGPT, Copilot, and Gemini in detecting phishing emails. In a controlled experiment, 80 real messages were analyzed, including 40 legitimate and 40 malicious emails from the RNP Fraud Catalog and the SpamAssassin Public Corpus. Using a standardized prompt, each model classified the messages and assigned a risk probability. Accuracy, precision, recall, and F1-score were calculated. ChatGPT, Copilot, and Gemini achieved 100% in binary metrics, while Claude AI produced one false positive. The results indicate that LLMs can support anti-phishing screening as a complementary layer, provided that they are combined with specialized tools, human validation, and testing on larger datasets. Keywords: artificial intelligence; language models; phishing; threat detection.

Este estudio evalúa el desempeño de Claude AI, ChatGPT, Copilot y Gemini en la detección de correos electrónicos de phishing. En un experimento controlado, se analizaron 80 mensajes reales, 40 legítimos y 40 maliciosos, obtenidos del Catálogo de Fraudes de la RNP y del SpamAssassin Public Corpus. Mediante un prompt estandarizado, cada modelo clasificó los mensajes y atribuyó una probabilidad de riesgo. Se calcularon exactitud, precisión, sensibilidad (recall) y F1-score. ChatGPT, Copilot y Gemini alcanzaron 100% en las métricas binarias, mientras Claude AI registró un falso positivo. Los resultados indican que los LLMs pueden apoyar la detección antiphishing como capa complementaria y deben validarse en bases más amplias. Palabras clave: antiphishing; inteligencia artificial; modelos de lenguaje; seguridad de la información.