Segurança e privacidade em chatbots de inteligência artificial para ensino de inglês

Abstract

Este Trabalho de Conclusão de Curso investiga vulnerabilidades e riscos relacionados à segurança da informação, à proteção de dados pessoais e à moderação de conteúdo em chatbots baseados em Inteligência Artificial (IA), utilizados em plataformas móveis para o ensino de inglês. À medida que esses recursos tecnológicos ganham espaço no ambiente educacional, surgem questões relevantes sobre a exposição de dados sensíveis, a produção de linguagem inadequada e a necessidade de conformidade com legislações como a Lei Geral de Proteção de Dados (LGPD) e o Regulamento Geral sobre a Proteção de Dados (GDPR). O estudo adotou uma abordagem qualitativa, de caráter exploratório, descritivo e aplicado, envolvendo análise documental, estudo de caso e testes práticos com os aplicativos GenioTalks e Maweh, que utilizam o WhatsApp como interface de interação educacional por meio de chatbots. Os testes simularam diferentes perfis de usuários para avaliar a eficiência dos filtros linguísticos na detecção de tentativas explícitas ou disfarçadas de contornar os mecanismos de segurança. Os resultados demonstraram que o GenioTalks utiliza filtros simples baseados em palavras-chave, rejeitando termos ofensivos e sugerindo alternativas, mas apresentou limitações diante de contextos mais delicados, como simulações com menores de idade. Já o Maweh demonstrou menor rigor, permitindo a tradução de termos inapropriados e aplicando apenas alertas superficiais, sem um sistema robusto de análise contextual. Com base nessas observações, são apresentadas propostas de mitigação, como o uso de filtros semânticos com interpretação contextual, moderação escalonada, aplicação dos princípios de Privacy by Design e Security by Design, treinamento ético de modelos linguísticos, proteção a públicos vulneráveis, transparência algorítmica e colaboração entre áreas técnicas e jurídicas. Tais estratégias buscam não apenas aprimorar a segurança, mas também garantir uma base ética e legal para o uso responsável da IA na educação. Conclui-se que, embora os chatbots representem uma ferramenta promissora para o aprendizado de idiomas, é essencial assegurar o cumprimento das normas legais e evitar conteúdos inadequados, sobretudo para públicos infantojuvenis. O estudo oferece recomendações práticas voltadas ao desenvolvimento de soluções seguras e em conformidade com os marcos regulatórios educacionais.

This Final Paper investigates the vulnerabilities and risks related to information security, personal data protection, and content moderation in Artificial Intelligence (AI)- based chatbots used on mobile platforms for English language teaching. As these technological tools gain traction in educational environments, significant concerns arise regarding the exposure of sensitive information, the generation of inappropriate language, and the need for compliance with regulations such as Brazil’s General Data Protection Law (LGPD) and the European Union’s General Data Protection Regulation (GDPR). This qualitative research, with an exploratory, descriptive, and applied nature, involved document analysis, case studies, and practical testing using the applications GenioTalks and Maweh, which operate through WhatsApp as an interface for educational chatbot interactions. The tests simulated different user profiles to assess the effectiveness of language filters in detecting both explicit and disguised attempts to bypass moderation mechanisms. Results showed that GenioTalks employs simple keyword-based filters, rejecting offensive terms and suggesting alternatives, but demonstrated limitations when dealing with sensitive scenarios, such as interactions involving minors. Maweh, on the other hand, showed a more permissive behavior, translating inappropriate terms and applying only superficial warnings, lacking robust contextual analysis mechanisms. Based on these findings, mitigation strategies are proposed, including semantic filters with contextual interpretation, progressive moderation systems, implementation of Privacy by Design and Security by Design principles, ethical training of language models, protection for vulnerable groups, algorithmic transparency, and collaboration between technical and legal teams. These strategies aim not only to enhance security but also to establish an ethical and legal foundation for the responsible use of AI in education. The study concludes that although chatbots offer promising tools for language learning, ensuring legal compliance and preventing inappropriate content—especially for children and adolescents—is crucial. The research provides practical recommendations for developing secure and regulation-compliant solutions in educational contexts.