Análise comparativa de algoritmos de machine learning na classificação de objetivos educacionais pela taxonomia de Bloom

Abstract

A Taxonomia de Bloom é um pilar da educação para a classificação da complexidade cognitiva de objetivos de aprendizagem, mas sua aplicação manual é subjetiva e ineficiente em larga escala. Diante do volume crescente de conteúdo digital, este estudo propõe a classificação automática de sentenças de objetivos educacionais nos seis níveis da taxonomia revisada, tratando o desafio como um problema de classificação binária para cada nível. O objetivo principal é avaliar e comparar a performance de três algoritmos de Machine Learning de alto desempenho: Random Forest, XGBoost e LightGBM. O estudo utilizou um corpus público de 21.380 objetivos previamente rotulados e aplicou um pipeline de Processamento de Linguagem Natural (PLN) baseado em TF-IDF, N-gramas e o Índice de Legibilidade Automatizada (ARI) para vetorização dos textos. A classificação foi realizada utilizando a estratégia Um Contra Todos (OVR), e a performance foi avaliada pelo F1-Score devido ao significativo desbalanceamento das classes. Os resultados demonstraram que o algoritmo LightGBM apresentou a melhor performance preditiva na maioria das categorias e obteve a maior média de F1-Score (0,870), superando ligeiramente o XGBoost (0,864) e o Random Forest (0,862). Confirma-se, assim, a hipótese de que a otimização de boosting do LightGBM oferece a maior eficácia na classificação de textos educacionais. As limitações do estudo residem na incapacidade inerente dos modelos de ensemble em compreender nuances contextuais complexas. O LightGBM emerge como a solução mais eficiente para padronizar a curadoria pedagógica em sistemas de apoio tecnológico.

Bloom's Taxonomy is a cornerstone of education for classifying the cognitive complexity of learning objectives, but its manual application is subjective and inefficient on a large scale. Given the increasing volume of digital content, this study proposes the automatic classification of sentences from educational objectives into the six levels of the revised taxonomy, treating the challenge as a binary classification problem for each level. The main objective is to evaluate and compare the performance of three high-performance Machine Learning algorithms: Random Forest, XGBoost, and LightGBM. The study used a public corpus of 21,380 previously labeled objectives and applied a Natural Language Processing (NLP) pipeline based on TF-IDF, N-grams, and the Automated Readability Index (ARI) for text vectorization. Classification was performed using the One Against All (OVR) strategy, and performance was evaluated using the F1-Score due to the significant imbalance of classes. The results demonstrated that the LightGBM algorithm showed the best predictive performance in most categories and obtained the highest average F1-Score (0.870), slightly surpassing XGBoost (0.864) and Random Forest (0.862). This confirms the hypothesis that LightGBM's boosting optimization offers the highest effectiveness in classifying educational texts. The study's limitations lie in the inherent inability of ensemble models to understand complex contextual nuances. LightGBM emerges as the most efficient solution for standardizing pedagogical curation in technological support systems.