Além das métricas: análise de comportamento preditivo na seleção de modelos de machine learning para o risco de diabetes.

Abstract

"O Diabetes Mellitus tipo 2 é uma doença crônica com prevalência crescente, representando um significativo desafio para a saúde pública. A detecção precoce é um fator crucial para a prevenção de complicações graves e, neste contexto, o objetivo deste trabalho foi desenvolver e avaliar um modelo preditivo de aprendizado de máquina para identificar indivíduos de alto risco, utilizando o dataset PIMA Indians Diabetes como estudo de caso. A metodologia envolveu um rigoroso pipeline de pré-processamento, seguido da avaliação de nove algoritmos através de métricas quantitativas (AUC, Recall), otimização de limiar e, de forma decisiva, uma validação qualitativa com perfis clínicos sintéticos. Os resultados demonstraram que a análise de plausibilidade foi indispensável para desqualificar algoritmos com altas métricas que apresentaram comportamentos de risco, como o Gradient Boosting. Este processo consagrou o modelo Random Forest como a solução superior, por apresentar o melhor equilíbrio entre performance quantitativa e um comportamento preditivo seguro e coerente. Conclui-se que a validação de comportamento clínico é uma etapa indispensável no desenvolvimento de ferramentas de IA responsáveis para a saúde, superando a avaliação baseada unicamente em métricas estatísticas. "

Type 2 Diabetes Mellitus is a chronic disease with a growing prevalence, representing a significant public health challenge. Early detection is a crucial factor in preventing severe complications, and in this context, the objective of this work was to develop and evaluate a predictive machine learning model to identify individuals at high risk, using the PIMA Indians Diabetes dataset as a case study. The methodology involved a rigorous preprocessing pipeline, followed by the evaluation of nine algorithms through quantitative metrics (AUC, Recall), threshold optimization, and, decisively, a qualitative validation with synthetic clinical profiles. The results showed that, although several models had high metric performance, the plausibility analysis was indispensable for disqualifying algorithms with high-risk behaviors, such as Gradient Boosting. This process established the Random Forest model as the superior solution, presenting the best balance between quantitative performance and safe, coherent predictive behavior. It is concluded that the validation of clinical behavior is a fundamental behavior. It is concluded that the validation of clinical behavior is a fundamental step for the development of responsible AI tools for healthcare, surpassing evaluations based solely on statistical metrics.