Impacto do tratamento de dados para o machine learning

Abstract

Este estudo investigou a interseção fundamental entre Big Data, Machine Learning e o tratamento de dados, visando aprimorar a eficiência de algoritmos de aprendizagem, através do aumento da qualidade dos dados de entrada. Iniciando com uma fundamentação teórica sobre Big Data e sua influência no Machine Learning, delineiase a importância da qualidade dos dados para resultados precisos. Para embasar a proposta deste trabalho contextualizou-se o Tratamento de Dados no Aprendizado de Máquina, introduzindo técnicas para otimizar o desempenho dos modelos. Ainda com objetivo de elucidar os impactos causados pela falta de implementação desses métodos, foi trazido um estudo de caso prático no qual se utiliza uma base real disponibilizada pelo Walmart, rede internacional de varejo. Comparou-se a variação dos valores obtidos, após a dispersão de inconsistência nos registros, com a assertividade demonstrada proveniente da inserção de dados tratados. Por fim, a hipótese desenvolvida teve sua validação comprovada pela mensuração dos resultados alcançados no final do estudo, revelando-se a importância crucial do processo de gestão e limpeza do Database quando disposto a um modelo preditivo para obtenção de projeções confiáveis e estratégicas.

This study investigated the fundamental intersection between Big Data, Machine Learning and data processing, with the aim of improving the efficiency of learning algorithms by increasing the quality of input data. Starting with a theoretical foundation on Big Data and its influence on Machine Learning, the importance of data quality for accurate results is outlined. To support the proposal of this work, Data Processing in Machine Learning was contextualized, introducing techniques to optimize the performance of models. In order to elucidate the impacts caused by the lack of implementation of these methods, a practical case study was presented, using a real database provided by Walmart, an international retail chain. The variation in the values obtained, after the dispersion of inconsistencies in the records, was compared with the assertiveness demonstrated by the insertion of processed data. Finally, the hypothesis developed was validated by measuring the results achieved at the end of the study, revealing the crucial importance of the process of managing and cleaning the database when combined with a predictive model to obtain reliable and strategic projections