Limpeza de dados utilizando ferramentas power Bi e Tableau

Abstract

A limpeza de dados é uma etapa essencial do processo de análise de dados e implica na execução de metodologias e práticas de modificação de bases de dados originais a fim de melhorar sua qualidade. Nos dias atuais, as atividades de estudo de dados coletados de diversas fontes vêm aumentando em empresas públicas e privadas que têm, cada vez mais, visto a importância de se avaliar e analisar dados coletados nas suas tomadas de decisões. Muitas vezes, os softwares utilizados nas empresas não foram preparados para fornecer dados para análises e geram dados com baixa qualidade, com anomalias e erros, o que pode exigir um processo de limpeza de dados mais intenso, com grandes modificações da massa de dados original. Uma razão para estudar ferramentas para limpeza de dados, ocorre do fato de que, quando os dados originais possuem vários tipos e formatos diferentes, muitas vezes também eles apresentam redundâncias e inconsistências, o que pode prejudicar sobremaneira a interpretação dos resultados das análises. Esse trabalho propõe estudar, por meio de testes práticos, algumas das principais ferramentas disponíveis no mercado e suas técnicas para limpeza de dados no processo de extração, transformação e carregamento de dados. Os testes permitiram comparar situações em que dada ferramenta se torna mais eficaz e ou apropriada em relação às outras e tiveram seus resultados documentados.

Cleaning data is part of the data analysis process. This is an essential step and implies the implementation of methodologies and practices for modifying original databases, in order to improve their quality for the creation of analyzes. Nowadays, the activities of studying data collected from different sources have been increasing in public and private companies, which have increasingly seen the importance of evaluating and analyzing data collected in their process making decision. Often, the software used in companies is not prepared to provide data for analysis and generates data with low quality, with a large number of anomalies and errors and which requires a more intense data cleaning process, making changes to the original data mass. One reason for studying tools for data cleaning is that, when the original data has several different types and formats, they often also have redundancies and inconsistencies, which can greatly impair the interpretation of the analysis results. This study proposes analyses of tools and techniques of working in data cleaning in the ETL process, analyzing which process becomes easier and more effective, thus we had the quality conclusion that all results obtaining more significant difference in the speed and quantity of processes required in each process, and showing that each study requires an analysis of the problem in order to run cleaning processes.