Uso do apache hadoop e seus principais frameworks para a construção de aplicações de big data

Abstract

Grandes conjuntos de dados, conhecidos como big data, necessitam de ferramentas específicas para lidar com esse intenso volume de dados. Este trabalho teve como objetivo abordar o contexto de big data e como a ferramenta Apache Hadoop e seus diversos frameworks auxiliam na construção de aplicações para análise, armazenamento e gerenciamento de dados. Com o aumento dos dados gerados diariamente, a necessidade de conhecimento de ferramentas especializadas em análise de grandes dados é fundamental para o futuro de grandes organizações. A pesquisa teve como propósito trazer informações sobre essa ferramenta, mostrando suas características e funcionamento, assim como descrever a utilidade de seus frameworks para diversas áreas da análise de dados. Os frameworks abordados foram Apache Pig, Apache HBase, Apache Flume e Apache Spark, cada um utilizado para necessidades distintas. Este trabalho poderá servir como guia para futuros estudantes e/ou profissionais da área que desejem conhecer o Apache Hadoop e obter um conhecimento básico sobre a ferramenta e os principais frameworks utilizados.

Big datasets, known as big data, need specific tools to deal with this intense data volume. This work had as objective to approach the big data’s context and how Apache Hadoop tool and its various frameworks help to build applications to analyze, to storage and to manage this data. With the growth of data generated daily, the need of knowledge about specialized tools in big data’s analysis it’s fundamental for the future of big companies. The research had as purpose to bring informations about this tool, showing its characteristics and operation, as well as to describe the utilities of its frameworks to various areas of data’s analysis. The frameworks approach were Apache Pig, Apache HBase, Apache Flume and Apache Spark, each of them used for distinct needs. This work can suit as a guide for future students and professionals from the area which desire to know Apache Hadoop and obtain basic knowledge about the tool and the principal frameworks used.