Please use this identifier to cite or link to this item: https://ric.cps.sp.gov.br/handle/123456789/23252
Title: Engenharia de dados com DBT: entendendo conceito e recursos da ferramenta
Other Titles: Data engineering with DBT: understanding the concept and features of the tool
Authors: MARQUES, Arthur Gabriel Camacho
Advisor: DEZANI, Henrique
DEZANI, Adriana Alvarenga
Other contributor: SIMONATO, Adriano Luís
FONSECA, Everthon Silva
type of document: Artigo científico
Keywords: Processamento de dados;Ambientes de programação;Big data;Pesquisa bibliográfica
Issue Date: 19-Jun-2024
Publisher: 121
Citation: MARQUES, Arthur Gabriel Camacho. Engenharia de dados com DBT: entendendo conceito e recursos da ferramenta. 2024. Trabalho de Conclusão de Curso (Curso Superior de Tecnologia em Informática para Negócios) – Faculdade de Tecnologia de São José do Rio Preto, São José do Rio Preto, 2024.
Abstract: Este artigo trata de apresentar conceitos essenciais de engenharia de dados, focados no processo de ETL (Extração, Transformação e Carga), utilizando a ferramenta Data Build Tool (DBT) desenvolvida pela Fishtown. O texto aborda a significância dos dados e sua evolução ao decorrer do tempo, em volume, variedade e complexidade, observando o impacto que causam no avanço da tecnologia como um todo. Detalha-se o conceito de Big Data, dando foco em seus três pilares fundamentais: volume, velocidade e variedade. O trabalho também apresenta os conceitos básicos de funcionamento de APIs, relacionando-os com sua relevância no processo de extração de dados, parte fundamental do processo de ETL. Além disso, as funcionalidades básicas da ferramenta DBT são profundamente exploradas de maneira conceitual, mas com uma compreensão clara de como elas se associam diretamente à transformação e carga de dados no processo de ETL, permitindo uma gestão eficiente e eficaz dos dados.
This article aims to present essential concepts of data engineering, focusing on the ETL (Extraction, Transformation, and Loading) process, using the Data Build Tool (DBT) developed by Fishtown. The text discusses the significance of data and its evolution over time in terms of volume, variety, and complexity, observing the impact they have on the advancement of technology as a whole. It details the concept of Big Data, with a focus on its three fundamental pillars: volume, velocity, and variety. The paper also presents the basic concepts of API operation, relating them to their relevance in the data extraction process, a fundamental part of the ETL process. Additionally, the basic functionalities of the DBT tool are explored conceptually, without practical applications, but with a clear understanding of how they directly associate with data transformation and loading in the ETL process, enabling efficient and effective data management.
URI: https://ric.cps.sp.gov.br/handle/123456789/23252
Appears in Collections:Trabalhos de Conclusão de Curso

Files in This Item:
File Description SizeFormat 
informaticanegocios_2024_1_arthurgabrielcamachomarques_engenhariadedadoscomdbt_entendendoconcei.pdf
  Restricted Access
217.73 kBAdobe PDFView/Open Request a copy


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.