Análise estratégica de data streaming na otimização de processos

Abstract

Este Trabalho de Conclusão de Curso explora a crescente importância do Data Streaming no cenário digital atual, impulsionado pela proliferação de dados em tempo real. O estudo delineia as distinções cruciais entre o processamento de dados em fluxo contínuo (streaming) e o tradicional processamento em lote (batch), abordando os significativos benefícios que o streaming oferece, bem como os complexos desafios inerentes à sua implementação. Serão apresentadas as principais arquiteturas e tecnologias, como Apache Kafka, Apache Flink, Spark Streaming e AWS Kinesis, destacando suas particularidades e como cada uma contribui para a construção de ecossistemas de dados dinâmicos e responsivos. Um foco central e aprofundado será direcionado à aplicação estratégica do Data Streaming nos setores de e-commerce e redes sociais. Investiga -se minuciosamente como a capacidade de coletar, processar e analisar avaliações e opiniões de consumidores em tempo real permite a obtenção de entendimentos acionáveis e imediatos. O trabalho detalhará como esses entendimentos, derivados da voz do consumidor digital, podem ser proativa e estrategicamente utilizados para influenciar e otimizar processos de vendas, refinar campanhas de marketing e, consequentemente, elevar a competitividade das empresas na era da decisão instantânea. Ao final, o estudo discutirá as melhores práticas para superar os desafios técnicos de latência, escalabilidade e tolerância a falhas, garantindo a robustez de sistemas de Data Streaming.

This Graduation Work explores the increasing importance of Data Streaming in the current digital landscape, driven by the proliferation of real-time data. The study delineates the crucial distinctions between continuous data processing (streaming) and traditional batch processing, addressing the significant benefits that streaming offers, as well as the complex challenges inherent in its implementation. Key architectures and technologies such as Apache Kafka, Apache Flink, Spark Streaming, and AWS Kinesis will be presented, highlighting their specific characteristics and how each contributes to the construction of dynamic and responsive data ecosystems. A central and in-depth focus will be directed towards the strategic application of Data Streaming in the e-commerce and social media sectors. We will meticulously investigate how the ability to collect, process, and analyze consumer reviews and opinions in real time enables the generation of immediate and actionable insights. The work will detail how these insights, derived from the digital consumer's voice, can be proactively and strategically utilized to influence and optimize sales processes, refine marketing campaigns, and consequently enhance business competitiveness in the era of instant decision-making. Finally, the study will discuss best practices for overcoming technical challenges such as latency, scalability, and fault tolerance, ensuring the robustness of Data Streaming systems.