Jambo: coleta de dados com web scraping

Abstract

Esse Projeto propõe uma ferramenta para auxiliar em pesquisas para fins estudantis, a ideia é retirar informações da internet de forma automática e trazer para o usuário através de uma tela amigável de maneira simples, direta e sem distrações. Foram utilizadas as práticas de engenharia de software além de frameworks e serviços integrados que foram inseridos no desenvolvimento e agilizaram a criação da ferramenta. O programa foi escrito na linguagem de programação Python utilizando uma técnica conhecida como Web Scraping e estabelece um algoritmo capaz de extrair dados e salvar informações em arquivos, além do mais, o programa possibilita o uso de um navegador integrado para pesquisas auxiliares. Para além da criação de um protótipo, é importante ressaltar questões éticas e legais sobre o impacto de uma ferramenta automatizada em servidores de terceiros, portanto, no final do trabalho foi descrito algumas questões importantes que foram plenamente seguidas a fim de evitar problemas relacionados a dados ou infraestrutura alheia, uma vez que, um script que coleta dados da web pode causar danos se criado de maneira incorreta.

This Project proposes a tool to assist in research for student purposes, the idea is to automatically retrieve information from the internet and bring it to the user through a friendly screen in a simple, direct and without distractions. Software engineering practices were used, in addition to frameworks and integrated services that were included in the development and streamlined the creation of the tool. The program was written in the Python programming language using a technique known as Web Scraping and establishes an algorithm capable of extracting data and saving information in files, moreover, the program allows the use of an integrated browser for auxiliary searches. In addition for creating a prototype, it is important to highlight ethical and legal issues about the impact of an automated tool on third-party servers, so at the end of the work some important issues were described that were fully followed to avoid problems related to external data or infrastructure, as a script that collects data from the web can cause damage if created incorrectly.