Spotifeel: inteligência artificial para seleção de música baseado em emoções

Abstract

Este Projeto tem como objetivo o desenvolvimento de um software que utiliza uma IA (Inteligência Artificial) para a detecção de emoções do usuário, tecnologia que atualmente observamos ser uma lacuna existente no mercado que ainda foi pouco explorada, à fim de auxiliar no controle de suas emoções e sua psique, pelo uso de música como ferramenta, algo que pode trazer benefícios como melhor pro-dutividade e auxiliar no tratamento de problemas psicológicos como a prevenção da depressão. Foi desenvolvido uma SPA (aplicação de página única) que utiliza uma WebCam através da biblioteca react-webcam para detectar a emoção atual do usuá-rio e selecionar a playlist para as emoções de felicidade, raiva, tristeza e neutra, que são preenchidas com músicas de escolha do usuário, sendo o intuito das playlists de raiva e tristeza conter músicas calmantes, e as playlists das emoções neutras e felizes conterem músicas que ajudem o usuário a se manter nelas. A detecção das emoções se dá por modelos de machine learning (Aprendizado de máquina), que através da detecção facial e de principais traços faciais consegue estimar a emoção atual do usuário passando essas informações para um modelo de reco-nhecimento de expressão facial em tempo real utilizando apenas uma webcam com a biblioteca Tensorflow.JS e a biblioteca face-api.js que forneceu os modelos e a implementação de como usá-los. Para o backend da aplicação utilizamos o Node.js e Express receber as requisições REST do frontend e o Mongoose como solução de mapeamento objeto-relacional para o banco de dados MongoDB.

This Project has the objective of developing a software that utilizes an AI for detect-ing a user’s emotion to help manage the user’s emotion and psyche, a technology that currently is underutilized in the market, with the aim to create something that can bring benefits such as better productivity and help in the treatment of psycho-logical problems such as depression prevention. A SPA (Single Page Application) was developed, that utilizes a webcam through the react-webcam to detect the us-er’s current emotion and select a playlist for emotions like happiness, anger, sad-ness, and a neutral expression, that are filled in by the user’s choice of music, with the purpose of the Sadness and Anger playlists to contain soothing songs, and the Neutral and Happiness playlists to contain music that helps the user to keep in these emotions. The emotion detection is done through machine learning models that, through facial detection, and face landmark detection, it can estimate the user’s current emotion passing this data to a facial expression model in real time utilizing only a webcam in real time with the use of the Tensorflow.JS and face-api.js libraries that provided us the models and implementations on how to use them, For the backend of the application we used Node.JS and Express to receive the REST API calls from the web application and Mongoose as an Object Relational Mapping solu-tion for the MongoDB database.