Utilização da capacidade computacional de uma rede de computadores para aprendizado de máquina utilizando BEAM VM e Elixir

Abstract

O presente texto conceitua elementos fundamentais no desenvolvimento de sistemas distribuídos utilizando a linguagem Elixir e seu ferramental herdado da linguagem Erlang. Foram utilizadas bibliotecas para os mais diversos fins, em especial para a conexão entre os nós do sistema (com a biblioteca Libcluster), e nas tarefas referentes a aprendizado de máquina (especialmente Axon e em segundo plano Nx). A justificativa da pesquisa é iniciada pelo aumento das tecnologias empregadas nas funções de algoritmos de aprendizado de máquinas e algumas preocupações nas limitações da utilização dessas mesmas tecnologias. Como metodologia proposta ao trabalho, é realizada uma pesquisa exploratória do ferramental da linguagem Elixir para as atividades de algoritmos de aprendizado de máquina que tanto cresce no presente momento. O resultado dessa pesquisa é uma aplicação, que não tem como objetivo determinante a sua performance e otimização, apenas o seu pleno funcionamento no ambiente proposto. A aplicação foi desenvolvida com uma arquitetura versátil em mente, especialmente para o caso da adição de mais modelos de aprendizado de máquinas à aplicação. Para tal foi escolhida uma arquitetura baseada em componentes, esta que tangencia com naturalidade as proposições fundamentais de módulos e funções que uma linguagem de paradigma funcional como Elixir prezam tanto. A conclusão foi de que durante o desenvolvimento algumas barreiras foram encontradas, como a dificuldade de otimização no uso de tensores via mensageria e a falta de ferramental no ecossistema de aprendizado de máquinas na plataforma Elixir que abstraiam algumas dificuldade primordiais no desenvolvimento de aplicações que se utilizam de algoritmos de aprendizado de máquinas.

This text conceptualizes fundamental elements in the development of distributed systems using the Elixir language and its tools inherited from Erlang language. Libraries were used for a variety of purposes, especially for the connection between system nodes (with the Libcluster library), and in tasks related to machine learning (especially Axon and in the background Nx). The justification for the research begins with the increase in technologies used in machine learning algorithm functions and some concerns about the limitations of using these same technologies. As a methodology proposed for the work, an exploratory research of the Elixir language tools for machine learning algorithm activities is carried out, which is growing so much at the present time. The result of this research is an application, which does not have as its determining objective its performance and optimization, only its full functioning in the proposed environment. The application was developed with a versatile architecture in mind, especially for the case of adding more machine learning models to the application. To achieve this, a component-based architecture was chosen, which naturally touches on the fundamental propositions of modules and functions that a functional paradigm language like Elixir values so much. The conclusion was that during development some barriers were encountered, such as the difficulty of optimizing the use of tensors via messaging and the lack of tools in the machine learning ecosystem on the Elixir platform that abstracted some fundamental difficulties in developing applications that use machine learning algorithms.