Avaliação comparativa de modelos de linguagem de pequeno porte na tradução para o português

Abstract

Este estudo avalia o desempenho de dois modelos de linguagem open source amplamente reconhecidos em 2024: Llama 3.1 8B Instruct e Mistral Instruct 7B, com foco na tradução do inglês para o português. As traduções foram analisadas com base nas métricas BLEU e METEOR, que são baseadas em n-gramas (sequências de tokens). Os experimentos utilizaram conjuntos de dados abertos disponíveis do OPUS e foram conduzidos localmente. O Llama 3.1 8B Instruct apresentou maior consistência e melhor desempenho geral, enquanto o Mistral Instruct mostrou maior variação de desempenho. Ambos os modelos demonstraram limitações ao lidar com expressões e construções mais complexas, mas, com os resultados apresentados, há uma possibilidade de uso para determinadas atividades.

This study evaluates the performance of two widely recognized open-source language models in 2024: Llama 3.1 8B Instruct and Mistral Instruct 7B, focusing on the translation from English to Portuguese. The translations were analyzed based on the BLEU and METEOR metrics, which are based on n-grams (sequences of tokens). The experiments utilized publicly available open datasets from OPUS and were conducted locally. The Llama 3.1 8B Instruct demonstrated greater consistency and better overall performance, while the Mistral Instruct showed more variation in performance. Both models exhibited limitations when dealing with expressions and more complex constructions; however, given the results presented, there is potential for use in certain activities.