Capacidade expressiva e limitações da low-rank adaptation (LoRA) em modelos de linguagem de grande porte

Abstract

Este artigo analisa a eficácia da Low-Rank Adaptation (LoRA) e de suas principais variantes, QLoRA, AdaLoRA e DoRA, na adaptação de Modelos de Linguagem de Grande Porte (LLMs). O estudo foi conduzido por meio de revisão bibliográfica narrativa fundamentada na hipótese da dimensão intrínseca. Foram comparadas as estratégias de otimização, eficiência de memória e capacidade expressiva de cada método. Os resultados indicam que a QLoRA se destaca pela redução do consumo de memória através da quantização em 4 bits, a AdaLoRA melhora a utilização do orçamento de parâmetros por meio da alocação dinâmica de rank, e a DoRA apresenta desempenho mais próximo ao ajuste fino completo ao desacoplar magnitude e direção dos pesos. Conclui-se que a escolha da técnica depende das restrições de hardware e dos requisitos de desempenho da aplicação.

This article analyzes the effectiveness of Low-Rank Adaptation (LoRA) and its main variants, QLoRA, AdaLoRA, and DoRA, in adapting Large-Scale Language Models (LLMs). The study was conducted through a narrative literature review based on the intrinsic dimension hypothesis. The optimization strategies, memory efficiency, and expressive capacity of each method were compared. The results indicate that QLoRA stands out for reducing memory consumption through 4-bit quantization, AdaLoRA improves parameter budget utilization through dynamic rank allocation, and DoRA shows performance closer to full fine-tuning by decoupling the magnitude and direction of the weights. It is concluded that the choice of technique depends on the hardware constraints and performance requirements of the application.