Reconhecimento de sinais de Libras para apoio ao atendimento emergencial: uma prova de conceito com arquitetura DETR customizada

Abstract

O presente trabalho desenvolveu e avaliou uma prova de conceito para o reconhecimento automático de gestos da Língua Brasileira de Sinais, com foco ao apoio no atendimento emergencial. A proposta fundamenta-se em uma arquitetura Detection Transformer customizada, com vocabulário de 20 sinais e eficiência computacional, por meio da redução para uma única camada no encoder e no decoder, dimensão oculta de 256 e 25 object queries. A metodologia incluiu a construção de um dataset com 23.968 imagens, proveniente de vídeos do autor e geração de perfis sintéticos, sendo dois empregados no treinamento e um adicional reservado para teste de generalização, com protocolo de divisão para evitar data leakage. O modelo foi treinado em fundo controlado e submetido a testes de robustez em fundos ruidosos, sendo comparado a baselines. O DETR-Custom alcançou mAP@0.5 de 0,9114, FPS de 104,87 e latência de 9,54 ms. O F1-Score, contudo, foi de 0,4702, reflexo do desequilíbrio entre Precision e Recall, que gerou excesso de falsos positivos. Os resultados confirmam parcialmente a hipótese e demonstram que a customização, notadamente a redução de object queries viabiliza uma solução de baixo custo computacional. Entretanto, o teste de robustez evidenciou degradação do mAP para 0,4107 em fundos não controlados, e a assimetria no transfer learning em relação aos baselines restringe o escopo atual a ambientes com fundo padronizado. O estudo oferece contribuições tecnológicas e sociais, alinhando-se aos ODS de inclusão e acesso à justiça, e estabelecendo base para futura validação com usuários surdos em cenários reais de emergência.

This study developed and evaluated a proof-of-concept for the automatic recognition of Brazilian Sign Language gestures to support emergency response. The approach leverages a custom Detection Transformer architecture with a 20-sign vocabulary and high computational efficiency, achieved by reducing both the encoder and decoder to a single layer, a hidden dimension of 256, and 25 object queries. The methodology involved building a 23,968-image dataset from the author's videos and synthetic profiles. Two sets were used for training and one for generalization testing, with splitting to prevent data leakage. The model was trained on controlled backgrounds and benchmarked against baselines for robustness on noisy backgrounds. The custom DETR achieved an mAP@0.5 of 0.9114, 104.87 FPS, and 9.54 ms latency. However, the F1-score was 0.4702, reflecting a precision-recall imbalance that caused excessive false positives. Results partially confirm the hypothesis, demonstrating that architectural customization, specifically reducing object queries, enables a computationally efficient solution. Nevertheless, robustness testing revealed a mAP drop to 0.4107 in uncontrolled backgrounds, and asymmetric transfer learning compared to baselines currently restricts the scope to standardized environments. The study provides technological and social contributions, aligning with the UN SDGs for inclusion and access to justice, establishing a foundation for future validation with deaf users in real-world emergency scenarios.