Uma análise sobre a percepção de desenvolvedores quanto à qualidade de requisitos gerados por humanos vs IA

Abstract

Requisitos bem definidos desempenham um papel fundamental para garantia da qualidade de um software. Quando os requisitos são precisos e completos, simplificam todas as fases do desenvolvimento, reduzindo a probabilidade de custos adicionais indesejados. No entanto, se os artefatos iniciais apresentam indicadores de baixa qualidade, esses problemas podem se propagar para as etapas subsequentes, resultando em sistemas deficientes ou que não atendem às expectativas dos stakeholders. Para abordar essa questão, neste trabalho utilizamos inteligência artificial (IA) generativa para investigar se é possível especificar de forma satisfatória os requisitos com indicadores de problemas em especificações, conhecidos como requirements smells. Conduzimos uma análise baseada na literatura e uma pesquisa em dois projetos: um acadêmico e outro em uma empresa de médio porte. Foi avaliado um total de 282 requisitos para identificar quais requirements smells estavam presentes e como impactavam o ciclo de desenvolvimento qualitativamente. Em seguida, geramos transcrições de vídeos sobre os sistemas a serem desenvolvidos utilizando a ferramenta Cockatoo e o Microsoft Teams. Com essas transcrições utilizamos o chatbot online de inteligência artificial: ChatGPT para criarmos requisitos e novamente analisamos seu impacto no ciclo de desenvolvimento. Com base nos artefatos obtidos, fica claro que a presença de requirements smells nos requisitos iniciais trouxe desafios. O uso da IA resultou em requisitos mais coesos e compreensíveis, embora ainda seja necessário esclarecimentos adicionais e a possibilidade de retrabalho. Esses insights ressaltam o potencial da IA como uma aliada valiosa nesta fase, contribuindo para mitigar problemas e garantir o sucesso no desenvolvimento de software.

Well-defined requirements are crucial role in ensuring software quality. Precise and complete requirements simplify all development phases, reducing the likelihood of undesirable additional costs. However, when initial artifacts exhibit signs of low quality, these issues can propagate to subsequent stages, resulting in deficient systems or those do not meet stakeholders' expectations. To address this, we employed generative artificial intelligence (AI) in this study to investigate whether it's possible to satisfactorily specify requirements with indicators of issues, known as 'requirements smells.' We conducted a literature-based analysis and surveyed two projects: one in academia and another in a medium-sized company. We evaluated a total of 282 requirements to identify the presence of requirements smells and their qualitative impact on the development cycle. Subsequently, we generated video transcriptions of the systems to be developed using the Cockatoo tool and Microsoft Teams' audio functionality. With these transcriptions, we used the online AI chatbot, ChatGPT, to create requirements and reevaluated their impact on the development cycle. Based on the artifacts obtained, it becomes evident that the presence of requirements smells in the initial requirements posed challenges. The use of AI resulted in more cohesive and comprehensible requirements, although additional clarifications and the possibility of rework are still necessary. These insights highlight the potential of AI as a valuable ally in this phase, contributing to issue mitigation and ensuring success in software development.