IA – um estudo sobre escrita de prompts

Abstract

O trabalho abordou a aplicação de técnicas avançadas de engenharia de prompts para otimizar a criação automatizada de questões de múltipla escolha no software Creator4All, desenvolvido pela empresa Multimídia Educacional. Com o objetivo de aprimorar a precisão das respostas geradas pelo modelo de linguagem ChatGPT, amplamente utilizado na ferramenta, o estudo examinou estratégias de prompting como Zero-shot, Few-shot, Chain-of-Thought e Chain-of-Verification. Estas técnicas são empregadas para ajustar a capacidade de compreensão e consistência da inteligência artificial (IA) ao responder a questões, especialmente em tarefas complexas que demandam raciocínio lógico. A pesquisa foi realizada em duas fases, envolvendo a criação de 150 questões distribuídas nas disciplinas de Matemática, História e Música, a fim de avaliar a eficácia e precisão do modelo. Na primeira fase, utilizando o ChatGPT 3.5, observou-se que o modelo apresentava alta taxa de acerto em questões teóricas, alcançando 93% de acertos em História. No entanto, o desempenho foi mais limitado em áreas que exigem raciocínio lógico, com uma taxa de acerto de 60% em Matemática e 37% em Música, o que destacou a necessidade de ajustes. Na segunda fase, foram implementadas modificações nos prompts e no código do software, incluindo a adição do método Chain-of-Verification, que verificou a exatidão da resposta antes de apresentá-la. Após essas mudanças, os testes indicaram um aumento significativo na precisão: a taxa de acerto em Matemática subiu para 95%, em História para 96% e em Música para 85%, demonstrando que a aplicação das técnicas de prompting contribuiu para uma melhora substancial na geração de respostas corretas, especialmente nas questões lógicas. Ainda que a repetição de perguntas geradas tenha se mantido como um desafio, o estudo conclui que a engenharia de prompts é essencial para o desenvolvimento de ferramentas educacionais baseadas em IA e destaca a importância de aperfeiçoamentos contínuos na interação entre usuários e modelos de linguagem. Os resultados evidenciam o potencial das técnicas de prompting em contextos educacionais, mas apontam a necessidade de armazenamento temporário das questões para evitar redundâncias e de uma abordagem progressiva para aprimorar ainda mais a efetividade do sistema.

This paper discussed the application of advanced prompt engineering techniques to optimize the automated creation of multiple-choice questions in the Creator4All software, developed by the company Multimídia Educacional. Aiming to improve the accuracy of responses generated by the widely-used ChatGPT language model, the study examines prompting strategies such as Zero-shot, Few-shot, Chain-of-Thought, and Chain-of-Verification. These techniques are employed to enhance the AI’s comprehension and consistency in answering questions, particularly in complex tasks requiring logical reasoning. The research was conducted in two phases, involving the creation of 150 questions across the subjects of Mathematics, History, and Music, to assess the model's effectiveness and precision. In the first phase, using ChatGPT 3.5, the model demonstrated high accuracy in theoretical questions, achieving 93% correctness in History. However, its performance was more limited in areas requiring logical reasoning, with accuracy of 60% in Mathematics and 37% in Music, highlighting the need for adjustments. In the second phase, modifications were made to the prompts and software code, including the implementation of the Chain-of-Verification method, which verified the accuracy of the response before presenting it. After these changes, tests showed a significant improvement in precision: accuracy in Mathematics increased to 95%, in History to 96%, and in Music to 85%, demonstrating that the application of prompting techniques contributed to a substantial improvement in generating correct responses, particularly for logical questions. Although repeated questions remained a challenge, the study concludes that prompt engineering is essential for the development of AI-based educational tools and highlights the importance of continuous improvements in user-model interactions. The results emphasize the potential of prompting techniques in educational contexts but point to the need for temporary storage of questions to avoid redundancies and for a progressive approach to further enhance the system's effectiveness