Como a engenharia de prompt influencia a qualidade das respostas dos modelos de IA: um estudo comparativo entre zero shot, few shot e chain of thought

Abstract

Este estudo investiga como diferentes técnicas de engenharia de prompts — zero-shot, few-shot e chain-of-thought (CoT) — influenciam a qualidade das respostas de modelos de linguagem (LLMs) em português. Propõe-se um desenho experimental reprodutível que compara, sob parâmetros controlados (temperature, top_p, max_tokens e seed), um modelo fechado e um modelo aberto em três blocos de tarefas: perguntas factuais, resumo de textos e raciocínio lógico. A avaliação combina métricas automáticas (acurácia e ROUGE) e julgamentos humanos (clareza, consistência e confiabilidade), além de custo/eficiência (tokens e tempo). Os resultados indicam ganhos consistentes do few-shot sobre o zero-shot em tarefas de síntese textual e superioridade do CoT em raciocínio passo a passo. Discutem-se limitações (viés, alucinação e generalização) e implicações práticas para o ensino, o uso corporativo e a pesquisa aplicada em IA.

This study investigates how different prompt engineering techniques — zero-shot, few-shot, and chain-of-thought (CoT) — influence the quality of responses from language models (LLMs) in Portuguese. A reproducible experimental design is proposed to compare, under controlled parameters (temperature, top_p, max_tokens, and seed), a closed-source and an open-source model across three task blocks: factual questions, text summarization, and logical reasoning. The evaluation combines automatic metrics (accuracy and ROUGE) and human judgments (clarity, consistency, and reliability), as well as cost-efficiency (tokens and time). The results indicate consistent gains of few-shot over zero-shot in textual synthesis tasks and the superiority of CoT in step-by-step reasoning. Limitations (bias, hallucination, and generalization) and practical implications for education, corporate use, and applied research in AI are discussed