Módulo 2 O Processo de Desenhar Pesquisas

Este livro tem por objetivo ajudar a compreender e desenhar experimentos de campo. Porém, antes de seguirmos com os detalhes sobre os componentes de um desenho de pesquisa, precisamos de uma boa pergunta de pesquisa – uma pergunta que a resposta nos permita produzir conhecimento, nos ajude a tomar decisões em políticas públicas, ou ambos. Não existe uma receita simples para encontrar ou desenvolver uma pergunta científica ou de política pública, mas as teorias científicas ajudam a articular boas perguntas, que baseiam-se pesquisas de grande impacto. Depois de formular a pergunta de pesquisa, desenvolvemos então o melhor desenho de pesquisa o possível, com base nos recursos disponíveis e usando nosso conhecimento de inferência causal e estatística.

Este módulo introduz o Formulário de Desenho de Pesquisa do EGAP, uma checklist para guiar seus esforços ao longo das diversas etapas de sua pesquisa. As Jornadas de Aprendizado são organizadas com base no formulário de desenhos de pesquisa. Nós também recomendamos o uso do pacote DeclareDesign para explorar as consequências que diferentes escolhas exerce sobre nossos desenhos de pesquisa. Finalmente, esse módulo distingue planos de pré-análise e pré-registro. Quando planejamos e publicamos nossas análises, fica mais fácil persuadir outras pessoas e instituições da validade de nossos resultados.

2.1 Conteúdo Principal

Uma boa pergunta de pesquisa avança nosso conhecimento científico e/ou é uma pergunta relevante para a implementação de políticas públicas.
Certos desenhos de pesquisa são melhores para abordar certas perguntas. O objetivo é escolher um desenho que responde nossas perguntas de modo mais adequado e eficiente, levando em conta nossas limitações.
As perguntas que fazemos surgem - frequentemente de forma implícita - de nossos valores e de nossa compreensão sobre como o mundo funciona. Essas teorias tornam nossas perguntas relevantes. Nesse sentido, os experimentos que realizamos nos ensinam sobre uma teoria. Ou seja, esperamos que as evidências e dados provenientes desses desenhos de pesquisa melhorem nossa compreensão do mundo real.
Componentes principais de um desenho de pesquisa.
Apresentar os pontos principais do Formulário de Desenhos de Pesquisa do EGAP.
Introduzir o pacote DeclareDesign, criado para criar, avaliar, e aperfeiçoar os desenhos de pesquisa.
O movimento nas ciências sociais em direção à revisão de desenhos, em contraponto à revisão de resultados.
Pré-registro: O que é, e por que e como devemos fazê-lo.

2.2 Slides

Abaixo estão os slides com o conteúdo que abordamos em nossas apresentações sobre desenhos de pesquisa. Você pode usar esses slides diretamente ou fazer sua própria cópia e editá-los localmente.

Você também pode consultar os slides usados em outras Jornadas de Aprendizado do EGAP:

Você também pode conferir os slides de apresentações sobre DeclareDesign das edições anteriores das Jornadas de Aprendizado do EGAP. Nestes materiais, desviamos o foco dos resultados para nos concentrar em questões fundamentais sobre a elaboração de uma pesquisa:

2.3 Formulários de Desenho de Pesquisa e de Pré-registro

Formulário de Desenho de Pesquisa do EGAP. Uma checklist que criamos para as Jornadas de Aprendizado do EGAP, com o objetivo de guiar os pesquisadores sobre as etapas de um processo de pesquisa.
- Versão em DOCX
  - Versão em PDF
  - Versão em HTML
Exemplos de repositórios para Planos de Pré-Registro / Pré-Análise:
- Formulário de Pré-Registro do EGAP, armazenado no sítio da Open Science Foundation (OSF) https://egap.org/registry/
- Formulário de Pré-Registro para Experimentos Aleatórios Controlados (RCTs) da American Economic Association https://www.socialscienceregistry.org/
- Formulário de Pré-Registro da Open Science Foundation (OSF) https://osf.io/registries
Exemplos de Planos de Pré-Registro / Pré-Análise:
- Experimento sobre Mensagem de SMS em Moçambique, armazenado pelo Escritório de Avaliação Científica de Políticas Publicas do Governos dos Estados Unidos
- Uso de câmeras corporais pela a polícia do Distrito de Comlumbia Lab @ DC

2.4 Recursos

2.4.1 Guias Metodológicos do EGAP

2.4.2 Livros, Capítulos e Artigos

O pré-registro como ferramenta para fortalecer a avaliação de políticas públicas federais nos Estados Unidos. Um guia do Escritório de Ciencias de Avaliação do governo federal dos Estados Unidos. Na página, você também encontra exemplos de planos de pré-análise para experimentos de campo associados a este escritório.
Garret S. Christensen, Jeremy Freese, and Edward Miguel, Transparent and Reproducible Social Science Research: How to Do Open Science (Oakland, California: University of California Press, 2019). O livro resume os enfoques atuais em pesquisa social que levam em conta a transparência e a reproducibilidade.
Alan S. Gerber and Donald P. Green, Field Experiments: Design, Analysis, and Interpretation (New York, NY: W. W. Norton & Company, 2012). O Capítulo 12 apresenta exemplos de desenhos de pesquisa experimental.

2.4.3 Ferramentas

DeclareDesign, um conjunto de ferramentas inovador e completo para descrever, avaliar, e auxiliar na condução de pesquisas empíricas.

Tradução: João Hofmeister e Umberto Mignozzetti

References

Christensen, Garret S., Jeremy Freese, and Edward Miguel. Transparent and Reproducible Social Science Research: How to Do Open Science. Oakland, California: University of California Press, 2019.

Gerber, Alan S., and Donald P. Green. Field Experiments: Design, Analysis, and Interpretation. New York, NY: W. W. Norton & Company, 2012.