Lifecycle of an experiment | Cycle de vie d’une expérience

Vin + Macartan

2026-06-12

Key points

Key points
Points clés du cours
  • Start with descriptive research
  • Assess your design in many ways
  • Build the right team — people and culture
  • Don’t be afraid to stop
  • Commencez par la recherche descriptive
  • Évaluez votre conception de multiples façons
  • Constituez la bonne équipe — personnes et culture
  • N’hésitez pas à abandonner un projet

Experimentation: Stages (1)

Experimentation: Stages (1)
Expérimentation : étapes (1)
  1. Find a good question: Minimally, find an \(X\) and a \(Y\). You might have \(X\)-based motivations, \(Y\)-based motivations, Theory based, hypothesis based, mechanism based, replication focused
  2. Survey literatures, identify contribution.
  3. Identify funders and partners, resources. Perhaps run exploratory pilot analyses.
  4. Develop a design: Data strategy | Measurement strategy | Answer strategy
  5. Simulate the design: Power analysis, confirmation of properties of estimators
  6. Present! Gather feedback
  7. Gather priors: what do others expect will happen?
  8. Apply for ethics approval
  9. Ensure compliance with other provisions (e.g. GDPR)!
  10. Register a pre-analysis plan (e.g. OSF, AEA)
  1. Trouver une bonne question : au minimum, identifier un \(X\) et un \(Y\): motivations liées au \(X\), motivations liées au \(Y\), théorie, hypothèses, mécanismes, réplication
  2. Passer en revue la littérature, identifier la contribution.
  3. Identifier bailleurs de fonds et partenaires, ressources. Peut-être mener des analyses pilotes exploratoires.
  4. Élaborer un design : stratégie de données | stratégie de mesure | stratégie de réponse
  5. Simuler le design : analyse de puissance, propriétés des estimateurs
  6. Présenter ! Recueillir des retours
  7. Recueillir des priors : que s’attendent les autres ?
  8. Demander l’approbation éthique
  9. Assurer la conformité aux autres exigences (p. ex. RGPD) !
  10. Enregistrer un plan de pré-analyse (p. ex. OSF, AEA)

Experimentation: Stages (2)

Experimentation: Stages (2)
Expérimentation : étapes (2)
  1. Conduct Baseline (if needed): With live data quality control!
  2. Implement randomization
  3. Gather process observations
  4. Implement Endline. With live data quality control!
  5. Run analysis; check analysis
  6. Generate key tables
  7. Present to colleagues, but also present to any stakeholders
  8. Prep replication materials. Make data and code available to others
  9. Writeup
  10. Submit [Get rejected — Submit again]
  1. Mener le baseline (si nécessaire) : contrôle qualité des données en direct !
  2. Mettre en œuvre la randomisation
  3. Recueillir des observations de processus
  4. Mener l’endline. Contrôle qualité des données en direct !
  5. Exécuter l’analyse ; vérifier l’analyse
  6. Produire les tableaux clés
  7. Présenter aux collègues et aux parties prenantes
  8. Préparer les matériaux de réplication. Rendre données et code disponibles
  9. Rédaction
  10. Soumettre [Rejet — soumettre à nouveau]

Where to start

Where to start
Par où commencer ?

Who finds the idea?

  • A researcher
  • A programming organization
  • A donor

Where the idea comes from:

  • Descriptive literature
  • Experiments (gap maps, replication)
  • Interviews/observation with participants or staff
  • Evidence gaps in practice

Qui trouve l’idée ?

  • Un chercheur
  • Une organisation de mise en œuvre
  • Un bailleur de fonds

D’où vient l’idée :

  • Littérature descriptive
  • Expériences (cartes des lacunes, réplication)
  • Entretiens/observation avec participants ou personnel
  • Lacunes de preuves dans la pratique

Do I always need a partner?

Do I always need a partner?
Ai-je toujours besoin d’un partenaire ?

Sometimes it is better to do intervention and evaluation yourself if…

  • The intervention is relatively small
  • You need a lot of control (variations, content)
  • You are less interested in testing an existing program

Il est parfois préférable de mener l’intervention et l’évaluation vous-même si…

  • L’intervention est relativement modeste
  • Vous avez besoin de beaucoup de contrôle (variations, contenu)
  • Vous testez moins un programme existant

Finding a partner (1)

Finding a partner (1)
Trouver un partenaire (1)

Impact evaluations almost always involve two partners.

1. A researcher

  • Technical skills in design and analysis
  • Can be independent from the program → less bias
  • Responsible for randomization, measurement, analysis, interpretation

Les évaluations d’impact impliquent presque toujours deux partenaires.

1. Un chercheur

  • Compétences techniques en conception et analyse
  • Peut être indépendant du programme → moins de biais
  • Responsable de la randomisation, mesure, analyse, interprétation

Finding a partner (2)

Finding a partner (2)
Trouver un partenaire (2)

2. A programming team

  • Skills in designing and implementing programs
  • Wants evidence on whether programs work
  • Implements the program and follows the research design (randomization, timeline, etc.)

2. Une équipe de programmation

  • Compétences en conception et mise en œuvre de programmes
  • Veut savoir si un programme produit les effets attendus
  • Met en œuvre le programme et respecte le design (randomisation, calendrier, etc.)

Write a preanalysis plan (PAP)

Write a preanalysis plan (PAP)
Écrire un plan de pré-analyse (PAP)

A PAP is a complete, detailed description of your design:

  • Randomization and measurement plans
  • Hypotheses and analysis strategy
  • Power analysis

Examples: OSF Registries

Un PAP est une description complète et détaillée de votre design :

  • Plans de randomisation et de mesure
  • Hypothèses et stratégie d’analyse
  • Analyse de puissance

Exemples : registres OSF

Why write a PAP?

Why write a PAP?
À quoi sert un PAP ?
  • Helps you fully define your plan → fewer mistakes
  • Reduces biased analysis → less p-hacking
  • Aide à définir complètement le plan → moins d’erreurs
  • Réduit les analyses biaisées → moins de p-hacking

Assess your design

Assess your design
Évaluer votre design
  • Is it powered?
  • Do you analyze as you randomize?
  • Are risks to participants, communities, and staff sufficiently small?
  • Is it cost-effective?
  • Le design a-t-il une (bonne) puissance ?
  • Analysez-vous comme vous randomisez ?
  • Les risques pour participants, communautés et personnel sont-ils suffisamment faibles ?
  • Est-ce rentable ?

Feedback

Feedback
Retours d’information
  • Researchers: improve design technically (power, measures, theory links)
  • Policymakers: is it informative? Does it solve a problem?
  • Programmers: is it feasible? What are the risks?
  • Participants: would you participate?
  • All: any ethical problems?
  • Chercheurs : améliorer le design (puissance, mesures, liens théoriques)
  • Décideurs : le design est-il informatif ? L’intervention résout-elle un problème ?
  • Programmeurs : faisable ? Quels risques ?
  • Participants : participeriez-vous ?
  • Tous : problèmes éthiques ?

Funding: budget elements

Funding: budget elements
Financement : éléments du budget

Main budget elements:

  • The program
  • Measurement
  • Your time

Éléments principaux du budget :

  • Le programme
  • La mesure
  • Votre temps

Funding: who pays?

Funding: who pays?
Financement : qui finance ?

Early funders

  • The organization running the program
  • Friends and colleagues

Bigger (and slower) funders

  • Research agencies, development agencies
  • Bilateral/multilateral donors, foundations

Premiers bailleurs

  • L’organisation qui gère le programme
  • Amis et collègues

Bailleurs plus grands (et plus lents)

  • Agences de recherche, agences de développement
  • Bailleurs bilatéraux/multilatéraux, fondations

Scoping and piloting

Scoping and piloting
Cadrage et pilotage
  • Is the intervention feasible?
  • Is your measurement strategy feasible?
  • What data do you need?
  • Can all partners play their roles?
  • You cannot learn much about effect size from a pilot!
  • L’intervention est-elle réalisable ?
  • La stratégie de mesure est-elle réalisable ?
  • De quelles données avez-vous besoin ?
  • Tous les partenaires peuvent-ils jouer leur rôle ?
  • On n’apprend pas grand-chose sur la taille d’effet avec un pilote !

Five uses of AI

Five uses of AI
Cinq usages de l’IA

Principle: AI can be excellent for giving feedback and making suggestions, but do not let it make writing or analysis choices for you.

  • Idea generation and research gaps
  • Survey design (simplify questions, spot errors)
  • Coding (cleaning, randomization, estimation, power)
  • Translation (surveys, protocols, training)
  • Feedback on final report writing

Always check work; beware of plagiarism

Principe : l’IA peut être excellente pour donner des retours et faire des suggestions, mais ne la laissez pas faire vos choix d’écriture ou d’analyse.

  • Génération d’idées et lacunes de recherche
  • Conception d’enquêtes (simplifier, détecter les erreurs)
  • Codage (nettoyage, randomisation, estimation, puissance)
  • Traduction (questionnaires, protocoles, formation)
  • Retour sur la rédaction du rapport

Toujours vérifier ; attention au plagiat

Recap: 14 steps

Recap: 14 steps
Récapitulatif : 14 étapes

Launch: learn → idea → partners → design → funding → assess → workshop → pilot

Run: implement → monitor → pivot

Report: analyze → communicate → archive

Lancer : découvrir → idée → partenaires → design → financement → évaluer → atelier → pilote

Mettre en œuvre : implémenter → contrôler → pivoter

Rédiger : analyser → communiquer → archiver