--- title: "Lifecycle of an experiment | *Cycle de vie d'une expérience*" author: "Vin + Macartan" date: today bibliography: assets/learningdays-book.bib format: revealjs: embed-resources: true --- ## Key points | *Points clés du cours* ::: {.columns} ::: {.column .lang-en width="50%"} - Start with descriptive research - Assess your design in many ways - Build the right team — people and culture - Don't be afraid to stop ::: ::: {.column .lang-fr width="50%"} - Commencez par la recherche descriptive - Évaluez votre conception de multiples façons - Constituez la bonne équipe — personnes et culture - N'hésitez pas à abandonner un projet ::: ::: ## Experimentation: Stages (1) | *Expérimentation : étapes (1)* {.smaller} ::: {.columns} ::: {.column .lang-en width="50%"} 1. Find a good **question**: Minimally, find an $X$ and a $Y$. You might have $X$-based motivations, $Y$-based motivations, Theory based, hypothesis based, mechanism based, replication focused 2. Survey literatures, identify **contribution**. 3. Identify funders and partners, **resources**. Perhaps run exploratory pilot analyses. 4. Develop a **design**: Data strategy | Measurement strategy | Answer strategy 5. **Simulate** the design: Power analysis, confirmation of properties of estimators 6. **Present**! Gather feedback 7. Gather **priors**: what do others expect will happen? 8. Apply for **ethics** approval 9. Ensure **compliance** with other provisions (e.g. GDPR)! 10. **Register** a pre-analysis plan (e.g. OSF, AEA) ::: ::: {.column .lang-fr width="50%"} 1. Trouver une bonne **question** : au minimum, identifier un $X$ et un $Y$: motivations liées au $X$, motivations liées au $Y$, théorie, hypothèses, mécanismes, réplication 2. Passer en revue la littérature, identifier la **contribution**. 3. Identifier bailleurs de fonds et partenaires, **ressources**. Peut-être mener des analyses pilotes exploratoires. 4. Élaborer un **design** : stratégie de données | stratégie de mesure | stratégie de réponse 5. **Simuler** le design : analyse de puissance, propriétés des estimateurs 6. **Présenter** ! Recueillir des retours 7. Recueillir des **priors** : que s'attendent les autres ? 8. Demander l'approbation **éthique** 9. Assurer la **conformité** aux autres exigences (p. ex. RGPD) ! 10. **Enregistrer** un plan de pré-analyse (p. ex. OSF, AEA) ::: ::: ## Experimentation: Stages (2) | *Expérimentation : étapes (2)* {.smaller} ::: {.columns} ::: {.column .lang-en width="50%"} 11. Conduct **Baseline** (if needed): **With live data quality control!** 12. Implement **randomization** 13. Gather **process** observations 14. Implement **Endline**. **With live data quality control!** 15. Run **analysis**; check analysis 16. Generate **key tables** 17. **Present** to colleagues, but also present to any stakeholders 18. Prep **replication** materials. Make **data** and code available to others 19. **Writeup** 20. **Submit** [Get rejected — Submit again] ::: ::: {.column .lang-fr width="50%"} 11. Mener le **baseline** (si nécessaire) : **contrôle qualité des données en direct !** 12. Mettre en œuvre la **randomisation** 13. Recueillir des observations de **processus** 14. Mener l'**endline**. **Contrôle qualité des données en direct !** 15. Exécuter l'**analyse** ; vérifier l'analyse 16. Produire les **tableaux clés** 17. **Présenter** aux collègues et aux parties prenantes 18. Préparer les matériaux de **réplication**. Rendre **données** et code disponibles 19. **Rédaction** 20. **Soumettre** [Rejet — soumettre à nouveau] ::: ::: ## Where to start | *Par où commencer ?* ::: {.columns} ::: {.column .lang-en width="50%"} **Who finds the idea?** - A researcher - A programming organization - A donor **Where the idea comes from:** - Descriptive literature - Experiments (gap maps, replication) - Interviews/observation with participants or staff - Evidence gaps in practice ::: ::: {.column .lang-fr width="50%"} **Qui trouve l'idée ?** - Un chercheur - Une organisation de mise en œuvre - Un bailleur de fonds **D'où vient l'idée :** - Littérature descriptive - Expériences (cartes des lacunes, réplication) - Entretiens/observation avec participants ou personnel - Lacunes de preuves dans la pratique ::: ::: ## Do I always need a partner? | *Ai-je toujours besoin d'un partenaire ?* ::: {.columns} ::: {.column .lang-en width="50%"} Sometimes it is better to do intervention and evaluation **yourself** if… - The intervention is relatively small - You need a lot of control (variations, content) - You are less interested in testing an existing program ::: ::: {.column .lang-fr width="50%"} Il est parfois préférable de mener l'intervention et l'évaluation **vous-même** si… - L'intervention est relativement modeste - Vous avez besoin de beaucoup de contrôle (variations, contenu) - Vous testez moins un programme existant ::: ::: ## Finding a partner (1) | *Trouver un partenaire (1)* ::: {.columns} ::: {.column .lang-en width="50%"} Impact evaluations almost always involve **two partners**. **1. A researcher** - Technical skills in design and analysis - Can be independent from the program → less bias - Responsible for randomization, measurement, analysis, interpretation ::: ::: {.column .lang-fr width="50%"} Les évaluations d'impact impliquent presque toujours **deux partenaires**. **1. Un chercheur** - Compétences techniques en conception et analyse - Peut être indépendant du programme → moins de biais - Responsable de la randomisation, mesure, analyse, interprétation ::: ::: ## Finding a partner (2) | *Trouver un partenaire (2)* ::: {.columns} ::: {.column .lang-en width="50%"} **2. A programming team** - Skills in designing and implementing programs - Wants evidence on whether programs work - Implements the program and follows the research design (randomization, timeline, etc.) ::: ::: {.column .lang-fr width="50%"} **2. Une équipe de programmation** - Compétences en conception et mise en œuvre de programmes - Veut savoir si un programme produit les effets attendus - Met en œuvre le programme et respecte le design (randomisation, calendrier, etc.) ::: ::: ## Write a preanalysis plan (PAP) | *Écrire un plan de pré-analyse (PAP)* ::: {.columns} ::: {.column .lang-en width="50%"} A **PAP** is a complete, detailed description of your design: - Randomization and measurement plans - Hypotheses and analysis strategy - Power analysis Examples: [OSF Registries](https://osf.io/registries/) ::: ::: {.column .lang-fr width="50%"} Un **PAP** est une description complète et détaillée de votre design : - Plans de randomisation et de mesure - Hypothèses et stratégie d'analyse - Analyse de puissance Exemples : [registres OSF](https://osf.io/registries/) ::: ::: ## Why write a PAP? | *À quoi sert un PAP ?* ::: {.columns} ::: {.column .lang-en width="50%"} - Helps you fully define your plan → fewer mistakes - Reduces biased analysis → less **p-hacking** ::: ::: {.column .lang-fr width="50%"} - Aide à définir complètement le plan → moins d'erreurs - Réduit les analyses biaisées → moins de **p-hacking** ::: ::: ## Assess your design | *Évaluer votre design* ::: {.columns} ::: {.column .lang-en width="50%"} - Is it powered? - Do you analyze as you randomize? - Are risks to participants, communities, and staff sufficiently small? - Is it cost-effective? ::: ::: {.column .lang-fr width="50%"} - Le design a-t-il une (bonne) puissance ? - Analysez-vous comme vous randomisez ? - Les risques pour participants, communautés et personnel sont-ils suffisamment faibles ? - Est-ce rentable ? ::: ::: ## Feedback | *Retours d'information* ::: {.columns} ::: {.column .lang-en width="50%"} - **Researchers:** improve design technically (power, measures, theory links) - **Policymakers:** is it informative? Does it solve a problem? - **Programmers:** is it feasible? What are the risks? - **Participants:** would you participate? - **All:** any ethical problems? ::: ::: {.column .lang-fr width="50%"} - **Chercheurs :** améliorer le design (puissance, mesures, liens théoriques) - **Décideurs :** le design est-il informatif ? L'intervention résout-elle un problème ? - **Programmeurs :** faisable ? Quels risques ? - **Participants :** participeriez-vous ? - **Tous :** problèmes éthiques ? ::: ::: ## Funding: budget elements | *Financement : éléments du budget* ::: {.columns} ::: {.column .lang-en width="50%"} Main budget elements: - The program - Measurement - Your time ::: ::: {.column .lang-fr width="50%"} Éléments principaux du budget : - Le programme - La mesure - Votre temps ::: ::: ## Funding: who pays? | *Financement : qui finance ?* ::: {.columns} ::: {.column .lang-en width="50%"} **Early funders** - The organization running the program - Friends and colleagues **Bigger (and slower) funders** - Research agencies, development agencies - Bilateral/multilateral donors, foundations ::: ::: {.column .lang-fr width="50%"} **Premiers bailleurs** - L'organisation qui gère le programme - Amis et collègues **Bailleurs plus grands (et plus lents)** - Agences de recherche, agences de développement - Bailleurs bilatéraux/multilatéraux, fondations ::: ::: ## Scoping and piloting | *Cadrage et pilotage* ::: {.columns} ::: {.column .lang-en width="50%"} - Is the intervention feasible? - Is your measurement strategy feasible? - What data do you need? - Can all partners play their roles? - You **cannot** learn much about effect size from a pilot! ::: ::: {.column .lang-fr width="50%"} - L'intervention est-elle réalisable ? - La stratégie de mesure est-elle réalisable ? - De quelles données avez-vous besoin ? - Tous les partenaires peuvent-ils jouer leur rôle ? - On **n'apprend pas** grand-chose sur la taille d'effet avec un pilote ! ::: ::: ## Five uses of AI | *Cinq usages de l'IA* ::: {.columns} ::: {.column .lang-en width="50%"} **Principle:** AI can be excellent for giving feedback and making suggestions, but do not let it make writing or analysis choices for you. - Idea generation and research gaps - Survey design (simplify questions, spot errors) - Coding (cleaning, randomization, estimation, power) - Translation (surveys, protocols, training) - Feedback on final report writing *Always check work; beware of plagiarism* ::: ::: {.column .lang-fr width="50%"} **Principe :** l'IA peut être excellente pour donner des retours et faire des suggestions, mais ne la laissez pas faire vos choix d'écriture ou d'analyse. - Génération d'idées et lacunes de recherche - Conception d'enquêtes (simplifier, détecter les erreurs) - Codage (nettoyage, randomisation, estimation, puissance) - Traduction (questionnaires, protocoles, formation) - Retour sur la rédaction du rapport *Toujours vérifier ; attention au plagiat* ::: ::: ## Recap: 14 steps | *Récapitulatif : 14 étapes* ::: {.columns} ::: {.column .lang-en width="50%"} **Launch:** learn → idea → partners → design → funding → assess → workshop → pilot **Run:** implement → monitor → pivot **Report:** analyze → communicate → archive ::: ::: {.column .lang-fr width="50%"} **Lancer :** découvrir → idée → partenaires → design → financement → évaluer → atelier → pilote **Mettre en œuvre :** implémenter → contrôler → pivoter **Rédiger :** analyser → communiquer → archiver ::: :::