What are the limitations of observational research?
What is a randomized experiment?
Who uses experiments?
What are experiments good for (and not)?
Quelles sont les limites des études observationnelles ?
Qu’est-ce qu’une expérience aléatoire ?
Qui utilise les expériences ?
À quoi servent les expériences ?
The big picture
The big picture
La vue d’ensemble
\[X \overset{?}{\rightarrow} Y\]
What is X called? What is Y called?
What is X called? What is Y called?
Comment appelle-t-on X ? Comment appelle-t-on Y ?
\[X \overset{?}{\rightarrow} Y\]
What is X called?
What is Y called?
Comment appelle-t-on X ?
Comment appelle-t-on Y ?
What is X called? What is Y called?
What is X called? What is Y called?
Comment appelle-t-on X ? Comment appelle-t-on Y ?
\[X \overset{?}{\rightarrow} Y\]
X: independent variable, treatment
Y: dependent variable, outcome variable
X : variable indépendante, traitement
Y : variable dépendante, variable de résultat
What is the impact of decentralization on corruption?
What is the impact of decentralization on corruption?
Quel est l’impact de la décentralisation sur la corruption ?
How would we try to answer that question?
Comment y répondre ?
Observational research: the usual approach
Observational research: the usual approach
Études observationnelles : l’approche habituelle
Download and merge existing datasets
Measure naturally occurring behaviors or outcomes, perhaps by running a survey
Observe, don’t intervene or treat
Télécharger et fusionner les bases de données existants
Mesurer les comportements ou d’autres résultats, par exemple en menant un sondage
On observe, sans intervenir ni traiter
An observational study of decentralization
An observational study of decentralization
Une étude observationnelle de la décentralisation
Fisman and Gatti (2002): “Decentralization and corruption: evidence across countries” (cited 2,423 times)
Data from transparency international and IMF on 80 countries; OLS regression (with controls)
Finds a strong country-level correlation between fiscal decentralization in government expenditure and lower corruption
World Bank heavily promoted decentralization in the 1990s and 2000s
Fisman et Gatti (2002) : “Decentralization and corruption: evidence across countries” (cité 2 423 fois)
Données de Transparency International et du FMI sur 80 pays ; régressions MCO (avec variables de contrôle)
Constate une forte corrélation au niveau des pays entre la décentralisation fiscale des dépenses publiques et une baisse de la corruption
La Banque mondiale a fortement encouragé la décentralisation dans les années 1990 et 2000
Should the World Bank believe that decentralization decreases corruption, based on Fisman and Gatti (2002)?
Should the World Bank believe that decentralization decreases corruption, based on Fisman and Gatti (2002)?
La Banque mondiale devrait-elle croire que la décentralisation réduit la corruption ?
Countries that decentralize may
Be less corrupt to begin with
Have stronger civil societies
Adopt other governance reforms at the same time
Les pays qui se décentralisent sont peut-être
moins touchés par la corruption dès le départ
dotés d’une société civile plus forte
susceptibles d’adopter d’autres réformes de gouvernance en parallèle
Confounding
Confounding
Facteurs de confusion
Confounding: a hidden factor that makes it look like there’s a causal effect when there might not be
Observational research can show patterns and associations, but rarely causality
Facteurs de confusion : facteur caché qui donne l’impression qu’il existe un lien de causalité alors qu’il n’y en a peut-être pas
La recherche observationnelle permet de mettre en évidence des tendances et des associations, mais rarement des liens de causalité
What is a randomized experiment?
What is a randomized experiment?
Qu’est-ce qu’une expérience aléatoire ?
You have a treatment (intervention)
You randomly assign units to treatment and control conditions
You compare the outcomes for the units that were assigned to treatment to outcomes for those that were not
Vous avez un traitement (intervention)
Vous répartissez aléatoirement les unités entre le groupe de traitement et le groupe témoin
Vous comparez les résultats des unités assignées au traitement à ceux des unités assignées au contrôle
Randomized experiment diagram
Randomized experiment diagram
Schéma d’une expérience aléatoire
Why an experiment?
Why an experiment?
Pourquoi mener une expérience ?
Random assignment \(\rightarrow\) highly credible evidence that there is no effect
If politicians/bureaucrats believe results, they won’t spend money on decentralization (if the goal is reduced corruption)
L’assignation aléatoire \(\rightarrow\) une preuve très solide de l’absence d’effet
Si les responsables politiques et les fonctionnaires croient ce que révèlent les résultats, ils ne consacreront pas de fonds à la décentralisation (si leur objectif est de réduire la corruption)
Widespread use
Widespread use
Utilisation répandue
Clinical trials for medicine
Political campaigns
Tech A/B testing
Policy trials in governments
Essais cliniques
Campagnes politiques
Tests A/B en tech
Expérimentations de politiques publiques au sein des gouvernements
Use in social science
Use in social science
Utilisation en sciences sociales
Corrected wrong beliefs
Found that some things don’t scale
Encouraged good policies
Corrigé certaines idées fausses
montré que certaines choses ne sont pas transposables à plus grande échelle
favorisé la mise en place de bonnes politiques publiques
Proving beliefs wrong
Proving beliefs wrong
Corriger certaines idées fausses
Belief: Microfinance boosts poverty reduction
Multiple studies have randomized microcredit at the group or neighborhood level
Result: No impact on household income, consumption, or women’s empowerment
Idée reçue : la microfinance favorise la réduction de la pauvreté
De nombreuses études ont mis en place des programmes de microcrédit de manière aléatoire
Résultat : aucun impact sur les revenus des ménages, la consommation ou l’autonomisation des femmes
Proving beliefs right
Proving beliefs right
Valider les croyances
Belief: Conditional cash transfers improve school attendance
Study: PROGRESA in Mexico randomized whether families were paid to keep children in school
Result: Large increases in enrollment, especially for girls and secondary students
Idée reçue : Les transferts monétaires conditionnels augmentent la fréquentation scolaire
Étude : Le programme PROGRESA au Mexique a randomisé le versement d’allocations aux familles pour maintenir leurs enfants à l’école
Résultat : Forte hausse des inscriptions, en particulier pour les filles et les élèves du secondaire
Limitations to experiments
Limitations to experiments
Limites des expériences
Some things don’t need an experiment (smoking and parachutes)
Some experiments aren’t ethical
Some interventions can’t be randomized
Certaines choses ne nécessitent pas d’expérience (le tabac et les parachutes)
Certaines expériences ne sont pas éthiques
Certaines interventions ne peuvent pas être randomisées
Why experiments
Why experiments
Pourquoi des expérimentations ?
Let’s put beliefs to the test
What works? \(\rightarrow\) Let’s find out!
Mettons nos convictions à l’épreuve
Qu’est-ce qui fonctionne ? \(\rightarrow\) Découvrons-le !
