Module 9 Menaces affectant la validité interne des expériences aléatoires

Les expériences randomisées peuvent se heurter à des problèmes qui compromettent leur capacité à démontrer les effets causaux, c’est-à-dire menacer leur validité interne. Certaines unités peuvent être exclues des résultats et cette absence peut être due au traitement : soit les unités n’ont pas reçu le traitement qui leur était assigné ou elles ont subi des effets de contamination d’un voisin traité.

Dans ce module, nous abordons certaines menaces courantes et les bonnes pratiques pour les éviter ou les contourner.

9.1 Contenu

  • Passez en revue les trois hypothèses de base discutées dans le module sur l’inférence causale.

  • Nous avons dit “analysez en randomisant” dans le module sur les paramètres et estimateurs. N’oubliez pas que vous avez randomisé l’assignation du traitement. Vous n’avez pas randomisé si le traitement est reçu, ni si une unité participe à la collecte de données.

  • Les données manquantes dans les résultats (i.e. l’attrition) sont particulièrement problématiques si le pattern des données absentes est causé par le traitement lui-même. C’est un problème très courant.

    • Ne supprimez pas les observations de votre analyse pour lesquelles il manque des données.

    • Vous pourriez borner les estimations des effets du traitement.

  • Non-conformité. L’effet de l’assignation du traitement n’est pas le même que l’effet du traitement reçu. Parfois, les unités ne se conformeront pas au choix de traitement qui leur a été assigné.

    • La conformité unilatérale signifie que certaines unités assignées au traitement ne prennent pas le traitement, et toutes les unités assignées au contrôle ne prennent pas le traitement.

    • L’effet moyen local du traitement (local average treamtent effect, LATE), aussi connu sous le nom d’effet causal moyen pour ceux qui se conforment au traitement (complier average causal effect, CACE), est l’effet moyen pour les unités qui prennent le traitement lorsqu’elles sont assignées au traitement. Si l’hypothèse de monotonie et la restriction d’exclusion sont remplies, il est possible d’estimer l’effet moyen local du traitement en cas de non-conformité.

  • Les “effets de contamination” ou les interférences entre unités constituent une violation de l’une des hypothèses fondamentales de l’inférence causale.

    • Cependant, cela peut ne pas être un problème si vous êtes intéressé par les effets de contamination et/ou si vous avez conçu votre recherche en le prenant tenant en compte.

  • L’effet Hawthorne se produit lorsque les sujets se comportent différemment parce qu’ils sont observés.

  • La non-exclusion. Traiter différemment les unités des groupes de traitement et de contrôle, par exemple avec des processus de collecte de données différents ou une attention particulière pour les unités traitées, peut perturber l’interprétation des résultats expérimentaux.

    • Si l’effet Hawthorne est présent pour le groupe de traitement mais pas pour le groupe de contrôle, il y a une violation de l’hypothèse d’exclusion.

9.2 Slides

Vous trouverez ci-dessous des slides avec le contenu de base de notre conférence sur les menaces à la validité interne des expériences aléatoires. Vous pouvez les utiliser directement ou les copier localement avant de les éditer.

Vous pouvez également voir les slides utilisées lors des précédentes journées d’apprentissage du réseau EGAP :

9.3 Ressources

9.3.1 Guide des méthodes EGAP

9.3.2 Livres, chapitres et articles