Randomization 2: Some common types of designs | Randomisation 2 : Quelques types courants de conception

Yannick + Macartan; Alyssa + Vin

2026-06-12

 

Table of contents
Table des matières

Some common designs

Some common designs
Quelques types courants de conception
  1. Factorial
  2. Waitlist (delayed access)
  3. Encouragement
  1. Factorielle
  2. Liste d’attente (accès graduel)
  3. Incitations

1. Factorial Design

1. Factorial Design
Conception factorielle
  • In a factorial design, there are two or more factors and each factor has two or more conditions.
  • Each unit is assigned to one of the possible combinations of these conditions.
  • Dans un plan factoriel, il y a au moins deux facteurs et chaque facteur comporte au moins deux conditions.
  • Chaque unité est assignée à l’une des combinaisons possibles de ces conditions.

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation

There are many possible treatment effects (comparisons) in a factorial design:

  1. Conditional Average Treatment Effect (CATE): the ATE of one factor, for a given level of the other factor.

Il y a plusieurs effets de traitement (comparaisons) dans une conception factorielle :

  1. Effet moyen de traitement conditionnel (CATE) : l’effet moyen d’un des facteurs, en maintenant fixe la valeur de l’autre facteur.

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation
  • There are four possible CATEs in this design.
  • One is the CATE of information conditional on having transport. It compares the cell with information + transport to the cell with transport only. We can ignore the first column.
  • Il y a 4 CATE possibles dans cette conception.
  • L’un d’eux est le CATE de l’information sous la condition d’avoir reçu le transport. Cela compare la cellule avec information + transport à la cellule avec transport seulement. Nous ignorons la première colonne.

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation
  1. Interaction effect: the ATE of one factor may differ by levels of the other factor. A treatment effect may be larger or smaller depending on the other treatment.
  1. Effet d’interaction : l’effet d’un facteur peut dépendre de la condition d’assignation de l’unité à un autre facteur. Un facteur peut amplifier ou réduire l’effet de l’autre.

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation
  • Does having transport change the effect of information? We compare the CATE of information with transport (from before) to the CATE of information without transport.
  • If the 2 CATEs are different, we say there is an interaction effect.
  • Est-ce que le transport change l’effet de l’information ? Nous comparons le CATE de l’information avec transport (comme avant) au CATE de l’information sans transport.
  • Si les 2 CATE sont différents, on dira qu’il y a un effet d’interaction.

1. Factorial Design

1. Factorial Design
Conception factorielle
Transport: No Transport: Yes
Information: No Neither Transport only
Information: Yes Information only Information + Transportation
  1. Average effect of one treatment (given the distribution of the other treatment).
  1. Effet moyen d’un traitement (étant donné la distribution de l’autre traitement).

1. Factorial Design

1. Factorial Design
Conception factorielle

Design-based analysis

Main estimands

Paramètres

\(X_2\)
0 1 All Diff
\(X_1\) 0 \(\overline{y}_{00}\) \(\overline{y}_{01}\) \(\overline{y}_{0.}\) \(\tau_2 \mid X_1{=}0\)
1 \(\overline{y}_{10}\) \(\overline{y}_{11}\) \(\overline{y}_{1.}\) \(\tau_2 \mid X_1{=}1\)
All \(\overline{y}_{.0}\) \(\overline{y}_{.1}\) \(\overline{y}\) \(\tau_2\)
Diff \(\tau_1 \mid X_2{=}0\) \(\tau_1 \mid X_2{=}1\) \(\tau_1\) \(\tau_{12}\)

1. Factorial Design

1. Factorial Design
Conception factorielle 
library(randomizr)
set.seed(12345)

information <- complete_ra(N = 24, m = 12)
transport <- block_ra(blocks = information)

table(information, transport)
           transport
information 0 1
          0 6 6
          1 6 6

2. Waitlist design (delayed access)

2. Waitlist design (delayed access)
Liste d’attente (accès graduel)
  • Situation: Only a certain number of units can be treated at a time. Once treated, a unit stays in treatment.
  • When an intervention can be or must be rolled out in stages, you can randomize the order (timing) in which units are treated.
  • Situation : seul un certain nombre d’unités peuvent être traitées en même temps. Une fois traitée, une unité reste en traitement.
  • Lorsqu’une intervention peut ou doit être déployée par étapes, vous pouvez randomiser l’ordre (timing) de traitement des unités.

2. Waitlist design (delayed access)

2. Waitlist design (delayed access)
Liste d’attente (accès graduel)

  • Your control group are the as-yet untreated units.
  • Votre groupe de contrôle est constitué des unités pas encore traitées.

2. Waitlist design (delayed access)

2. Waitlist design (delayed access)
Liste d’attente (accès graduel)
  • We need to assume no anticipation.
  • This means that the potential outcome is not affected by future treatment status.
  • Nous devons faire l’hypothèse d’aucune anticipation.
  • Cela signifie que le résultat potentiel n’est pas affecté par l’état futur du traitement.

2. Waitlist design (delayed access)

2. Waitlist design (delayed access)
Liste d’attente (accès graduel)
  • We analyze the data from all time periods together.
  • Be careful: the probability of assignment to treatment will vary over time because units assigned to treatment in earlier stages are not eligible for treatment in later stages.
  • Nous analysons les données de toutes les périodes ensemble.
  • Attention : la probabilité d’assignation au traitement variera dans le temps car les unités assignées au traitement à des stades antérieurs ne sont plus éligibles aux stades ultérieurs.

3. Encouragement design

3. Encouragement design
Conception incitative

3. Encouragement design

3. Encouragement design
Conception incitative

3. Encouragement design

3. Encouragement design
Conception incitative
  • Situation: You can’t force people to take (receive) your treatment. Treatment assigned is not the same as treatment received.
  • We can randomize encouragement \(Z\) to take the treatment, such as a request to drink coffee or offering a subsidy to participate in a program.
  • We measure the encouragement \(Z\), taking the treatment \(D\), and the outcome \(Y\).
  • Situation : vous ne pouvez pas forcer les gens à prendre (recevoir) le traitement. Le traitement assigné n’est pas le même que le traitement reçu.
  • Nous pouvons randomiser l’incitation \(Z\) à suivre le traitement, par exemple en demandant de boire un café ou en offrant une subvention.
  • On mesure l’incitation \(Z\), le traitement reçu \(D\), et le résultat \(Y\).

3. Encouragement design

3. Encouragement design
Conception incitative
  • \(D\) is not randomized!
  • So it is difficult to learn the ATE of \(D\) on \(Y\).
  • But we may be able to target other estimands.
  • \(D\) n’est pas randomisé !
  • Il est alors difficile d’estimer l’ATE de \(D\) sur \(Y\).
  • Mais nous pouvons peut-être cibler d’autres paramètres.

3. Encouragement design

3. Encouragement design
Conception incitative

Estimand 1:

  • We can learn the average effect of the encouragement \(Z\) to take the treatment on the outcome \(Y\).
  • This is the ATE of \(Z\), also known as ITT, the intent-to-treat effect.

Paramètre 1 :

  • Nous pouvons estimer l’effet moyen de l’encouragement \(Z\) à suivre le traitement sur le résultat \(Y\).
  • C’est l’ATE de \(Z\), aussi appelé ITT, l’effet de l’intention de traiter.

3. Encouragement design

3. Encouragement design
Conception incitative

Estimand 2:

  • With some additional assumptions, we can also learn the average effect of taking the treatment \(D\) for Compliers.
  • This is known as the Complier Average Causal Effect (CACE) or Local Average Treatment Effect (LATE).

Paramètre 2 :

  • Avec quelques hypothèses supplémentaires, nous pouvons aussi estimer l’effet moyen de l’acceptation du traitement \(D\) pour les conformistes.
  • C’est l’effet causal moyen du conformiste (CACE) ou l’effet moyen local du traitement (LATE).

3. Encouragement design

3. Encouragement design
Conception incitative
  • Who are Compliers? They are units that would take the treatment if encouraged (\(D(1)=1\)) and not if not (\(D(0)=0\)).
  • Qui sont les conformistes ? Des unités qui prendraient le traitement si encouragées (\(D(1)=1\)) et pas sinon (\(D(0)=0\)).
Type \(Z=1\) \(Z=0\)
Always Taker \(D(1)=1\) \(D(0)=1\)
Complier \(D(1)=1\) \(D(0)=0\)
Never Taker \(D(1)=0\) \(D(0)=0\)
Defier \(D(1)=0\) \(D(0)=1\)

3. Encouragement design

3. Encouragement design
Conception incitative
  • Additional assumption 1: For CACE, we need excludability (exclusion restriction): the encouragement \(Z\) only affects the outcome \(Y\) through taking the treatment \(D\).
  • Hypothèse supplémentaire 1 : pour le CACE, nous avons besoin de l’excluabilité (restriction d’exclusion) : l’encouragement \(Z\) n’affecte \(Y\) qu’à travers le traitement \(D\).

3. Encouragement design

3. Encouragement design
Conception incitative
  • Additional assumption 2: For CACE using this design, we also need the assumption of monotonicity. This means no Defiers.
  • Hypothèse supplémentaire 2 : pour le CACE, nous avons aussi besoin de monotonicité. Cela signifie qu’il n’y a pas de non-conformistes.
Type \(Z=1\) \(Z=0\)
Always Taker \(D(1)=1\) \(D(0)=1\)
Complier \(D(1)=1\) \(D(0)=0\)
Never Taker \(D(1)=0\) \(D(0)=0\)

3. Encouragement design

3. Encouragement design
Conception incitative
  • Careful (1)! Do not compare those who take treatment (\(D=1\)) to those who do not (\(D=0\)). Taking treatment is not randomly assigned and the two groups are not comparable.
  • Attention (1) ! Ne comparez pas les sujets qui prennent le traitement (\(D=1\)) à ceux qui ne le prennent pas (\(D=0\)). La prise du traitement n’est pas aléatoire et les deux groupes ne sont pas comparables.

3. Encouragement design

3. Encouragement design
Conception incitative

3. Encouragement design

3. Encouragement design
Conception incitative
  • Careful (2)! For the CACE, we have to assess whether excludability and monotonicity hold in our study.
  • If not, we can still target the ITT with the other standard key assumptions.
  • Attention (2) ! Il faut évaluer si la restriction d’exclusion et la monotonicité sont raisonnables dans notre étude.
  • Sinon, nous pouvons encore cibler l’ITT avec les autres hypothèses clés standardes.

3. Encouragement design

3. Encouragement design
Conception incitative
  • When would you target ITT? When would you target CACE?
  • ITT: Policy can directly change \(Z\), but not \(D\).
  • CACE: We may want to know the effect of \(D\) even if it’s for just some of the units.
  • Quand cibler l’ITT ? Quand cibleriez-vous le CACE ?
  • ITT : la politique peut modifier directement \(Z\), mais pas \(D\).
  • CACE : nous pourrions vouloir connaître l’effet de \(D\) même si ce n’est que pour certaines unités.

Summary

Summary
Résumé
  • Factorial: 2 or more treatments with possible interaction
  • Waitlist: when we have a constraint on how many treatments can be delivered at once
  • Encouragement: when we can’t force units to take the treatment
  • Factorielle : 2 traitements ou plus avec interaction possible
  • Liste d’attente : contrainte sur le nombre de traitements délivrés à la fois
  • Incitation : quand on ne peut pas obliger les unités à recevoir le traitement

Resources

Resources
Ressources

EGAP Methods Guide on Randomization: https://egap.org/resource/10-things-to-know-about-randomization/

Guide des méthodes EGAP sur la randomisation : https://egap.org/fr/resource/10-choses-a-savoir-sur-la-randomisation/