In-class card experiment | Expérience en classe : le jeu de cartes

Macartan, Alyssa

2026-06-12

 

Table of contents
Table des matières

Introduction

Introduction
Introduction

Welcome

Welcome
Bienvenue

Today you will design and run a small experiment by hand.

You will learn about random assignment, analysis, and design evaluation — without a computer on your desk (for the physical part).

Work in teams. Be precise. Play fair.

Aujourd’hui, vous allez concevoir et mener une petite expérience à la main.

Vous découvrirez l’assignation aléatoire, l’analyse et l’évaluation (le diagnostic) de la conception de recherche (sans ordinateur).

Vous travaillerez en équipes.

Your materials

Your materials
Les éléments du jeu

Each team receives an envelope with 20 cards.

Chaque équipe reçoit une enveloppe avec 20 cartes.

Your materials

Your materials
Votre matériel

What’s on each card

What’s on each card
Sur chaque carte

On each card:

  • One number in black writing on white background
  • One number in white writing on black background
  • On the reverse, there is an ID and there may or may not be a symbol or text

Sur chaque carte :

  • Une face : un nombre en noir sur fond blanc et un nombre en blanc sur fond noir
  • L’autre face : on trouve un identifiant et parfois un symbole ou du texte

The research question

The research question
La question de recherche

Question: On average, are the black numbers larger, smaller, or the same as the white numbers?

This is your “estimand” — the quantity you want to learn.

Question : En moyenne, les nombres noirs sont-ils plus grands, plus petits ou identiques aux nombres blancs ?

C’est votre paramètre — la quantité que vous souhaitez déterminer.

The catch (honor code)

The catch (honor code)
Quelques règles

When you turn over a card, you may read only one number:

  • the black number, or
  • the white number — not both

You must decide before reading the card which number you will record.

You may look at the symbol on the back before choosing.

Quand vous retournez une carte, vous ne pouvez lire qu’un seul nombre :

  • soit le nombre noir
  • soit le nombre blanc — mais pas les deux

Vous devez décider avant de retourner la carte quel nombre vous allez noter.

Vous pouvez regarder le symbole au dos avant de faire votre choix.

Why this is hard

Why this is hard
Pourquoi c’est difficile

Each card can give two possible answers:

  • the black number
  • the white number

You never observe both on the same card.

You choose the assignment to white or black:

\(X=0\): read white or \(X=1\): read black.

Chaque carte a deux nombres possibles (``résultats potentiels”) :

  • le nombre noir
  • le nombre blanc

Vous n’observez jamais les deux sur la même carte.

Vous choisissez l’assignation au blanc ou au noir :

\(X=0\) : lire le nombre en blanc ou \(X=1\) : lire le nombre en noir.

Step 1

Step 1
Étape 1

Step 1 — First experiment

Step 1 — First experiment
Étape 1 — Première expérience
  1. Place all cards face down.
  2. Choose your assignment strategy: for each card, will you read black or white? (Any method is allowed — but write it down.)
  3. Turn cards over and record the number you chose to read.
  4. Enter results in a spreadsheet (one row per card).
  1. Placez toutes les cartes face cachée.
  2. Choisissez votre stratégie d’assignation : pour chaque carte, lirez-vous le noir ou le blanc ? (Toutes les méthodes sont autorisées — mais notez-la.)
  3. Retournez les cartes et notez le nombre que vous avez choisi de lire.
  4. Saisissez les résultats dans un tableau Excel (une ligne par carte).

Data you record

Data you record
Données à enregistrer
Column Meaning
ID Card identifier
\(X\) Color read: white = 0, black = 1
\(Y\) Number you observed
(later) Extra columns for symbols or notes
Colonne Signification
ID Identifiant de la carte
\(X\) Couleur lue : blanc = 0, noir = 1
\(Y\) Nombre observé
(plus tard) Colonnes supplémentaires pour symboles ou notes

Example data

Example data
Exemple de données

First three rows of your spreadsheet:

Les trois premières lignes de votre feuille :

ID X Y
1 0 9
2 0 2
3 1 3

Step 1 — First experiment

Step 1 — First experiment
Étape 1 — Première expérience
  • Estimate of the average difference (black minus white)
  • Tell us what you conclude about whether the black or white numbers are bigger
  • Record how certain you are: Very certain, somewhat certain, very uncertain
  • [Option: record \(p\)-values if you calculate these]
  • Calculez une estimation de la différence moyenne (noir moins blanc)
  • Indiquez quelle conclusion vous tirez concernant la question initiale : les nombres noirs et les nombres blancs sont-ils différents en moyenne ?
  • Indiquez votre degré de certitude : très sûr, assez sûr, pas du tout sûr
  • [Option : enregistrer les \(p\)-valeurs si vous les calculez]

Step 1 — Summary: 3 tasks

Step 1 — Summary: 3 tasks
Étape 1 — Résumé : 3 tâches
  1. Assign black or white
  2. Data collection in spreadsheet: 20 rows
  3. Analysis
    • Average of white and black
    • Which is bigger?
    • Certainty?
    • [Optional: \(p\)-value]
  1. Assigner noir ou blanc
  2. Collecte des données dans une feuille Excel (20 lignes)
  3. Analyse
    • La moyenne des nombres en noir et celle des nombres en blanc
    • Laquelle est plus grande ?
    • Certitude ?
    • [Si vous voulez… \(p\)-valeur]

Step 2

Step 2
Étape 2

Step 2 — Redesign and repeat

Step 2 — Redesign and repeat
Étape 2 — Reconcevoir et répéter

You completed one round. Now run 10 more.

Before you start, write a short pre-analysis plan (your design):

  • Will you change how you assign \(X\)?
  • Will you change how you analyze the data?

Vous avez terminé un tour. Maintenant, refaites l’expérience 10 fois.

Avant de commencer, rédigez un court plan de pré-analyse (votre conception de recherche) :

  • Allez-vous changer comment vous assignez \(X\) ?
  • Allez-vous changer comment vous analysez les données ?

Step 2 — Redesign and repeat

Step 2 — Redesign and repeat
Étape 2 — Reconcevoir et répéter

Then repeat Steps 1–5 ten times.

Plot histograms of your estimates across the 10 runs.

[Optional: plot estimates of standard errors, and \(p\)-values.]

Puis répétez les étapes 1–5 dix fois.

Tracez des histogrammes de vos estimations sur les 10 répétitions.

[Option : tracez des histogrammes des erreurs-types et des \(p\)-valeurs.]

Step 2 — Redesign and repeat

Step 2 — Redesign and repeat
Étape 2 — Reconcevoir et répéter
ID X_1 Y_1 X_2 Y_2 X_3 Y_3
1 0 9 1 7
2 0 2 1 1
3 1 3 1 3
trial black_average white_average black_bigger certain
1 5 1 1 1
2 2 6 0 1
3 3 3 0 1

Step 3

Step 3
Étape 3

Step 3 — Reveal and diagnose

Step 3 — Reveal and diagnose
Étape 3 — Révéler et diagnostiquer

Now turn all cards over and read both numbers on every card.

  1. Calculate the true average difference (black minus white).
  2. Using your 10 runs, assess:
    • Bias — did estimates center on the truth?
    • Power — how often did you reject “no difference” when there is one?
  3. Explore correlations (white vs black numbers; numbers vs symbols).

Retournez maintenant toutes les cartes et lisez les deux nombres sur chaque carte.

  1. Calculez la vraie différence moyenne (noir moins blanc).
  2. À partir de vos 10 répétitions, évaluez :
    • Biais — les estimations centrent-elles sur la vérité ?
    • Puissance — à quelle fréquence rejettez-vous « aucune différence » quand il y en a une ?
  3. Explorez les corrélations (blanc vs noir ; nombres vs symboles).

Deliverables

Deliverables
Livrables

What to submit

What to submit
Ce qu’il faut rendre

E-mail a short team report with:

  1. Team members’ names
  2. Pre-analysis plan (one paragraph: assignment; one paragraph: analysis)
  3. Histograms from Step 2
  4. Diagnosis from Step 3

Envoyez par e-mail un rapport d’équipe avec :

  1. Noms des membres de l’équipe
  2. Plan de pré-analyse (un paragraphe : assignation ; un paragraphe : analyse)
  3. Histogrammes de l’étape 2
  4. Diagnostic de l’étape 3

In-class discussion

In-class discussion
Discussion en classe

Discussion 1 — Design choices

Discussion 1 — Design choices
Discussion 1 — Choix dans la conception de recherche
  • What assignment rule did you use for \(X\)? Why?
  • Did you use the symbol on the back when choosing? Should you?
  • Could your rule create bias even if you analyze correctly?
  • Quelle règle d’assignation avez-vous utilisée pour \(X\) ? Pourquoi ?
  • Avez-vous utilisé le symbole au dos pour choisir ? Devriez-vous ?
  • Votre règle pourrait-elle créer un biais même avec une bonne analyse ?

Discussion 2 — What you learned from repeating

Discussion 2 — What you learned from repeating
Discussion 2 — Ce que la répétition vous a appris
  • How much did your estimate vary across the 10 runs?
  • Did standard errors and \(p\)-values behave as you expected?
  • What would you change in a second generation design?
  • Dans quelle mesure vos estimations ont-elles varié au cours des 10 essais ?
  • Les erreurs-types et \(p\)-valeurs se sont-elles comportées comme prévu ?
  • Que changeriez-vous dans une conception de recherchde de deuxième génération ?

Discussion 3 — Truth and diagnosis

Discussion 3 — Truth and diagnosis
Discussion 3 — Vérité et diagnostic
  • Were your designs unbiased? Powerful? Well calibrated?
  • When would blocking or adjusting for symbols help?
  • How is this card game like a real field experiment? What is different?
  • Vos conceptions étaient-elles non biaisées ? Puissantes ? Bien calibrées ?
  • Quand la randomisation par bloc ou l’ajustement sur les symboles aiderait-il ?
  • En quoi ce jeu de cartes ressemble-t-il à une vraie expérience de terrain ? Qu’est-ce qui diffère ?

Discussion 4 — Big picture

Discussion 4 — Big picture
Discussion 4 — Vue d’ensemble
  • What is the difference between design (how you assign \(X\)) and analysis (how you estimate)?
  • Why is a pre-analysis plan useful before repeating a study?
  • What did this exercise teach you about randomization?
  • Quelle est la différence entre conception de recherche (assigner \(X\)) et une analyse (estimer) ?
  • Pourquoi un plan de pré-analyse est-il utile avant de répéter une étude ?
  • Qu’est-ce que cet exercice vous a appris sur la randomisation ?

What was going on?

What was going on?
Ce qui se passait ?

In all groups, \(Y_0\) were the numbers 1–20.

\(\tau\) Uncertainty Clue Symbols
A 0 Low \(Y_1\) negatively correlated with \(Y_0\) Irrelevant
B 0 High \(Y_1\) positively correlated with \(Y_0\) Irrelevant
C 5 Low \(Y_1\) negatively correlated with \(Y_0\) Use as control / blocks
D 5 High \(Y_1\) positively correlated with \(Y_0\) Use as control / blocks
E 5 Medium \(Y_1\) has no variance Irrelevant — choose lots of \(Y_0\)
F 5 Medium Heterogeneous by prompt Block with more \(Y_0\) in no-prompt group

Dans tous les groupes, \(Y_0\) étaient les nombres 1 à 20.

\(\tau\) Incertitude Indice Symboles
A 0 Faible \(Y_1\) négativement corrélé à \(Y_0\) Sans importance
B 0 Élevée \(Y_1\) positivement corrélé à \(Y_0\) Sans importance
C 5 Faible \(Y_1\) négativement corrélé à \(Y_0\) Utiliser comme contrôle / blocs
D 5 Élevée \(Y_1\) positivement corrélé à \(Y_0\) Utiliser comme contrôle / blocs
E 5 Moyenne \(Y_1\) sans variance Sans importance — choisir beaucoup de \(Y_0\)
F 5 Moyenne Hétérogénéité selon l’invite Bloquer avec plus de \(Y_0\) dans le groupe sans invite

Results

Results
Résultats

Distribution of estimates, standard errors, and \(p\)-values across estimators.

Distribution des estimations, erreurs-types et \(p\)-valeurs par estimateur.