La réponse à une bonne question de recherche devrait produire des connaissances qui intéresseront les gens.
Aborder la question devrait (aider à) résoudre un problème, à prendre une décision, à clarifier ou à remettre en cause notre compréhension du monde.
Mais une question intéressante ne suffit pas.
Une bonne conception de recherche est un plan pratique de recherche qui utilise au mieux les ressources disponibles et produit une réponse crédible.
La qualité d’une conception de recherche peut être évaluée par la qualité des résultats produits pouvant servir à orienter les politiques et améliorer la science:
Une bonne conception de recherche produit des résultats qui pointent clairement dans des directions qui nous tiennent à cœur.
Une mauvaise conception de recherche produit des résultats qui nous laissent dans le flou — des résultats difficiles à interpréter.
Tout conception de recherche implique une théorie, qu’elle soit implicite ou explicite.
Pourquoi faire de la recherche ? Nous avons des théories et des valeurs personnelles implicites qui guident les questions que nous posons. Nos questions sont chargées de valeurs : par exemple, les scientifiques ont étudié la consommation de marijuana dans les années 1950 comme une forme de “déviance”, les questions se concentraient sur “pourquoi les gens prennent-ils de si mauvaises décisions ?” ou “comment les décideurs politiques peuvent-ils empêcher la consommation de marijuana ?” (voir Becker (1998)).
Pourquoi faire de la recherche ? Nous pourrions vouloir changer la façon dont les scientifiques expliquent le monde et/ou changer les décisions politiques (a) à un endroit et un moment donnés et/ou (b) à différents endroits et moments donnés.
La recherche axée sur l’apprentissage de l’effet causal de \(X\) sur \(Y\) nécessite un modèle du monde: comment et pourquoi et dans quelle proportion l’intervention \(X\) pourrait-elle avoir un effet sur un résultat \(Y\) ? Cela nous aide à réfléchir à la façon dont une intervention différente ou des destinataires cibles différents pourraient conduire à des résultats différents.
Nos théories et modèles sont importants non seulement pour générer des hypothèses, mais aussi pour éclairer la conception et les stratégies d’inférence.
La conception de recherche clarifie souvent les points où nous sommes moins certains à propos de nos théories. Nos théories mettront en évidence les problèmes de notre conception. Et les questions découlant de ce processus peuvent indiquer un besoin de travail supplémentaire sur l’explication et le mécanisme.
À partir de maintenant, nous utiliserons \(T\) pour le traitement ou ce dont nous voulons connaître l’effet. Nous utiliserons \(X\) pour faire référence aux variables.
Votre traitement (\(T\)) et votre contrôle (non \(T\)) doivent être clairement liés à votre question de recherche (Voir le module sur la mesure).
Le traitement qui vous intéresse peut être un ensemble de plusieurs composantes. Si votre question de recherche porte sur une composante spécifique, alors le contrôle doit être différent du traitement seulement pour cette composante. Tout le reste devrait être le même.
Une étude où quelqu’un se rend dans une maison pour partager des informations sur la santé avec une famille pendant 15 minutes.
Si vous êtes intéressé par l’effet d’une information spécifique, alors votre contrôle devrait toujours avoir toutes les autres composantes (visite à domicile d’une durée de 15 minutes, visiteur similaire, etc.) mais apporter des informations différentes. Cette conception ne vous apprendra rien sur l’effet des visites, mais juste sur l’effet de l’information.
Si votre question porte sur l’effet des visites, alors vous avez besoin d’un groupe témoin sans visite. Mais cette conception ne pourra pas répondre à des questions spécifiques sur l’information (les visites et les informations sont regroupées).
Parfois, il n’est pas possible de traiter séparément une composante spécifique de votre traitement.
Par exemple, votre organisme partenaire de santé dans la communauté qui se rend dans les maisons peut ne pas être intéressé à partager d’autres informations. Alors, votre contrôle pourrait être aucune visite.
Vous devez veiller à interpréter vos effets comme l’effet de l’information délivrée de cette manière particulière.
Vous ne pourrez pas conclure que vous avez estimé l’effet de l’information seule.
Cela peut convenir à certaines fins de politiques publiques : peut-être que la question porte sur les visites en tant qu’ensemble implicite de traitement.
Mais il est difficile d’interpréter les résultats de cette conception pour affirmer quelque chose de clair sur l’information seule.
Articulez et affinez votre question (en vous demandant pourquoi vous posez cette question et ce qui se passera en fonction des différents types de réponses possibles).
Développez votre conception de recherche.
Planifiez votre analyse, énoncez et justifiez les hypothèses spécifiques et enregistrez votre conception pour que d’autres personnes puissent le comprendre.
Mettez en œuvre votre intervention et collectez des données.
Analysez vos données et rédigez vos résultats.
Nous avons développé un formulaire de conception de recherche EGAP qui aide à fournir une structure pour un bonne conception de recherche
Cela peut aider pour
rédiger une proposition de recherche lors de votre demande de financement
élaborer un plan de pré-enregistrement
Quelle est la motivation réelle de cette recherche ? Quel problème essayez-vous de résoudre ? Quelle décision essayez-vous de prendre ?
Quelles opinions essayez-vous de changer, et que croient ces personnes actuellement ?
À quelles questions théoriques générales cette recherche peut-elle aider à répondre ?
Énoncez votre question de recherche en une phrase.
Quelle est votre hypothèse principale ?
Où et quand aura lieu votre étude ?
Qui/quelles sont les unités dans votre étude ?
Comment cet échantillon est-il sélectionné ?
Certaines unités doivent-elles être exclues de l’étude, parce que elles doivent recevoir un traitement; ou pour des raisons logistiques ou autres ?
Vous attendez-vous à ce que le traitement fonctionne différemment pour certains sous-groupes ?
Quel est votre traitement ? Aurez-vous plusieurs traitements ?
Quelle sera votre condition de contrôle ? Contrôle pur ou placebo ?
Y a-t-il des problèmes éthiques avec le traitement ?
À quel niveau allez-vous randomiser le traitement ?
Quelle est votre résultat principal ?
Comment allez-vous le mesurer ?
De quelles données avez-vous besoin ? À quel niveau la mesure est-elle disponible ?
Quels sont vos présupposés sur le résultat ? Cela peut provenir d’études antérieures ou de suppositions éclairées.
Combien de séries de données allez-vous collecter ?
Comment minimiserez-vous l’attrition ?
Comment minimiserez-vous les erreurs de mesure et les résultats rapportés peu fiables ?
Quel type de stratégie de randomisation utiliserez-vous ? Exemples : simple, complète, par bloc, par grappe (cluster), factorielle, à deux niveaux, par étape, etc.
Assurez-vous que cette stratégie est cohérente avec le niveau de randomisation (grappes possibles) et l’hétérogénéité attendue des effets du traitement (blocs possibles).
Spécifiez vos blocs et grappes (le cas échéant). Combien en aurez-vous ? De quelle taille ?
L’interférence est-elle un sujet de préoccupation ? Si oui, comment vos stratégies d’échantillonnage et de randomisation minimiseront-t-elles les interférences ?
Comment ferez-vous la randomisation réelle ? En public, en tirant au sort ? Sur un ordinateur ?
Qui mettra en œuvre le traitement ?
S’il y a un partenaire qui mettra en œuvre le traitement, comment vous êtes-vous arrangés ?
Quels sont les défis logistiques ? Des défis particuliers pour les unités de contrôle ?
Comment suivrez-vous la qualité de la mise en œuvre ?
Comment suivrez-vous la conformité du traitement ?
Comment minimiserez-vous le non-respect du traitement ? (le cas échéant)
Comment allez-vous vérifier la qualité de vos données ?
Comment les données seront-elles anonymisées et stockées en toute sécurité ? (le cas échéant)
Quelle taille d’effet attendez-vous ?
Calcul de la puissance statistique.
Quelle est votre paramètre ? (e.g., effet moyen du traitement, effet moyen local du traitement, etc.)
Quel est votre estimateur ? (e.g., différence des moyennes, méthode des moindres carrés pondérés par bloc, autre type de regroupement / clustering). Notez que cela doit être étroitement lié à votre conception de randomisation.
Si vous trouvez que vos résultats sont cohérents avec votre hypothèse, quelles explications alternatives pourrait-il y avoir ? Quelles données vous aideraient à distinguer votre explication des autres ?
Si vous trouvez que vos résultats ne sont pas cohérents avec votre hypothèse, quelles données vous aideront à comprendre ce qui a pu se passer ?
DeclareDesign est un progiciel dans R.
Aide à être concret sur les étapes de la conception de recherche en nous permettant de les représenter en code, ce qui nous permet ensuite de simuler ces étapes afin de comprendre les propriétés des estimateurs statistiques et des tests utilisés.
Pour voir plus (https://declaredesign.org/getting-started)
Voir également le module sur les paramètres et les estimateurs qui utilise DeclareDesign pour déterminer les estimateurs corrects.
Quelle que soit la méthode, les conceptions de recherche comportent quatre composantes
MEDR:
Réflexion critique : la simulation d’une conception de recherche renseigne sur les réponses qu’une conception de recherche peut trouver
Travailler avec des données simulées avant la collecte de données permet d’éviter les erreurs et les oublis.
Un modèle sur la façon dont nous pensons que le monde fonctionne, y compris :
\(T\)s et \(X\)s (les traitements ou les variables causales focales comme les interventions et d’autres variables contextuelles)
\(Y\)s (les variables dépendantes)
Relations entre les variables (résultats potentiels, formes fonctionnelles, contexte et variables auxiliaires)
Distribution de probabilité par rapport aux \(X\)s et/ou \(Y\)s.
C’est la théorie !
Le modèle est faux par définition. Si c’était correct, vous n’auriez pas besoin de faire l’étude.
Mais sans modèle, nous n’avons pas de point de départ pour évaluer ce qui peut être appris.
Une question à laquelle on peut répondre.
Quel est l’effet d’un traitement \(T\) sur un résultat \(Y\) ?
Généralement une quantité qui nous intéresse, un résumé des données :
Descriptive : quelle est la moyenne de \(Y\) traité, formellement.
Causale : quelle serait la différence moyenne de \(Y\) si nous échangions traitement et contrôle ? Si nous prétendions que \(T\) ne peut pas causer \(Y\), avons-nous des preuves de cette affirmation ?
La quantité est le paramètre ou l’hypothèse.
Toutes les questions que nous voulons poser n’ont pas de réponse.
Réaliser (générer) des données sur l’ensemble des variables (tous les \(X\)s, \(T\)s et \(Y\)s)
Une fonction de votre modèle
Comprend à la fois:
l’échantillonnage — comment les unités arrivent dans votre échantillon ?
l’assignation du traitement — quelles valeurs des variables endogènes sont révélées ?
À partir d’un jeu de données, générer une réponse – une estimation de la quantité d’intérêt (enquête)
Ceci est votre estimateur ou votre test:
Différence des moyennes
Test-\(t\)
Méthodes de régression
etc.
La réponse est une estimation de la quantité d’intérêt ou de la \(p\)-valeur (enquête/paramètre/test)
Anticiper ou faire face aux difficultés de publication : les manuscrits avec des résultats nuls ne sont jamais soumis pour examen ou sont mis au placard après plusieurs refus.
Nous sommes tous incités à modifier nos spécifications, mesures ou même hypothèses pour obtenir un résultat statistiquement significatif (le \(p\)-hacking) pour améliorer nos chances de parution.
Même les personnes qui ne sont pas confrontées à ce problème prennent de nombreuses décisions lorsqu’elles analysent des données : traitement des valeurs manquantes et des observations en double, création d’échelles, etc. Et les répercussions de ces choix peuvent être conséquentes.
Résultat global : crédibilité réduite pour la recherche individuelle et confiance réduite (à juste titre) quant à savoir si nous savons réellement ce que nous prétendons savoir.
Pour résoudre partiellement ce problème, se concentrer sur la conception plutôt que sur les résultats.
Le biais de publication envers les résultats nuls peut être surmonté en examinant la conception en amont des résultats.
Un bonne conception bien exécutée produira une recherche crédible, qui pourrait être un résultat nul. Nous voulons des résultats nuls crédibles et exploitables.
Les revues de conception sont aussi une opportunité d’améliorer la recherche avant sa réalisation.
Le pré-enregistrement est le dépôt de votre conception de recherche et de vos hypothèses auprès d’un répertoire public. EGAP en héberge un que vous pouvez utiliser gratuitement (actuellement sur OSF.io en utilisant le formulaire d’inscription EGAP).
Le pré-enregistrement n’exclut pas les analyses exploratoires ultérieures qui n’ont pas été déclarées à l’avance. Il suffit de bien distinguer les deux.
Même si vous soumettez un article avec des résultats plutôt qu’une conception à une revue scientifique ou si vous êtes principalement intéressé par un rapport final avec des conclusions pour un audience politique, il y a des avantages importants pour vous et pour les autres chercheurs à pré-inscrire votre recherche.
Vous pouvez vous renseigner sur d’autres recherches, terminées et en cours; d’autres peuvent en apprendre davantage sur la vôtre. Nous pouvons apprendre des études montrant des résultats nuls.
Cela vous oblige à énoncer vos hypothèses et votre plan d’analyse avant de voir les résultats, ce qui limite le \(p\)-hacking.
La recherche commence avec nos valeurs et nos théories sur le fonctionnement du monde.
Cela se poursuit en articulant des questions qui peuvent être clairement abordées par l’observation (dans notre cas, en utilisant l’expérimentation aléatoire).
Les bonnes questions ont des visées conséquentes : amener une explication scientifique ou des décisions politiques différentes.
Les bonnes conceptions cochent toutes les cases et donnent aux lecteurs des raisons de croire aux résultats.
Les listes de contrôle (comme le formulaire de conception de recherche ou de pré-enregistrement) aident à éviter les erreurs d’inattention.
Le pré-enregistrement augmente encore la crédibilité et donc les chances que vos résultats aient un impact scientifique ou politique.