Equipe Raisonnement Induction Statistique

Travaux psychologiques

Les travaux psychologiques de l'ERIS portent sur l'étude expérimentale des jugements probabilistes et s'articulent autour de trois pôles d'intérêt complémentaires.

1. Comportement des utilisateurs des méthodes statistiques

Etude empirique des modèles cognitifs utilisés dans des situations d'inférence inductive (généralisante), par des chercheurs expérimentalistes et des statisticiens. Cette étude met en jeu:

le passage du particulier (par exemple un échantillon de données) au général (ici population de référence);

des jugements probabilistes essentiellement fondés sur des données statistiques.

Il a été possible de dégager un certain nombre d'attitudes globales vis-à-vis de l'analyse statistique des données chez les chercheurs expérimentalistes, indépendamment de leur spécialisation.

Recherche d'objectivité

"In problem of scientific inference we would usually, were it possible, like the data to 'speak by themselves'." (G.E.P. Box & G.C. Tiao)

Les chercheurs attendent de l'analyse statistique qu'elle exprime de façon objective "ce que les données ont à dire" indépendamment de toute information étrangère aux données (hypothèses apriori, références théoriques, etc.).

Tyrannie du test significatif

"Researchers and journal editors as a whole tend to (over) rely on 'significant differences' as the definition of meaningful research." (J.R. Craig, C.L. Eison & L.P. Metze)

La conduite d'une majorité de chercheurs apparaît dictée par un résultat de test de signification usuel significatif qui est souvent le seul critère retenu.
Les arguments invoqués dans ce cas sont le plus souvent d'ordre conjoncturel: un résultat significatif fait incontestablement partie des normes de présentation des travaux dans la communauté scientifique actuelle des chercheurs expérimentalistes, qui se disent souvent contraints de "se plier" à cet usage.

Abus d'interprétation des tests de signification et biais adaptatifs

"It is very bad practice to summarise an important investigation solely by a value of P." (D.R. Cox)

Plutôt que de véritables "erreurs", les nombreux abus d'interprétation des tests peuvent être regardés comme des biais adaptatifs, que les chercheurs développent spontanément pour tenter d'ajuster les tests à leurs besoins réels.
L'analyse systématique de ces biais dans cette optique éclaire le type de questions que se posent naturellement les chercheurs et les éléments qu'ils privilégient (résultats descriptifs, effectifs, seuils de significativité, aspects sociaux, etc.), et permet d'affiner progressivement la description des lignes de cohérence interne dans les comportements des utilisateurs des méthodes statistiques.

Même les statisticiens...

On considère les résultats d'une étude planifiée pour tester l'efficacité d'un médicament en comparant deux groupes (traitement vs placebo) de 15 patients chacun. Le médicament est considéré cliniquement intéressant par les experts du domaine si la différence entre la moyenne du traitement et la moyenne du placebo est supérieure à +3. On a observé la différence d=+1.52. La différence est non significative (t=+0.683, p=0.50).

Quelle conclusion tirez-vous sur l'efficacité du médicament?

Répondez le plus spontanément possible (sans calcul)

D'un point de vue normatif, la tâche met en jeu le résultat simple et général suivant: un intervalle à 100(1-α)% (fréquentiste ou fiducio-bayésien) pour la différence vraie δ est approximativement d ± 2(d/t)      soit ici      [-2.93,+5.97] Cette approximation très simple est généralement suffisante (l'intervalle exact est [-3.04,+6.08]). Elle devrait théoriquement prévenir de l'interprétation abusive d'un résultat non significatif comme "une preuve de l'hypothèse nulle". Clairement ici les résultats ne permettent pas de conclure à la non efficacité du médicament (en raison de la grande variabilité observée).

Pourtant, face à cette situation 84% des statisticiens professionnels et 85% des psychologues (expérimentateurs avertis) interrogés ont conclu à l'inefficacité du médicament. Plus encore, si on leur dit que l'expérience était initialement planifiée avec 30 sujets par groupe et que le résultat précédent est en fait un résultat intermédiaire et si on leur demande quelle décision ils prendraient quant à l'arrêt ou la poursuite de l'expérience: Plus de la moitié d'entre eux perçoivent les résultats comme très favorables à l'inefficacité du médicament et décident d'arrêter l'expérience (57% de statisticiens et 53% de psychologues).

Comportement des chercheurs dans des situations conflictuelles d'analyse des données expérimentales
La démarche du chercheur en psychologie dans des situations d'analyse statistique de données expérimentales
Predictive judgments in situations of statistical analysis
Méthodologie de l'analyse des données expérimentales - Étude de la pratique des tests statistiques chez les chercheurs en psychologie, approches normative, prescriptive et descriptive
Pratiques des tests statistiques en psychologie cognitive: L'exemple d'une année d'un journal
And... what about the researcher's point of view?
The interpretation of significance levels by psychological researchers: The .05-cliff effect may be overstated
Even statisticians are not immune to misinterpretations of Null Hypothesis Significance Tests

Expression prédictive des résultats statistiques inférentiels

"The essence of science is replication: a scientist should always be concerned about what would happen if he or another scientist were to repeat his experiment." (Guttman).

D'autres expériences ont porté sur des questions particulièrement importantes concernant la réplicabilité des résultats expérimentaux: étant donné les résultats d'une première expérience, quelle est la probabilité de retrouver des résultats similaires (pour un certain critère) dans une réplique de l'expérience?
Récemment, l'Association for Psychological Science a même introduit dans les "author guidelines" de Psychological Science, une nouvelle norme de publication demandant aux auteurs de rapporter une "probability of replication" ("Killeen's p_rep").

Quelle est la probabilité de retrouver...

Dans une étude comparant une condition expérimentale à une condition contrôle, on a observé une différence +1.82 entre les deux moyennes. La différence est significative au seuil bilatéral 0.05: t=+2.09, 19 degrés de liberté, p=0.05.

(1) Quelle est, pour vous, la probabilité que dans une réplique de l'expérience (mêmes effectifs) la différence observée soit positive? (2) Quelle est, pour vous, la probabilité que la différence observée soit positive, et que le résultat du t de Student soit au moins aussi significatif?

Répondez le plus spontanément possible (sans calcul)

D'un point de vue normatif, puisqu'il n'y a pas ici d'information a priori extérieure à l'expérience, il apparaît raisonnable de baser la prédiction sur les seules données de l'expérience. Dans ce cas, la réponse fiducio-bayésienne est:    (1) 0.92    (2) 0.50

La majorité des psychologues (expérimentateurs avertis) interrogés sous-estiment la première probabilité et surestiment la seconde. En fait, le résultat marquant est que la moitié d'entre eux donnent des réponses voisines pour les deux probabilités, environ un tiers donnant même exactement la même valeur.  la "prep de Killeen" n'est autre que la probabilité de retrouver une différence de même signe dans une réplique et répond donc à la première question.

Predictive judgments in situations of statistical analysis
And... what about the researcher's point of view?
Even statisticians are not immune to misinterpretations of Null Hypothesis Significance Tests

1. Comportement des utilisateurs des méthodes statistiques

2. Représentations probabilistes dans des situations de hasard  pur

3. Représentations du hasard

2. Représentations probabilistes dans des situations de hasard pur

"Les questions les plus importantes de la vie ne sont en fait, pour la plupart, que des problèmes de probabilité." (P.-S. Laplace)

Etude de situations de hasard pur (jeux de hasard, tirages dans des urnes, etc.), chez l'adulte et chez l'enfant. Cette étude met en jeu:

des jugements probabilistes essentiellement fondés sur des considérations de symétrie.

Plusieurs résultats marquants ont été obtenus.

Existence de modèles implicites dont le biais d'équiprobabilité

Il existe une vicariance intra-sujet de différents modèles cognitifs pour des classes de situations structurellement isomorphes, et l'activation spécifique d'un modèle particulier est largement dépendante des traits de surface des situations considérées. Lorsque la situation est présentée comme une situation "de hasard", il existe chez une majorité de sujets, un modèle cognitif implicite selon lequel des événements à caractère aléatoire sont "par nature" équiprobables (biais d'équiprobabilité).

Un problème de chaussettes

On tire au hasard (à l'aveugle) une paire de chaussettes dans un tiroir qui contient deux chaussettes rouges et deux chaussettes vertes. On considère les résultats suivants:   Résultat 1: on obtient une paire de chaussettes appareillées (deux rouges ou deux vertes)   Résultat 2: on obtient une paire de chaussettes dépareillées (une rouge et une verte)

Pensez-vous qu'il y a: 1) plus de chances d'obtenir le résultat 1 2) plus de chances d'obtenir le résultat 2 3) autant de chances d'obtenir les deux résultats

Répondez le plus spontanément possible (sans calcul)

Activation du modèle correct par masquage de l'aspect aléatoire

Ce modèle est extrêmement résistant et vient en quelque sorte "parasiter" le modèle correct de type combinatoire qui est cependant disponible chez une majorité de sujets: il suffit notamment de masquer l'aspect aléatoire de la situation pour que le modèle correct soit activé dans la majorité des cas.

Rôle de l'activité cognitive du sujet

Mais une telle activation reste superficielle, et ne touche pas la structure profonde du problème, dont on peut même penser qu'elle reste non comprise: le transfert du modèle correct à la situation aléatoire isomorphe est loin d'être massif.
Les recherches les plus récentes conduisent à privilégier des situations dans lesquelles on amène le sujet à découvrir, à construire lui-même activement le modèle correct, c'est-à-dire des situations dans lesquelles le sujet est actif, par exemple des situations de conflit cognitif, ou encore d'apprentissage avec feed-back.
De nombreuses questions restent posées, relatives notamment à l'origine des modèles cognitifs, en particulier de certains modèles incorrects fréquents et très résistants (ces modèles se construisent-ils à partir de l'expérience, à partir d'une intégration erronée de certaines notions privilégiées dans l'enseignement, etc. ?), et à la généralisabilité et la stabilité dans le temps des différents modèles selon les conditions d'activation.

A study of two biases in probabilistic judgments: representativeness and equiprobability
Cognitive models and problem spaces in "purely" random situations
Étude de l'évolution de biais probabilistes avec l'âge à partir de résultats obtenus en France et en Israël
Learning and transfer in isomorphic uncertainty situations: The role of the subject's cognitive activity
Failure to construct and transfer correct representations across probability problems

1. Comportement des utilisateurs des méthodes statistiques

2. Représentations probabilistes dans des situations de hasard  pur

3. Représentations du hasard

3. Représentations du hasard

"The successes of quantum theory no more prove the randomness of nature than the success of statistical description of coin flipping proves that coin flipping is intrinsically random, or the fact that a random number algorithm passes statistical tests proves that the numbers it produces (in a purely deterministic fashion!) are random." (T.J. Loredo)

Les représentations du hasard sont étudiés dans diverses situations d'incertitude. On considère en particulier des situations de catégorisation d'items soit "stochastiques", c'est-à-dire ou bien renvoyant à des processus répétables ou des situations de tirage au sort (par exemple le lancer d'un dé), soit "réels" c'est-à-dire inspirés de la vie courante (par exemple la germination d'une graine).

Il y a hasard et hasard

Considérez les deux événements suivants "Le fait de constituer une paire de chaussettes 'assorties' à partir d'un tirage à l'aveugle de deux chaussettes d'un tiroir qui contient deux paires de chaussettes différentes" "Le fait qu'une graine mise en terre germe"

Est-ce que, selon vous le hasard intervient ou non dans chacun de ces deux événements?

Répondez le plus spontanément possible

Quelques résultats

Grande variabilité inter et intra individuelle des représentations du hasard.
Mais mise en évidence de existence de quelques représentations générales.
Peu d'effet du degré d'expertise en probabilités. Néanmoins existence de quelques représentations spécifiques liées à l'expertise.
Les arguments pour juger qu'un événement relève du hasard ou pour juger qu'il ne relève pas du hasard sont différents par nature.

Application de la méthode des arbres de similarité additifs de Sattath et Tversky dans une tâche de catégorisation de situations d'incertitude
Interprétations intuitives du hasard et degré d'expertise en probabilités
People's intuitions about randomness and probability: An empirical study
Catégorisation de situations d’incertitude et variabilité des points de vue sur le hasard

1. Comportement des utilisateurs des méthodes statistiques

2. Représentations probabilistes dans des situations de hasard  pur

3. Représentations du hasard