Hervé Guyon – Stat Wars

Publié le par

Le thème central de ce livre est l’utilisation des outils statistiques pour valider des travaux en psychologie ou même décrire des cas. Mais on peut, et on doit, pousser le raisonnement plus loin sur quelles seraient les méthodes adéquates pour valider des résultats en psychologie et, plus généralement, en sciences humaines. Ainsi, je me suis intéressé et même lu parties de la thèse de doctorat de l’auteur.

C’est un livre intéressant, a priori, mais avec les connaissances que j’ai en statistiques, je ne partage pas une partie du contenu, un désaccord sur des points concernant les statistiques et des interrogations sur certains points concernant la psychologie. Mais je suis un scientifique du domaine des sciences exactes, avec des connaissances en sciences humaines acquises par ma curiosité générale et de la lecture : la psychologie est un des domaines qui m’intéressent.

Son directeur de thèse dit, dans la préface, « la statistique relève des mathématiques mais pourtant la statistique ne dit pas le vrai. Jamais. Voilà qui est bien frustrant et qui est trop souvent oublié. Il est tellement agréable de pouvoir asséner de pseudo-vérités sous couvert de la légitimité des mathématiques ». On peut corriger cette phrase en disant que les statistiques n’ont pas comme but de DIRE LE VRAI mais de l’ESTIMER, c.-à-d., une approximation de la vérité. Les erreurs, ou pseudo-vérités, ne sont pas dues à la discipline mais à ceux la font ou qui l’utilisent.

Ce livre est divisé en parties (chapitres) :

1. Les mésusages des sondages ;
2. Les problèmes de l’inférence en statistique ;
3. Les leurres des modèles causaux ;
4. Les limites de la mesure en psychologie ;
5. La fonction politique de la statistique ;
6. Deux exemples caractéristiques ;
7. Conclusion.

Le premier chapitre concerne surtout les erreurs courantes lors de la préparation de l’expérience alors que dans le deuxième, c’est l’interprétation des résultats qui est à l’origine des erreurs. Quoi qu’il en soit, ce sont des erreurs humaines qui ne mettent pas en cause la discipline des statistiques. Ces erreurs peuvent être soit intentionnelles pour obtenir des résultats biaisés ou juste par distraction ou méconnaissance de la discipline. Tout ceci est connu et a déjà été largement publié par ailleurs.

Le chapitre « Les leurres des modèles causaux » me posent un problème, à commencer par le mot « leurre » qui suggère une tromperie intentionnelle, un mot très lourd de sens. Il n’y a pas de tromperie en statistiques, tout est connu et documenté. Il ne faut pas mettre sur le dos de la discipline le manque de connaissances ou les erreurs de celui qui l’utilise. Il est néanmoins vrai que, en dehors des cursus en statistiques pures ou ingénierie, cette discipline est souvent traitée juste comme une connaissance secondaire ne faisant pas partie du coeur de métier, surtout en sciences humaines. Ce chapitre est quasiment entièrement contestable, mais je me contente de deux parties.

Au début de ce chapitre, on trouve une section : « Pourquoi utilise-t-on les mathématiques en sciences humaines ». Je reviendrai sur ce point à la fin de la critique en ce qui concerne la validation des travaux scientifiques, mais je note que l’auteur semble vouloir privilégier les analyses qualitatives basées sur des arguments en langage naturel aux analyses quantitatives. Il faut préciser qu’une « analyse qualitative » n’est pas forcément « subjective ».

La section suivante est celle qui m’a le plus étonné, négativement : « Leurre que la statistique est épurée des choix idéologiques ». Sidérant !!! La première partie concerne des choix de modélisation qui ne tiennent pas compte, par exemple, de l’interaction entre les personnes ou du contexte. le choix du bon modèle n’est pas toujours possible mais, dans ce cas, on doit le dire et estimer les conséquences dans les résultats. Ceci ne met pas en cause la discipline mais les choix biaisés de ceux qui manipulent l’outil statistique. Mais il n’y a rien d’idéologique dans ce point.

La suite me parait plus grave. L’auteur cite Pearson, Fisher et Spearman comme des chercheurs qui ont fait des travaux sur l’eugénisme et ont développé des outils statistiques tel le coefficient de corrélation, test de chi2, histogrammes, méthodes des moments et plusieurs autres. L’eugénisme n’apparaît dans aucun de ces outils, utilisés dans quasiment toutes les disciplines scientifiques, y compris et surtout les sciences exactes. Bien sûr qu’étudier l’eugénisme est condamnable dans nos jours, mais était-il aussi à l’époque ? Faut-il mettre à la poubelle toute l’avancée scientifique des 100 dernières années juste parce que l’auteur de ces outils était adepte de l’eugénisme ? Cette discussion peut avoir un intérêt historique mais pas scientifique et ne devrait pas apparaître dans ce type d’ouvrage, notamment avec une expression telle un « Leurre ».

Il y a, dans la communauté de la recherche, deux principes qui ne sont pas écrits et qui relèvent plutôt de l’éthique : d’abord la liberté d’étudier n’importe lequel sujet à partir du moment où cela est utile et ne sert pas juste à satisfaire un intérêt personnel. Ensuite, nous avons tous nos tendances politiques et nos idéologies. Le chercheur ou l’enseignant doit les laisser à la maison et traiter ses sujets de façon neutre même si les résultats sont contraires à nos opinions personnelles. Malheureusement, tous les chercheurs et enseignants ne suivent pas ces principes.

C’est dans le chapitre suivant, « Les limites de la mesure en psychologie » que, à mon avis, ce livre devient intéressant. Il reprend des parties de sa thèse de doctorat. L’auteur présente les caractéristiques des attributs psychologiques (dépression, tendance suicidaire, …) et ce qui les rend différents des attributs usuels en sciences de la nature. C’est, en fait, le seul chapitre entièrement dédié à la psychologie, son spécialité principale.

C’est dans le chapitre suivant, « Les limites de la mesure en psychologie » que, à mon avis, ce livre devient intéressant. Il reprend des parties de sa thèse de doctorat. L’auteur présente les caractéristiques des attributs psychologiques et ce qui les rend différents des attributs usuels en sciences de la nature. Effectivement, ces attributs sont évalués dans des échelles arbitraires et peuvent rarement être mesurés directement.

Ces caractéristiques des attributs psychologiques font, selon l’auteur, que les méthodes scientifiques de démonstration utilisées dans d’autres disciplines, surtout celles des sciences de la nature, ne sont pas adaptées à la psychologie. Ceci est vrai, surtout pour certaines mesures quantitatives mais probablement pas tout tous les attributs psychologiques. A certains moments il défend l’utilisation d’une explication en langage naturel. Il évoque, dans sa thèse, les travaux de Karl Popper et énumère tous ses défauts et soutient que ce n’est pas applicable en psychologie. Mais, malgré ses défauts, les travaux de Karl Popper restent toujours d’actualité. Il faut se rappeler que Karl Popper est parti du constat que les explications en psychanalyse étaient toutes fondées sur des explications en langage naturel, sans logique visible et non vérifiables.

L’usage d’arguments de discours, risque d’enlever la rigueur minimale indispensable et revenir à un stade de pseudo-science, que je vois dans certains passages du livre.

L’auteur critique l’utilisation de la neuro-imagerie en psychologie suite à des résultats peu encourageants depuis 2010 et rejette cette technologie en psychologie. Or, il s’agit d’un domaine nouveau et il me semble précoce de l’écarter, pour l’instant.

En regardant l’ensemble du contenu, on voit qu’il y a un mélange hétéroclite : des aspects génériques sur les statistiques, des aspects très pointus en mesure en psychologie, de la méthodologie scientifique, et même de l’usage des statistiques en politique et politique sociale. Sur ce dernier sujet, très controversé et pointu,il y a beaucoup plus à dire mais là, on sort du cadre scientifique de la psychologie pour passer au militantisme.

Sur la COVID, par exemple, l’auteur dédie 20 pages de son livre. Des parties de son récit sont discutables. Il est facile de critiquer après coup. Il avait, pendant la pandémie, un conseil scientifique. Des chercheurs indépendants qui publiaient leurs résultats de simulation. La plupart n’était pas commandé par le conseil. Tous n’étaient pas concordants. Il est facile de dire, maintenant et après coup, que telle étude avait vu juste. Que dire, par exemple, de la chloroquine, sujet martelé par un scientifique mondialement connu ???

Sur le confinement et immunité collective l’OMS n’a pas pris position qu’en décembre 2020 et le gouvernement s’est adapté. Le gouvernement a dû prendre des mesures en urgence et autoritaires face à des oppositions parfois irrationnelles des partis politiques. Il est certain que le gouvernement a commis des erreurs mais je ne pense pas que l’on peut dire qu’il a été irresponsable. La France a dû faire face à une pandémie où tout était inconnu et on a dû apprendre au fur et à mesure.

Globalement, sur les statistiques, le traitement dans l’ouvrage m’a semblé trop réducteur. Les problèmes que l’on voit dans la statistique ne viennent pas de la discipline mais de ceux qui l’utilisent avec malveillance ou méconnaissance ou maladresse. Il faut signaler et combattre les mauvaises utilisations, plutôt que s’en prendre à la discipline.

Références :

Quelques lectures :

  • Jacques Van Rillaer – Histoire de la psychologie scientifique – très intéressant;
  • Sur l’interprétation et erreurs en statistiques – deux petits livres qui se lisent comme des romans :
  • Joel Best – Damned lies and statistics – 2001 – University of California Press
  • Darrel Huff – How to lie with statistics – 1991 – Penguin books

Citations

(p. 114)

Il y a en conséquence une vision qui domine plus ou moins consciemment les sciences humaines : les mathématiques, au travers de modèles statistiques, sont nécessaires pour valider la scientificité d’un travail et les statistiques, en tant que domaine particulier des mathématiques, permettent cela. De plus, la modélisation statistique permet de poser un résultat vérifiable par tout le monde… même si en réalité, cette objectivité n’est accessible que par des personnes ayant un degré de connaissance nécessaire dans le champ théorique du travail et en statistique-mathématique.

Dans la pratique scientifique, la mathématisation rendrait donc « fiable » les résultats, alors que des résultats littéraires/verbalisés, basés sur un développement qualitatif, pourraient être contestés. En effet, le langage naturel étant commun, une analyse qui serait construite non à partir d’un modèle statistique, mais à partir d’informations qualitatives, telles que par exemple des entretiens approfondis, userait d’un langage accessible à tout le monde. Les choix, y compris argumentés, des analyses qualitatives (et donc non quantitatives) apparaissent donc beaucoup plus facilement analysables et critiquables qu’un modèle mathématisé. De plus, en travaillant sur des entretiens, on cherchera à donner « du sens » à des corpus (l’ensemble des entretiens), donc les interprétations pourront aisément être discutées/critiquées. On considérera en général qu’une étude qualitative est très subjective. Alors qu’avec un modèle statistique, le résultat paraît incontestable et objectif, car son interprétation est « mathématiquement » cadrée. La subjectivité semblerait donc beaucoup moins importante dans l’analyse avec un modèle statistique. Si des courants de sciences humaines vont heureusement poser d’autres manières de voir les choses, remarquons que les travaux de Bourdieu montrent une captation pour les statistiques avec peu de recul [Bourdieu].

Quatrième de couverture

Ce livre s’inscrit dans un courant général de critique de l’usage de la quantification et de la statistique dont Desrosières est la personnalité centrale en France. Son originalité est d’aborder la critique des modèles statistiques utilisés en sciences humaines, c’est-à-dire les outils statistiques utilisés dans le monde académique cherchant à valider ou à prouver des études consacrées à l’humain. Sans développement mathématique, construit de façon didactique, il s’adresse aussi bien aux non-spécialistes des statistiques qu’à celles et ceux qui les utilisent. L’objectif de cet ouvrage est d’être un outil militant contre l’argument statistique des modèles quantitatifs en sciences humaines. La critique qu’il construit se déploie dans plusieurs champs : critique de l’usage (ou mésusage) des modèles statistiques, critique des soubassements idéologiques des modèles statistiques, critique de leur fonction politique.