Apprendre à lire un article scientifique - partie 2/2

Le protocole de l'étude à l'air correct ? voyons maintenant les erreurs à ne pas faire dans l'analyse des résultats. En aparté, je signal passer volontairement sur l'aveuglement, très difficile à obtenir dans l'expérimentation en thérapie manuelle.

hum... il y en a qui vont peut être un peu trop loin...

α : 5% et 1,96 : késako ?


Certainement l'un des éléments les plus importants dans les bases de la compréhension statistique, il s'agit de l'"écart-type", également appelé "déviation standard".  Si la moyenne parle à tout le monde, elle ne reflète en fait qu'une minuscule part de la réalité. Et oui, car elle n'informe en rien sur la dispersion des valeurs... 


Non attendez ! Restez restez, on va regardez tout ca au calme ...


 Comme vous le voyez, les 3 courbes si dessus ont la même moyenne, c'est leur écart-type qui change. Pour faire simple, l'écart-type représente la manière dont les différentes valeurs enregistrées diffèrent de la moyenne générale. 

ex : on analyse les résultats des élèves ayant améliorer leurs résultats pendant la prise de 3 céréales différentes, répartis en 3 groupes : bleu, vert et rouge. Si l'on ne compare que la moyenne, les résultats semblent identiques dans les trois groupes. Pourtant en y regardant de plus près, les valeurs du groupe rouge sont beaucoup plus rapprochées, beaucoup plus "dense". L'écart type est moindre dans ce groupe, ce qui signifie dans notre cas que le degré d'amélioration des résultats est plus constant dans le groupe rouge que dans le groupe bleu.

1,96 c'est quoi ? Dans la plupart des études, on considère que des résultats sont valides si "statistiquement" ils ne présentent que 5% de risque d'erreur, soit une borne à gauche  et à droite séparer de la moyenne par 1,96 x écart-type... ca peut paraître complexe, mais en pratique tout revient à dire que 95% des valeurs se situent entre (grosso-modo) 2 écarts type d'un côté et 2 de l'autre par rapport à la moyenne.

Moyenne de 5, écart type de 2 : 95% des résultats sont situés entre (à la louche) +1 et +9

Il faut donc retenir que si une étude mentionne une "différence significative", c'est que le risque d'erreur est inférieur à 5% ( c'est à dire 5% de risque que les résultats ne soit en réalité pas différents). Une différence "très significative" correspond à une erreur de 1% et une différence "hautement significative "à une erreur de 0,1%. L'art des statistiques est bien plus complexe, mais partir avec ces bases simples vous permettra de comprendre ce que les auteurs décrivent quand ils mentionnent leurs résultats.





L'abus des corrélations ...



Si il y a bien une erreur que l'on rencontre fréquemment dans la littérature scientifique, et encore d'avantage avec la vulgarisation, c'est celle de mélanger une relation de "corrélation", avec une relation de "causalité". Peut importe le comment du calcul d'une corrélation, cette relation ne représente entre deux éléments qu'un rapprochement quant à la façon dont ils évoluent conjointement. 

ex : on décide de prolonger notre expérience sur 5 ans. La les résultats sont incroyables. Après avoir manger des céréales, le groupe a vieilli à la fin de l'expérience de 5 ans ! Si l'on compare les deux éléments suivants, quantité totale de céréales mangées et vieillissement, la corrélation statistique est parfaite ! Si l'élève mange un bol par jour, au bout de 365 bols on constate qu'il a vieilli d'un an ! Le mauvais article conclurait par un lien inapproprié de causalité : les céréales font vieillir ! 

L'exemple si dessus est bien évidemment extrême, mais quand on y regarde dans le détail, cette technique est utilisée à tord et à travers.


Là vous vous dites : "moi je me laisse pas avoir par ce genre de truc, faut être stupide pour croire ca, les céréales font vieillir...". Certes. Mais l'exemple faisait référence à des termes, des objets et des concepts que vous maitrisez parfaitement. Si le vocabulaire employé vous force déjà à la réflexion, alors votre vigilance dégringole, et vous pouvez facilement vous faire berner.



... et les abus de language


Le vocabulaire... l'outil préféré pour "faire" scientifique, pour créer l'illusion qu'une étude est sérieuse et responsable. En utilisant des termes compliquées et des phrases alambiquées, n'importe quel étude peut faire croire n'importe quoi. La technique la plus utilisé dans les pseudo-science est tout similaire : utiliser des bases simples et bien connues en physiologie pour justifier tel ou tel effet... mais en y regardant dans les détail ces "bases" de physiologie posées en exemples s'avèrent simplistes et érronées... ce qui remet en cause bien évidemment l'intégralité des résultats ! 

ex : Les céréales fournis aux élèves étaient hautement dosés en une certaine molécule X, reconnu par d'autres études comme stimulante dans l'apprentissage et la mémoire. Les auteurs de notre étude y  voit donc une explication toute trouvé : il faut donner ces céréales pour que cette substance arrive au cerveau et... oui mais attendez ... il n'y a pas quelques étapes entre la digestion et l'apport sanguin au cerveau ?  comment cette molécule résiste elle aux acides dans l'estomac? quel est son mode de transport ? On ne peut pas être sur, sans autres tests, que c'est bien cette molécule qui agit de la sorte.

La jungle des références


Une autre technique, reposant sur la paresse naturelle du futur lecteur : intégrer des références douteuses au sein d'une explication dense de contenu. En citant quelques autres études qui vont dans son sens, le chercheur assoit l'apparente validité de ses propres recherches... encore faudrait il que ces études en question soient irréprochables ! Bien évidemment, aller vérifier les sources prend énormément de temps, et il n'est même pas certain que vous puissiez accéder à ces données (vieux articles introuvables, ou récent mais payant). Il faut donc se méfier des références, elles peuvent facilement vous prendre à défaut.


Une méthode simple en cas de doute : consulter la liste des références en fin d'articles... si elles proviennent pour la plupart du même labo de recherche (comprenez réalisée par les mêmes auteurs), il y a de grandes chances qu'elles se prononcent toutes dans le même sens, et que cette impression d'unanimité entre de nombreuses études ne soit finalement qu'un trompe l'œil.






Le mot de la fin  ? Restez suspicieux en PERMANENCE ! Lire un article dans le détail tient souvent du combat de boxe, une petite faute d'inattention et votre lecture critique ne tient plus. Gardez à l'esprit ces quelques réflexions, et essayez lors de vos lectures de rechercher "ce qui ne va pas", ainsi les résultats valides vous apparaitrons plus clairement.