LVEV - Le Blog de la Vie en Vert

Comment juger de la qualité d’une publication scientifique et savoir si elle constitue une bonne source ? Voici quelques questions à se poser…

1. Est-ce que celui qui la cite dit la même chose que la conclusion de la publication ?

Il existe plusieurs manières de tordre la source pour lui faire dire ce que l’on veut :

L’ARNAQUE

Assez classiquement, des références sont nommées pour persuader le lecteur….en espérant qu’il ne la lira pas. Ou pas attentivement. Ou même pas superficiellement. Récemment, je lis « Les aliments riches en lycopène [8], comme les tomates, la goyave et la pastèque, peuvent réduire le risque de cancer de la prostate. »
La référence nommée (https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7063061/) est une véritable étude….qui ne mentionne même pas le mot « lycopène ». Ni la tomate ou la pastèque d’ailleus.

L’EXTRAPOLATION
D’autres vont vous citer des études qui disent presque la même chose, mais sans vouloir dire la même chose. Par exemple, la curcumine, in vitro, inhibe les cellules cancéreuses. Mais une étude qui dit cela ne vous dit pas si cela fonctionne in vivo, à quelle dose, ni même si c’est possible ou inoffensif de mange suffisamment de curcuma pour arriver à ce résultat.

L’EXAGERATION
Ou alors, les auteurs de l’étude concluent qu’un effet est POSSIBLE, quand la personne qui cite la publication indique que c’est avéré. Ben non, un effet suspecté ou un effet potentiel ne sont pas des effets marqués ou reconnus. De nombreuses études émettent ainsi des hypothèses qui se contredisent entre elles, et le tout n’est pas conclusif.

LA DECONTEXTUALISATION

Pour le coup, certaines études peuvent prouver un effet, reconnu, mesurable, indéniable….dans certaines conditions. Par exemple, une étude qui montre un effet bénéfique d’un régime ou d’une substance sur des patients atteints de diabète montre cet effet sur des personnes malades, et ne prouve pas un effet préventif sur cette maladie.

2. Quel est le medium de publication ?

Avant même d’avoir lu le texte de la source, il est possible d’avoir des alertes indiquant que celle-ci n’est pas forcément idéale…

LE TYPE DE SUPPORT
Une bonne source est ce qu’on appelle une source PRIMAIRE. Une telle source est une source qui démontre directement les faits, et non pas qui les cite ou les renvoie. Le livre du Dr Machin n’est pas une publication intéressante, car elle nécessite que l’on se procure le livre, puis que l’on aille voir si le livre dit la même chose, puis quelle est la source de ce livre, etc…

De même, certaines personnes aiment vous renvoyer à des phrases dans des études….qui elles-mêmes sont sourcées ailleurs. C’est là aussi un problème.

De même, un article d’opinion, même d’un chercheur indépendant, sur un blog ou dans un medium traditionnel, n’a aucun intérêt. C’est encore pire si l’on parle d’un site web d’une personne qui, malgré tout ses diplômes, vit carrément de la vente de ses livres ou de la monétisation de ses vidéos.

LA RECONNAISSANCE

Un medium approprié est reconnu par ses pairs. Cela peut se mesurer, entre autres par l’impact factor, mais ce n’est pas le seul moyen de vérifier la reconnaissance. Est-ce un journal scientifique ? Est-ce un organe d’une association médicale ? etc…

L’INDEPENDANCE

Une revue, un journal, un site web est publié par quelqu’un et appartient à quelqu’un, qui peut très bien ne pas être neutre. Prenons par exemple une étude récente : https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10201680/
Cette étude est publiées dans « Adv. Nutr. », soit, après une simple recherche google, Advances in Nutrition, journal qui est publié par l’American Society for Nutrition, organisme qui est de notoriété publique (c’est sur sa page wikipedia)…critiquée par ses pairs pour ses liens avec ses « sponsors » de l’industrie agroalimentaire (Abbott Nutrition, Almond Board of California, Bayer HealthCare, Biofortis Clinical Research, California Walnut Commission, Cargill, Inc., Corn Refiners Association, Council for Responsible Nutrition, Dairy Research Institute, DSM Nutritional Products (LLC), DuPont Nutrition & Health, the Egg Nutrition Center of the American Egg Board, General Mills Bell Institute of Health and Nutrition, Herbalife/Herbalife Nutrition Institute, International Bottled Water Foundation, Kellogg Company, Kyowa Hakko USA Inc., Mars Inc., McCormick Science Institute, Mondelez International Technical Center, Monsanto Company, , Nestlé Nutrition, Medical Affairs, PepsiCo, Pfizer, Inc., Pharmavite (LLC), Tate & Lyle, The a2 Milk Company, The Coca-Cola Company, The Danone Company Inc., The Sugar Association, et Unilever.). On peut faire mieux comme indépendance.

Ou on peut citer la fameuse étude du fameux M. Raoult de Marseille, publiée dans une revue tenue par un de ses subordonnés…là aussi, grosse alerte rouge.

L'ADEQUATION

Oui, il y a un autre point important  à vérifier, c’est aussi : est-ce que le medium de la revue est un medium approprié, spécialisé ? Une revue de psychologie n’a pas un comité de lecture apte à juger de nutrition. Si un auteur publie dans une revue qui ne relève pas du sujet, ou pas tout à fait, peut-être est-ce qu’il n’a pas été accepté chez les professionnels de ce sujet ?
Un exemple ici : https://www.frontiersin.org/articles/10.3389/fnut.2023.1157517/full?fbclid=IwAR1ulib0kXyPeWwihh_PC-SPZvw73aGbgZFJsAMIpMj3dvjzaEkp9sqxZCE
Cet article parle de physiologie et médecine canine dans une revue de nutrition humaine. On peut y relever plusieurs biais et problèmes présents à cause d’une méconnaissance des sujets évoqués, et il est fort probable que cet article ne serait jamais passé dans une revue vétérinaire.

3. Qui sont les auteurs ?

Là encore, il est important de regarder qui a écrit l’étude. Le plus souvent, le premier auteur est le principal contributeur, le dernier est celui qui chapeaute tout. Qui sont-ils ? Où travaillent-ils ? Ont-il une orientation idéologique ? Dans le lien ci-dessus, un des auteurs cherche à faire la promotion de son entreprise. Dans le précédent, l’auteur principal est carrément une des têtes d’affiches de Soy Nutrition Institute Global, un organe de lobbying et de publicisation des industries du soja !

4. Quel est le niveau de preuves et la conclusion ?

LA CONCLUSION ET LA DISCUSSION

Pour bien comprendre les conclusions des auteurs, il faut généralement parler couramment la langue utilisée et en saisir les nuances. Par ailleurs, si la partie « Discussion » vous est accessible, elle permet une meilleure compréhension des réserves possibles sur une conclusion. Mais le côté traduction est important. Récemment, j’ai eu le problème avec un interlocuteur qui soutenait que « may » en anglais exprimait un fait. Or, la traduction est mauvaise.

Lemon cures cancer = Le citron guérit le cancer.

Lemon may cure cancer = il est possible que le citron puisse guérir le cancer.

Lemon might cure cancer = le citron pourrait peut-être guérir le cancer.

Souvent, les auteurs indiquent eux-mêmes leurs doutes, mais il faut éviter de sortir les phrases de leur contexte pour s’en rendre compte.

LA REVUE DE CAS (CASE-REPORT)

La revue de cas rapporte quelques cas, un faible nombre de patients (typiquement, moins de 100). Elle n’est pas statistiquement significative, mais peut indiquer une direction à explorer pour la science. ELLE NE PERMET EN AUCUN CAS DE TIRER DE GRANDES CONCLUSIONS GENERALES. On est sur de l’anecdote, qui peut s’avérer intéressante par la suite ou attirer l’attention sur des exceptions, mais ne peuvent servir que de curiosités en attendant plus d’informations.

LES ETUDES CLASSIQUES

Menées sur un grand nombre d’individus, classiquement en les comparant à d’autres, elles permettent de dégager des tendances et des informations intéressantes. Elles se contredisent rarement, mais cela peut arriver. Elles ont souvent un niveau de preuves intéressant si plusieurs d’entre elles (d’auteurs différents) vont dans le même sens.

Il est très difficile, ceci dit, de savoir si elles sont bien menées, parce que parfois les protocoles restent relativement opaques.

LES META ANALYSES

Souvent considérées comme l’alpha et l’oméga de la preuve, les méta analyses prennent un certain nombre d’études sur un sujet précis, qu’elles trient et classent pour dégager une tendance. Comme indiqué plus haut, si de nombreuses études permettent de dégager une tendance voire d’aboutir à un consensus scientifique, il faut souligner que de nombreuses méta-analyses sont considérées comme ayant très peu de valeur, tout simplement parce que le tri, les études retenues ou non sont rarement accessibles dans leur intégralité. Par ailleurs, nombre de méta analyses ont tendances à rapprocher entre elles des études qui n’ont pas des protocoles, méthodologies, ou écart de biais comparables. Elles aboutissent donc à des résultats plus ou moins erronés.

REVUE GENERALE DES CONNAISSANCES

Ces études ne devraient pas constituer des sources primaires, et ne devraient être utilisées que lorsqu’elles sont publiées par des personnes indépendantes, très objectives, et dans des medias indépendants. Elles consistent à essayer de résumer l’état des connaissances sur un sujet. Là encore, les auteurs sont généralement obligés de faire un tri dans les sources, et ce tri peut n’être pas tout à fait correct.