Quel crédit accorder à une publication scientifique?

[adita]

Bonjour,

Sur le forum, en particulier sur la VPS mais aussi sur tout un tas d'autres sujets, on voit passer des mentions à des publications scientifiques (qui parfois n'en sont même pas d'ailleurs, ça peut aussi être des posts de blogs présentés comme de la Sciiience).
La publication scientifique sert à appuyer ses propos, parfois on aime en critiquer la pertinence lorsque l'ont est pas d'accord avec les conclusions.
Sur Internet on peut maintenant trouver de tout, de l'article de Buzfil qui reprend une soi-disant étude d'une université du Michigan (c'est toujours des Université du Michigan j'ai l'impression dans ce genre d'article buzz ), nous vantant les bénéfices pour la santé à avaler du sperme (pour mesdames uniquement bien sûr ), de chercheurs n'existant pas, à l'article de Nature multi-cité. aux publis scientifiques plus "militantes" (je pense par exemple aux travaux de Catherine Vidal, ses travaux sont intéressants mais on ne peut pas en occulter la partie "militante" qui introduit aussi un biais).
A marge des études de science "pure" on peut aussi citer les études de psychologies, de sociologies, dont les protocoles sont différents sans que ça invalide leur pertinence ni leur justesse (idem pour les études sur le genre, qui sont ultra documentées et poussées aux US et qui font tout doucement leur appartion en France).

Alors comment évaluer la pertinence d'une publication scientifique?

Quelques pistes que je trouve pertinentes:
- La publi en est-elle vraiment une? Pour être une publi, il faut être... publié dans un journal (ça parait peut-être la base, mais vu le nombre de blogeurs qui s'improvisent chercheur, ça mérite d'être précisé ).
- La cote du journal. Les journaux scientiques ont une "cote", il va être plus facile de se faire publier dans certains journaux que dans d'autres, les reviewers (qui lisent les articles que les chercheurs soumettent) n'ont pas forcement les mêmes exigences. Selon le degré "d'importance" de son travail, au niveau du thème ou des contributions apportés, on ne va pas pouvoir publier dans les mêmes journaux.
En gros si on démontre le théorème de Fermat, on va être publié dans un journal très coté, si on publie une recherche de bonne facture mais un un thème mineur ou hyper spécialisé, on va être publié dans des jounaux "moins cotés" (il en faut aussi, la recherche avant aussi en s'emparant de sujet mineur ou hyperspécialisés!)
- Le nombre de référence à d'autres articles au sein dudit articles. Clairement un article qui ne cite aucuns autres travaux, c'est louche Ne serait-ce parce qu'une partie bibliographie, sur ce qui a déjà été fait sur le sujet ou sur des sujets approchant, est toujours pertinente.
- Le nombre de fois où ledit article est cité ensuite. Les articles "majeurs" vont être cités et repris des centaines de fois dans des publications par exemple, parce qu'ils font "référence". Si l'article a été publié il y a très longtemps n'est n'est recité par aucun autre article c'est souvent qu'il présente peu d'intérêt et que d'autres sur le même thème sont probablement plus éclairant.

Et vous les madz, quels sont vos astuces pour lire des publis scientifiques? Pour en évaluer la pertinence?

 

[marinelsr]

Les études de cas c'est important aussi ! Moi je fais attention à ça, surtout quand il s'agit de sciences humaines.
Parce que les études de cas faites sur 20 pécores qui te donnent de grandes conclusions, yen a quand même pas mal qui trainent sur le net. Du coup à partir du moment où les études de cas ne sont pas faites sur plus de quelques centaines de personnes ça me laisse sceptique. Pareil pour les expériences des articles plus "scientifiques", le protocole est important aussi.

Et dans les articles en général, c'est bien que l'auteur parle d'hypothèses d'autres scientifiques et explique sa démarche.

 

[Lunafey]

La discussion. La dernière partie où les auteurs.ices expliquent les limites de leur étude, qu'est ce qui pourrait être amélioré, est-ce que les résultats sont différents des autres études validées, pourquoi...
Un article sans discussion est pour moi invalide: c'est une partie essentielle, et qui permet de voir l'objectivité des auteur.ices.

Surtout: vérifier les calculs de corrélation. C'est chiant quand on ne voit pas ça dans son cursus ou qu'on ne suit pas d'études, mais des scientifiques peu scrupuleux ou pas objectifs peuvent faire croire que leurs résultats sont significatifs (en insistant dessus, dans la mise en page de leurs graphiques), alors qu'ils ne le sont pas.
En sciences humaines (peut-être ailleurs) on utilise les corrélations, le t de student et compagnie pour, par rapport à nos chiffres (effectif, moyenne, écart type, variance), savoir à partir de quel nombre l'écart entre deux résultats est significatif.

Je crois que c'est pas du tout compréhensible, surtout pour quelqu'un qui fait pas de stats :/ Je devrais peut-être revenir avec des graphiques et des exemples...

 

[Chambray]

Merci pour ce topic @adita !

Une question que je me pose souvent : comment fait-on pour connaître la "cote" d'un journal scientifique ? Quels indices ?

Désolée si la réponse est évidente, je ne suis pas scientifique de formation

 

[Somebody else]

A noter qu'à propos de cotes, aussi que les chercheurs doivent faire des compromis. Selon leur domaine (un article sur la communication chimique des fourmis n'aura pas le même public qu'un autre sur le remède au VIH), selon la spécialité (et non pas "l'importance") du sujet (petit, ultra-pointu et spécifique ? ou large ) et la quantité de chercheurs à qui cela s'adresse (est-ce une thématique large / en vogue / qui n'intéresse que 25 personnes dans le monde ?), la plupart de ces critères pouvant éventuellement se recouper.

Et un article scientifique est publié dans un vrai journal scientifique pas un blog, pas une revue de vulgarisation (même qui se prétend scientifique - car un journal de vulgarisation reste... de la vulgarisation !).
Que ce soit payant ou en open access, mais un journal scientifique du domaine qui a pignon sur rue .

@marinelsr : des études de cas sur 20 personnes ?
Dans mon domaine (science bio) le principe d'une étude de cas c'est d'étudier un unique individu sous la maximum d'angles possibles... Avec 20 sujets (surtout si ce sont des humains ou des primates), dans certains domaines, je considère que l'échantillon est déjà pas mal Avoir des centaines de sujets n'est pas forcément gage de résultats plus valables. Par exemple, quand ce sont de sujets humains, plus tu auras de personnes, plus ce sera difficile qu'ils soient tous suffisamment homogènes entre eux (ex. pour étudier l'impact d'un ttmt sur des malades de Parkinson, il faudra que les volontaires correspondent à un certain stade, à un certain âge, de milieux socio-économiques et culturels similaires... ça réduit considérablement la taille de l'échantillon si on veut faire les choses bien).
Là encore, c'est un compromis

@Aquarella : c'est le facteur d'impact qui importe. C'est expliqué ici : http://guides.bib.umontreal.ca/disciplines/38-Classement-d-importance-des-revues
Après, ce n'est pas parce qu'un article est publié dans un journal à impact modeste qu'il est forcément moins bon qu'un autre dans un journal mieux côté ! C'est aussi une question de public à qui ça s'adresse (restreint ou non) comme l'indiquait @adita .

 

[Lunafey]

@Somebody else Je comprends pas pourquoi vous faîtes une étude (dans ton exemple) sur un "individu type" :/ Ma formation est telle qu'on préfère utiliser un large échantillon représentatif d'une population (donc dans ton exemple, des individus atteints par Parkinson), et donc contrôler les variables sujet (origine socioéconomique, sexe, age, etc) par le large nombre de personnes participants à l'étude (plus il y a de participants, moins les variables sujet ont d'impact sur les résultats).
Parce que sinon, dans ton exemple, si on prend un petit échantillon de personnes qui ont les mêmes caractéristiques de variables sujet, le résultat ne sera valide que sur ce type de personne (genre "hommes de 60 ans de milieu populaire sans antécédents particuliers"), scientifiquement on ne peut pas inférer ce résultat à l'ensemble des malades. Donc on ne saura pas si on peut appliquer le même résultat pour les mêmes personnes qui ont juste une petite différence (genre "hommes de 60 ans de milieu aisé sans antécédents particuliers"). Donc il faudrait refaire encore des études pour chaque catégorie de personne...

Je comprends pas trop pourquoi ne pas préférer faire une étude avec un échantillon représentatif de la population étudiée :/ (ou une étude avec plusieurs groupes si c'est pertinent de mesurer les différences de résultats selon les variables intersujet)
Tu peux m'éclairer ?

 

[Somebody else]

@Lunafey : pour l'étude de cas, ça se fait couramment en médecine et en neuropsychologie (ce n'est pas mon domaine, ce sont uniquement des enseignants qui m'en ont parlé). J'ai également quelques exemple dans "mon" domaine plus proche (le comportement animal). Quand un cas est "atypique" dans le sens d'"exceptionnel", ça peut permettre d'éclairer sur certaines fonctions. Par exemple, le patient HM, qui a permis de confirmer l'association entre mémoire épisodique et structure hippocampique. Un autre exemple (animal), dans le domaine de l'apprentissage et de la cognition, ça peut être Alex le perroquet, qui au bout d'un entrainement (étalé sur plusieurs années), faisait la distinction entre les couleurs, les formes, des matières, utilisaient des mots, et surtout, comprenait les concepts de différence et de similarité, et pouvait exprimer le refus (de travailler quand la tâche était trop difficile ou les objets trop petits pour les manipuler avec son bec). Ça a permis de confirmer dans une certaine mesure des capacités cognitives importantes chez les oiseaux (abstraction, catégorisation, discrimination, association, déduction).

Pour l'étude à petite échelle, ça peut servir d'étude pilote je pense, notamment avant d'en lancer une à plus grande échelle... qui ne donnera potentiellement pas de résultat satisfaisant à publier au regard du temps et de l'investissement passé. De plus, c'est plus précis. Ça peut permettre de comprendre grâce aux variables restantes non contrôlées pourquoi ça a pu marcher / ne pas marcher par rapport à tel individu X1. Par exemple, un traitement à un certain dosage aura des effets différents en fonction des malades, et un même comportement pourra avoir des origines différentes. À plus petit échelle, on peut aussi plus facilement repérer des cas atypiques au sein de l'échantillon, au lieu de les noyer dans la masse, qui pourront aider à la compréhension de certains aspects particuliers d'une affection par exemple.

C'est du moins ce que j'en ai vu dans la partie présentée par des enseignants plus orientés médecine et psychologie de mon cursus, ce qui était très différent de ce que j'avais vu dans mes propres matières.
Je n'approuve ni désapprouve, je pense que ça dépend du but de l'étude et de ce qui est recherché

Dans "mon" domaine, quand il y a petitesse de l'échantillon, c'est surtout lié à des raisons pratiques ou éthiques.
Par exemple, du côté pratique, les primates coûtent chers à l'entretien et ça ne s'acquiert pas comme ça par exemple. Donc utiliser 2-3 groupes de primates (de la même espèce) de 8 individus avec un sex-ratio M/F ou adultes/jeunes un peu différent pour faire des observations comportementales, c'est... à la fois pas si mal, mieux que rien et acceptable, même si bien entendu, on aimerait beaucoup avoir des échantillons plus importants (mais si on veut des échantillons plus importants, le tout sera de conserver un compromis entre homogénéité / hétérogénéité des caractéristiques des animaux).
Pour le côté éthique, non, en expérimentation animale, il n'est pas acceptable d'ouvrir le crâne d'une centaine de singes juste "pour voir" . Donc j'ai lu quelques études où l'échantillon se réduisait à 2 individus (une expérience qui nécessitait une chirurgie lourde, dont une ouverture de la boîte crânienne) ou à 6-12 (conditionnement avec évitement de chocs électriques). Dans les deux cas, les conclusions étaient simplement prudentes et appelaient à faire des recherches complémentaires pour confirmer / infirmer les faits mis en évidence.

Bref, du coup, je sais plus si je l'ai dit, mais je pense que tout dépend du but de l'étude et de ce qui est recherché (une compréhension d'un mécanisme physiologique ? / une étude épidémiologique ? ce ne sera pas la même échelle).

Je ne sais pas si j'ai été claire ?

 

[Poule.Heureuse]

@adita
En fait, je crois qu'il y a plusieurs problèmes avec les buzzs scientifiques.

Je crois que souvent, le problème n'est pas la publication scientifique en elle même, mais l'interprétation que les journalistes en font. Ton exemple sur le sperme qui serait bon pour la santé, j'imagine que l'article original montrait qu'un certain nutriment (au hasard, le B12) était bon pour la santé. Qu'il se trouve que ce nutriment se trouve dans le sperme. Alors hop, le journaliste fait un article buzz "le sperme est bon pour la santé". Alors que ce n'est pas ce que disait l'article publié par les scientifiques.

Ensuite, souvent quand j'essaye de consulter les publications que les journalistes mettent en lien, je m'apercois que la publication est payante. Donc je ne peux pas voir ce que dit vraiment la publication. Est ce que les journalistes ont pu lire la publication eux même? L'abonnement aux revues scientifiques est cher, du coup... j' en doute. (s'il y a des journalistes qui passent dans le coin, pouvez vous nous renseigner?).

merci @Lunafey et @Somebody else pour vis explications

Connaissez vous le site: retraction watch?
http://retractionwatch.com/
Contrairement aux publications, les rétractations (c'est à dire quand les auteurs ou les éditeurs changent leur interprétations des résultats, admettent que les méthodes employées étaient pas appropriées etc...) passent souvent inapercues. Le site retraction watch se charge de les répertorier.
On s'apercoit que certains chercheurs doivent souvent rétracter leurs publications :s

 

[Somebody else]

@Little_Wing : j'avoue que tu touches un point sensible au niveau de l'accès aux "vraies" publications scientifiques.
Elles sont le plus souvent payantes, via des sites d'éditeurs spécialisés (le grand Elsevier par exemple, Wiley, Springer), et ça représente une grosses part des budgets de fonctionnement les laboratoires / universités (172 millions d'euros pour Elsevier sur 5 ans, alors qu'on ampute tous les autres budgets liés au fonctionnement des laboratoires et des universités...).
A côté, il y a aussi des journaux dit "Open Acess" où les articles sont gratuits (donc aussi, accessibles à tous). Mais ils ont généralement (ou qu'on me corrige !) un impact un peu moindre ou une réputation un peu moindre aussi (ce ne sont pas les "journaux cultes" du domaine quoi).
Donc, au vu du coût, je ne sais pas si les journalistes ont accès aux articles dont ils parlent. Après, il y a toujours moyen de se débrouiller : demander à un de ses contacts scientifiques de le procurer, demander à un des auteurs d'envoyer l'article (les anglo-saxons sont hyper réactifs)... C'est pas légal mais bon.
Après, même en étudiant à l'université, donc en ayant accès à ses abonnements, il est difficile pour moi d'avoir accès à tous les articles dont j'ai besoin
En tout cas, il est à peu près sûr qu'en étant le gens lambda moyen n'appartenant pas au monde scientifique, accéder à ces articles relève du parcours du combattant (or Open Access). Après, même si l'accès était libre, il y a des articles tellement difficiles (+ le fait qu'ils sont toujours en anglais) que je ne sais pas si ce serait si accessible que ça quand même pour monsieur tout le monde (sans vouloir prendre qui que ce soit de haut ! je me demande juste).

Un article sur Rue89 à propos de l'énormité de ce coût d'ailleurs, et le parallèle par rapport au fait que les chercheurs soient obligés de payer pour accéder à leurs propres articles (puisqu'en publiant leur article, ils cèdent tous leurs droits au journal) : http://rue89.nouvelobs.com/2014/11/10/france-prefere-payer-deux-fois-les-articles-chercheurs-255964
Et un autre sur l'inégalité que ça entraîne dans le monde : http://rue89.nouvelobs.com/2015/11/07/vente-darticles-scientifiques-racket-261982

Coût : il me semble avoir vu une étude (sur le genre, thème sensible par chez nous) sur 20 personnes. Sauf que l'étude incluaient des IRM et que ça coûte tellement une fortune que... déjà en faire 20 c'est bien . Donc là encore, c'est un compromis entre la quantité et la qualité.
Je dirais que tout n'est pas à jeter si l'échantillon est petit. Mais là encore, tout dépend de ce qu'on veut en tirer ensuite. Et il pourra y avoir des gros biais avec des échantillons plus importants.
Typiquement, sur quelque chose de flou ou mal connu, on utilisera un échantillon plus petit pour étudier "comment ça marche". Pour tester une molécule précise, l'échantillon sera plus important (risques étant pris en considération).

@Hatsue : il y aussi le fait que les hommes sont "hormonalement" plus stables que les femmes : pas de cycles, pas de pic hormonal qui pourrait modifier la physiologie du médicament... Sans compter le fait que oui, elles peuvent devenir enceinte.
Idem pour les animaux : ce sont beaucoup plus souvent des rats que des rattes qui sont utilisés, on évite ainsi tout ce qui est impact de l'oestrus. C'est une raison avant tout pratique, mais ça dépend aussi du médicament : quelque chose de plus spécifiques, comme une pilule contraceptive ou une molécule contre le cholestérol (je pense ?) ne seront pas nécessairement testées sur des "hommes jeunes typiques non fumeur de 70 kg" Même si c'est malheureusement le cas de la plupart des médicaments qu'on peut prescrire à la majorité de la population...

Pour les biais oui, ils risqueront d'être encore plus grands si on ne fait pas appel à l’observation / à la mesure de variables.
Dès qu'on aura besoin de la parole des gens en fait. Par exemple, comme tu dis, un sujet répondant à un questionnaire face / en l'absence d'un observateur ne fournira pas les mêmes réponses. En fonction de l'ordre non plus (il va chercher à mettre en accord ses nouvelles réponses avec les précédentes, en dépit de l'honnêteté) etc.
Idem pour un entretien : plusieurs phénomènes psychologiques (biais d'utilité, désirabilité sociale, modification a posteriori, tendance à l'acquiescement, effet de jugement, présente de l'enquêteur... il m'en manque, j'ai des trous de mémoire sur mon cours d'entretiens et questionnaires ) pourront intervenir.
L'exemple typique de biais sur l'ordre des question c'est 1. Êtes-vous satisfait dans la vie ? 2. Êtes-vous heureux en mariage ? et on inverse les questions : le réponses sont rarement identiques...

du coup je sais plus ce que je voulais dire

 

[Heran.]

je crois tu peux pas filtrer pour n'avoir que ceux là qui apparaissent quand tu fais une recherche

Si si, on peut filtrer pour n'avoir que les textes gratuits, c'est dans la colonne de gauche quand tu fais une recherche, sous "text availability"on peut mettre "free full text". (Mon école n'a accès à quasi aucun journal, du coup on fait toutes nos recherches avec ce filtre là. )

Sinon je ne sais plus qui parlait de regarder les axes des graphiques, je ne peux qu'appuyer cette idée. Et regarder les petites barres d'erreurs (si elles se chevauchent mais que l'auteur dit que les données sont différentes, faut se méfier. ) et aussi le nombre de réplicats : en dessous de 3 "ça sert à rien" dixit mon prof de planification expérimentale. Sinon, un autre point, surtout valable en biologie, c'est que si les auteurs disent un truc X dans la discussion (voir même les résultats), mais que cette affirmation X n'est jamais prouvée par une figure, faut prendre le fait avec beaucoup de pincettes. Récemment, j'ai lu une publi, où le mec disait que la protéine pouvait se modifier de telle et telle façon selon les conditions (prouvé par un graphique) et que c'était réversible (aucun graphique). Mon tuteur a envoyé un mail au mec pour lui demander des détails sur la réversibilité, et il s'avère qu'en fait il a observé cette réversibilité une seule fois, donc ça pouvait juste être un artefact, mais il l'a quand même écrit dans son papier...
Donc voilà, si vous avez le temps, vérifiez que ce que les auteurs affirment sont bien prouvés par les figures. (Mais bon c'est parfois difficile quand on ne connait pas la technique utilisée ).

 

[Heran.]

@Hatsue : Justement j'ai buggé sur ta phrase au début, j'arrivais pas à savoir si tu disais que c'était possible ou pas.

 

[Chambray]

Les journalistes web ou papier reprennent souvent la dépêche AFP en changeant 2-3 formulations, ou telle quelle. Ça concerne les papiers du type "Selon une étude de l'université de Sherbrooke, les femmes ont plus d'empathie que les hommes !".

Pour les articles de fond plus poussés où ils comparent plusieurs études, ils ne remontent en général pas "à la source". Ils vont chercher l'info là où ils la trouvent : d'autres journaux, sites spécialisés, interviews d'experts, etc. Ils sont peu à avoir les compétences nécessaires pour décrypter eux-mêmes les limitations d'une étude.