02
oct
Une critique à un test de télépathie par téléphone de Rupert Sheldrake
Je découvre ce matin le Journal de l’OZ, un blog concernant l’actualité de l’Observatoire Zététique, qui vient compléter leur site institutionnel.
Une note du lundi 11 septembre 2006 nous apprend qu’un membre de leur association, Florent Tournus, a soumi un papier au Journal of the Society for Psychical Research (JSPR). Sans ironie aucune, je suis heureux de voir qu’un zététicien prend le temps de “jouer le jeu” du débat scientifique, en soumettant sa critique à une revue de parapsychologie à comité de lecture. Sa critique porte sur une expérience menée par Rupert Sheldrake à propos de “télépathie par téléphone”. Le principe est simple : une personne est appelée par l’un de ses proches parmi 4 possibles, et doit deviner, avant de décrocher, qui va être son correspondant.
Dans l’expérience que critique Florent Tournus, les personnes qui se sont prêtées au jeu sont les soeurs Nolan, qui eurent un certain succès en Angleterre dans les années 1980 en tant que chanteuses de variété. 12 tests furent tentés, à la suite, devant les caméras d’une émission de télé (c’était en juin 2003). Il s’agissait en fait, on l’aura compris, d’illustrer les travaux précédents de Sheldrake. Résultat “en direct” : sur 12 tentatives, 6 furent des réussites (rappelons qu’il y avait 1 chance sur 4 de tomber par hasard sur la personne juste). Mais à deux reprises, la personne qui devait décrocher dit le nom de sa correspondante après avoir saisi le combiné téléphonique, donc on peut suspecter qu’elle aurait reconnu la personne ne serait-ce que par le bruit de sa respiration (personnellement, ça me semble assez tiré par les cheveux, mais bon, mettons que ce soit vrai). Si on retire les 2 tests en question, il reste tout de même 5 réussites sur 10 tentatives… Sheldrake décide de ne pas supprimer ces deux tests, et fini par obtenir un résultat P=0,05. En fait il s’agit de P=0,0544, comme le souligne Florent Tournus, qui utilise ce détail pour affirmer que le test n’est alors plus significatif, puisque 0,0544 est moins important que 0,05 tout court…
Il me semble tout de même que Florent “joue sur les chiffres”. Car certes, c’est un peu moins significatif que 0,05 tout court, mais tout de même, les scores restent plus importants que ce à quoi on aurait pu s’attendre ! La chance des débutants ? Si c’était là le seul test de “télépathie par téléphone” organisé par Sheldrake, on pourrait effectivement le penser. Après tout, 12 tests seulement, c’est loin d’être suffisant pour prétendre avoir mis en lumière un éventuel phénomène de télépathie.
Mais c’est oublier que ce test des soeurs Nolan n’est qu’une démonstration pour la télévision. Parallèlement, Sheldrake avait publié des expériences du même type, mais beaucoup plus poussées. Voir par exemple “Experimental Tests for Telephone Telepathy” (JSPR, Vol. 67, juillet 2003) où il fait passer plus de 500 tests à 63 participants, en prenant soin de mener une série “témoin” avec des personnes qui ne se connaissent pas entre elles (les résultats correspondent alors au hasard, soit 25% de réussite, tandis qu’avec des personnes qui se connaissent, ils montent à 40% - la théorie défendue par Sheldrake étant que c’est avec des personnes ayant des liens affectifs forts que la télépathie fonctionne).
Dans une sconde série, “Videotaped Experiments on Telephone Telepathy” (JSPR, Vol. 67, juillet 2003), il fait passer 271 tests à 4 participants différents (le tout est filmé) et obtient 122 réussites sur 271 tentatives (45% de réussite, au lieu des 25% attendus).
On aurait aimé que Florent s’attaque à ces deux autres papiers, qui sont beaucoup plus représentatifs que le test avec les soeurs Nolan, qui, lui, ne concernait que 12 tentatives, et n’avait été mis en place que sur proposition d’une émission de télévision. Ce qui est regrettable dans le papier qu’il soumet au JSPR, c’est qu’il ne mentionne même pas l’existence de ces deux autres séries d’expériences.
Il faut reconnaître tout de même à Sheldrake d’avoir pris le risque de refaire un test pour la télé (on imagine bien comment ça a dû se passer), car si, à cette occasion, les résultats avaient été conformes au hasard, il se serait retrouvé dans une situation bien délicate. A moins d’imaginer une collusion de l’équipe télé, ou une tricherie de Sheldrake, mais ce genre de suspicion gratuite resterait à prouver (et c’est, à mon avis, l’argument-massue qu’on ne peut utiliser qu’en dernier recours, quand on refuse absolument la possibilité même que puisse exister un phénomène aussi dérangeant que la télépathie, simplement parce qu’on postule qu’il violerait les “lois de la nature”).
En 2004, Dick Bierman et Eva Lobach, de l’Université d’Amsterdam, réalisent à leur tour l’expérience de Sheldrake, indépendemment de celui-ci donc. Ils obtiennent eux aussi un résultat significatif : 29,4% de succès au lieu de 25% (avec 6 femmes, et 36 tests en tout).
En tout cas, je suis curieux de voir si le comité de lecture du JSPR va accepter ou non l’article de Florent Tournus, et pour quelles raisons.
A noter que sur le même site (http://zetetique.info), Florent a répondu à ce commentaire. Je vous joins sa réponse :
Bonjour,
Le but de mon article n’est pas de « jouer sur les chiffres », mais de mettre en lumière un certain manque de rigueur dans l’analyse des résultats effectuée par Sheldrake et al.
Si vous pensez que c’est « jouer sur les chiffres », comment expliquez-vous que Sheldrake ne donne pas les vrais chiffres alors ? Si c’est une omission involontaire, alors ça montre une certaine « incompétence » et incite à se méfier d’autres travaux…
Si c’est volontaire, c’est encore plus grave, puisqu’il y a une volonté de dissimulation.
Tout ce que je fais dans cet article, c’est « corriger » l’analyse erronée effectuée par Sheldrake et al. et ainsi inciter le lecteur à être vigilant ! Je laisse le soin au lecteur de se faire une idée : est-ce qu’une cote de 20 contre 1 contre l’hypothèse du hasard c’est la même chose qu’une cote de 12 contre 1 ? La conclusion donnée dans l’article de Sheldrake et al. est tout simplement fausse : les résultats NE SONT PAS en faveur de l’hypothèse télépathique. Cela me semble suffisamment « grave » pour être souligné, qu’on ne dise plus à l’avenir que cet article « va dans le sens de l’hypothèse d’une communication télépathique ».
Quant à la question des autres articles de Sheldrake sur ce sujet, j’espère pouvoir écrire une critique prochainement. Je connais évidemment ces articles et il y a des choses à dire dessus ! Avant de soumettre mon « comment » je me suis interrogé sur la marche à suivre : fallait-il attendre et critiquer « en bloc » l’ensemble des articles de Sheldrake sur ce sujet (la télépathie par téléphone) ou déjà pointer du doigt un article « mineur » ?
Voilà ce que j’avais écris à l’époque sur la liste publique zététiciens (http://fr.groups.yahoo.com/group/zeteticiens/message/6901)
« Ca n’est qu’une publication un peu “anecdotique” mais révélatrice de la qualité du travail de Sheldrake (voire du sérieux de la recherche en parapsychologie) !
Il y a également pas mal à dire sur d’autres publications de Sheldrake concernant la télépathie par téléphone, et je ferais une “synthèse” un jour… »
et (http://fr.groups.yahoo.com/group/zeteticiens/message/6949)
« Et puis, comme je l’avais déjà dit, je trouve qu’il serait préférable que je fasse une analyse plus “globale” des travaux de Sheldrake sur la télépathie par téléphone, pour en faire un vrai dossier… Là aussi ça demande du temps.
Maintenant, je suis tout ouï concernant les avis sur la meilleure stratégie à adopter : publier un court article pointant quelques abus/erreurs dans un article “mineur” ou faire une critique plus “globale” et plus étoffée ? »
J’ai finalement pris le parti, après demande de conseils, de commencer par publier un « comment » sur cet article précis. J’espère trouver le temps rapidement de rédiger quelque chose au sujet des autres articles, que je n’oublie pas !
Mais là n’était pas l’objet de mon « comment » et je préfère que l’on se focalise sur l’article que je critique. Si vous n’êtes pas d’accord avec certaines de mes remarques, merci de m’en faire part. Je ne prétends pas du tout « démolir » tout le travail de Sheldrake. Encore une fois, j’attire simplement l’attention sur le fait qu’avec un peu de rigueur, les conclusions qu’on peut tirer sont différentes de celles annoncées par Sheldrake et al.
J’en profite maintenant pour répondre plus précisément à certaines de vos remarques :
-Vous dites « c’est un peu moins significatif que 0,05 ».
Ca n’est pas « un peu moins significatif », ça n’est pas significatif, c’est tout. C’est une question de convention et de frontière bien définie. Shelkdrake n’avait qu’à donner la valeur correcte de p, sans discuter son caractère « significatif » (hautement subjectif de toute façon…).
-Vous dites : « mais tout de même : sur 12 tentatives, 6 ont été des réussites. Meme si l’on ne prend que 10 tentatives, on arrive encore à 5 réussites. Simple chance ? ».
On ne pourra jamais savoir si c’était simplement de la chance. Tout ce que je peux vous dire c’est qu’il y avait environ 8 % de chance de faire aussi bien par hasard ! Maintenant, à vous d’en penser ce que vous voulez. Personnellement, un résultat comme cela ne m’incite absolument pas à rejeter l’hypothèse de la « simple chance » et aucun statisticien ne le ferait. Il faut un résultat autrement plus « extraordinaire » pour privilégier l’hypothèse « extraordinaire » d’une communication télépathique.
-Vous dites « Si c’était là le seul test de “télépathie par téléphone” organisé par Sheldrake, on pourrait le penser (la chance des débutants ?), mais c’est loin d’être le cas ».
OK, mais parlons de ce test déjà. Etes-vous bien d’accord pour dire que les résultats ne sont pas en faveur de l’hypothèse télépathique (si vous n’êtes pas d’accord, merci d’argumenter au delà d’un « tout de même, un score de 6 sur 12 ou 5 sur 10 c’est bien », puiqu’un tel argument ne vaut rien d’un point de vue statistique) ? Nous verrons ensuite les autres tests, qui ont été effectués dans un tout autre cadre et qui ne suivent pas le même protocole (qui de toute façon n’est pas très rigoureux puisque les auteurs écrivent qu’il y avait possibilité de tricher…).
-Vous dites « Il faut reconnaître tout de même à Sheldrake d’avoir pris le risque de refaire un test pour la télé, car si les résultats avaient été conformes au hasard, il aurait été dans une situation bien délicate. »
Mais les résultats SONT conformes au hasard ! C’est là tout l’objet de mon article, je m’étonne donc de cette remarque ! C’est une très bonne chose que Sheldrake ait fait cette expérience télévisée (on aurait aimé un protocole plus strict), on peut simplement regretter le faible nombre d’expériences menées. Ce que l’on doit retenir de celle-ci, c’est que LES RESULTATS SONT CONFORMES AU HASARD.
Cordialement,
Le 2 octobre 2006 à 20h05Florent Tournus.
Bonsoir Florent, et merci de vous donner la peine de réagir à mes commentaires.
D’abord, désolé : je ne savais pas que vous aviez déjà discuté ailleurs (sur la liste zététiciens) de la stratégie à adopter. J’aurais dû me documenter un peu mieux avant de vous accuser de négliger les papiers plus importants de Sheldrake, puisque vous les connaissez visiblement déjà. J’espère d’ailleurs que vous arriverez à “ficeler” votre dossier et suis curieux de prendre connaissance de vos critiques concernant ses deux autres papiers (en espérant qu’elles seront autre chose que simplement dire qu’il y avait possibilité de tricher et que donc tout ça ne vaut rien : aucun protocole ne peut résister à ce genre d’accusation virtuellement invérifiable, que ce soit en parapsychologie ou ailleurs).
Ensuite, pour répondre à vos questions :
Oui, l’erreur initiale est de Sheldrake, qui aurait dû préciser 0,0544 au lieu de laisser croire à 0,0500… Mais comme vous le dites vous-même, cette barrière de 0,0500 est elle-même une convention. C’est une convention de dire que tel résultat sera significatif à 0,0500, mais pas à 0,0544. Pour moi ce qui semble important c’est le chiffre de 5 réussites sur 10 (ou 6 sur 12), là où en théorie on s’attendait à bien moins (3 sur 12). Cependant, comme vous le dites aussi, et je suis bien d’accord avec vous, “On ne pourra jamais savoir si c’était simplement de la chance”. Bien sûr, parce que 12 tentatives seulement, ce n’est évidemment pas assez pour se faire une idée valable. Même si le score des réussites avait été encore plus important, sur 12 tentatives seulement, rien ne permettait d’exclure la simple chance de toute façon.
Permettez-moi d’ailleurs d’aller jusque au bout de cette logique : si le résultat n’avait été que de 3 réussites sur 12, aurions-nous pu conclure pour autant que l’hypothèse de Sheldrake d’une télépathie par téléphone avait été invalidée ? Je ne pense pas. Je pense au contraire qu’on aurait dû, de la même manière, se résoudre à admettre que de toute façon l’échantillon (12 tests) n’était nullement suffisant pour conclure quoi que se soit. Il aurait fallu répéter l’expérience, je ne sais pas, allez, au bas mot au moins 20 autres fois (soit 240 tests) pour commencer à discuter.
Mais justement, c’est parce que Sheldrake avait déjà obtenu des résultats positifs auparavant (avec des tests beaucoup plus nombreux) qu’il se permet une telle confiance dans l’analyse de cette “expé-démo”, et qu’il conclut à une confirmation. Sans les autres papiers de Sheldrake sur la télépathie par téléphone, la démo des Nolan Sisters perd évidemment tout intérêt.
Et donc, je persiste à penser que ce sont les deux “vrais” papiers de Sheldrake publiés en 2003 dans le JSPR qui sont vraiment intéressants à critiquer, car ce sont ceux-là qui sont importants en ce qu’ils “attestent” l’existence de la télépathie par téléphone.
Une autre manière de vérifier le travail de Sheldrake, c’est aussi de regarder quelles réplications ont pu être conduites, et avec quels résultats. Je mentionnais la réplication de Bierman et Lobach, mais je crois me souvenir qu’il y en a eu d’autres, y compris de la part de chercheurs sceptiques à l’égard des résultats de Sheldrake (je crois que Sheldrake en parle dans son livre “Le Septième Sens” - à vérifier cependant, je ne l’ai pas sous les yeux au moment où je rédige ce commentaire).
Cordialement,
Greg
Le 2 octobre 2006 à 22h00Bonjour Grégory,
Pour information, on vient de m’indiquer que le commentaire de Florent et la réponse de Sheldrake sont publiés dans le dernier volume du JSPR : (vol; 71.3 -887, avril 2007).
Cordialement,
Le 18 avril 2007 à 2h13– Nicolas Vivant.
Toujours à ce sujet, la réponse de Florent Tournus à la réponse de Sheldrake. Avec un commentaire de Louis Bélanger, « psilogue » bien connu du Québec : http://www.zetetique.info/archives/00000077.html
Cordialement,
Le 23 avril 2007 à 19h28– Nicolas Vivant.