I. Une analyse critique de Philippe Besse, Patrice Cambras et Monique Pontier

Ce papier est assez surprenant pour qui enseigne la statistique, car les chiffres donnés, de fait, conduisent à la conclusion inverse de celle donnée par l’auteur. Il s’agit du tableau de la page 281, ou plutôt de son interprétation :

L’auteur affirme : « il n’y a qu’un élève sur deux qui préfère l’énoncé 1 » (80/164) ; mais ceci est faire bon marché de la catégorie « indifférent ». Membres du laboratoire de Statistique et Probabilités de l’Université Paul Sabatier de Toulouse, nous avons une longue pratique (et des bases théoriques certaines) de l’aide à des utilisateurs de la statistique, dans des domaines aussi divers que les sciences sociales ou biologiques, etc. Ainsi, la déontologie de notre métier nous conduit à traiter à part ce que l’on peut appeler des non-réponses : il s’agit donc d’exclure cette troisième ligne, auquel cas le rapport énoncé 1 à énoncé 2 passe de 80/164 à 80/135, soit 59 pour cent, ce qui change sensiblement les choses.

Si l’on poursuit l’analyse du tableau, il est manifeste que les règles élémentaires d’exploitation statistique ne sont pas correctement appliquées : pour être bref, il convient de comparer les effectifs observés à ceux que l’on obtiendrait s’il y avait indépendance entre le facteur « énoncé » et le facteur « type de classe ». Ce qui donne lieu, s’il y avait indépendance, au tableau théorique suivant :
qui est à première vue très peu différent du premier, ce qui est confirmé par le calcul du chi-deux : on obtient un chi-deux à quatre degrés de liberté de 1,96, ce qui ne permet pas de conclure à l’absence d’indépendance. Or l’auteur, lui, conclut au comportement particulier des élèves de Première S : il n’en est pas question.
L’hypothèse suivante proposée pour expliquer le comportement particulier des élèves de Première S est ainsi tout à fait infondée. L’analyse du tableau duquel on a soustrait les indifférents conduit plutôt aux conclusions suivantes que propose Bernard Parzysz :
« Dans toutes les classes du lycée, on constate une assez nette prépondérance (3 élèves sur 5) de la modalité “ valise ” (mettant à part la classe de Quatrième qui relève du cycle central du collège et qui est par conséquent en discontinuité avec les autres). On ne trouve absolument aucun “ comportement particulier des élèves de Première S ” ni par rapport aux terminales, ni par rapport aux secondes (générales ou professionnelles). Quant aux quatrièmes, la faiblesse de l’effectif devrait plutôt inciter à la prudence. »

Nous faisons également nôtre l’observation de Bernard Parzysz qui dit que la population étudiée ici n’en est pas une au sens statistique du terme. Tirer des conclusions aussi définitives d’une seule expérience, effectuée auprès d’un effectif aussi restreint est contraire à toute déontologie statistique.
Dans la mesure où la statistique est maintenant introduite dans les programmes du secondaire, un tel article nous paraît susciter deux craintes :

• un lecteur non averti est induit en erreur et acquiert dans cette lecture une méthode statistique complètement fallacieuse,
• des lecteurs peu enclins à se mettre à l’enseignement de la statistique pourront trop aisément conclure que la statistique c’est « n’importe quoi ».

Or ceci est faux : des règles strictes existent qui sont applicables et enseignables.

II. À propos de cette critique

1. Un texte de Guy Brousseau

Je suis en désaccord avec les critiques adressées à l’article d’André Antibi par nos trois collègues toulousains.

1. Pour l’essentiel ils se trompent de débat : ils s’attachent à montrer par un test statistique que les élèves « partisans » de l’énoncé 1 sont significativement plus nombreux que les élèves partisans de l’énoncé 2. Or ce fait n’a rien à voir avec ce que dit Antibi qui s’intéresse au décalage entre la répartition des choix des élèves (quelle que soit) et celle prévue par les professeurs. Nos collègues auraient dû comparer les effectifs (80 ; 55 ; 29) avec par exemple (9 ; 1 ; 1). Le c 2 n’est effectivement pas « calculable » si on conserve les indécis, mais la comparaison est possible avec d’autres moyens.
2. Je voudrais bien savoir comment un écart significatif entre la valeur observée par Antibi et celle avancée par Parzysz sur seulement le choix des élèves (Parzysz ne parle pas des professeurs) pourrait « prouver le contraire » de l’affirmation d’Antibi que nous rappelons ci-dessus. D’ailleurs, les résultats des deux chercheurs ne semblent pas significativement différents : 50% et 60% sur 164 sujets.
3. Antibi ne fait aucune spéculation d’ordre statistique et ne prétend pas donner une preuve concernant l’origine de l’ensemble de tous les professeurs et de tous les élèves du monde. La critique sur la représentativité n’est donc pas pertinente. Il n’est pas juste de faire comme s’il avait voulu apporter une preuve statistique. De plus l’échantillon d’effectif faible est plutôt celui des professeurs que celui des élèves.
4. Par contre les événements rapportés par Antibi suffisent pour me convaincre, avec des arguments statistiques, qu’il y a ici un décalage entre les deux cohortes observées. En effet un simple calcul de combinatoire montre qu’il y a à peine une probabilité de 0.07 de tirer, d’un même ensemble parent, des échantillons aussi (ou plus) différents l’un de l’autre. Ce fait établi est pour moi un indice suffisant qu’il y a là un exemple d’un phénomène digne d’être étudié. Et le taux me suffit (d’ailleurs si on réunissait les professeurs observés avec ceux du stage « Rallye », évoqués mais non comptés, et qu’Antibi nous dit « unanimes », la probabilité serrait largement inférieure au seuil convenu de 0.05).
5. Il reste qu’André Antibi a soulevé un problème intéressant. Le décalage entre les motivations des élèves et celles que leur prêtent les enseignants est un phénomène didactique qu’il me semble important d’étudier, d’établir plus précisément et d’expliquer.
6. J’ai toujours fait mon possible pour développer la pensée statistique et l’usage des instruments correspondants dans l’analyse des faits de didactique et dans la pratique de l’enseignement. J’ai cru observer que le plus difficile n’est pas d’appliquer strictement des méthodes, mais de les adapter au domaine et de les utiliser à bon escient.

2. Un texte de Pierre Ettinger et de Jacques Vanpoucke

L’article d’André Antibi n’est ni un article de statistique, ni un article utilisant les outils statistiques.

En tant que statisticiens, notre étonnement est donc grand de voir des collègues le critiquer comme si cet article était un article de statistique ; notre étonnement est encore plus grand quand ces collègues modifient les données en ramenant une variable à trois modalités à une autre variable à deux modalités, et ceci au nom de la déontologie (dans cette situation, on ne peut en aucun cas assimiler la catégorie « aucune préférence » à une non réponse).

Revenons, sur le fond, à l’article d’André Antibi. Il est intéressant par les questions qu’il soulève et les pistes qu’il propose à l’approfondissement, ouvrant ainsi des horizons nouveaux aux enseignants de mathématiques.