1. Les monstres dans l’histoire des sciences

L’idée qu’on peut acquérir des connaissances sur le « normal » en étudiant le « pathologique » s’est développée pendant le 18e et le 19e siècle. Auparavant la tendance était forte d’exclure de l’ordre naturel les « monstres » Le terme vient de « monere » c’est à dire « avertir, avec l’aide des dieux » (comme par exemple les enfants siamois ou plus généralement les difformités). Ils étaient considérés comme des interventions directes de Dieu tout à fait hors des règles normales. Par conséquent on ne peut rien en déduire concernant les lois naturelles. Cette idée commençait à changer pendant le 18e siècle au cours duquel on commençait à s’habituer à l’idée qu’un tel monstre peut se comprendre comme l’effet d’un développement perturbé — par exemple par un « trop » de quelque chose. Diderot dans son « Rêve de d’Alembert » a même spéculé sur les possibilités de produire des monstres d’une manière artificielle et explicite — une idée reprise dans la littérature par exemple par Mary Shelley et son « Frankenstein » (1817).

Le 19e siècle a connu l’introduction d’une discipline scientifique appelée « tératologie » (de « teras » qui signifie monstre, animal fabuleux, prodige) par les Geoffroy Saint-Hilaire [2]] et d’autres. La tératologie [3] se situe dans le champ de l’anatomie et de la physiologie. On commençait à étudier d’une manière systématique les exceptions, y compris les monstres, en espérant parvenir ainsi à la connaissance des lois qui règlent l’ontogenèse des êtres vivants. Pour nous qui sommes tout à fait habitués à cette manière de penser il est difficile de comprendre le renversement très profond décrit ci-dessus. Une étude classique se trouve dans Canguilhem 1972.

2. Les monstres dans l’histoire des mathématiques

Avant le 19e siècle on rencontre peu d’intérêt chez les mathématiciens pour des exemples monstrueux. De temps en temps les mathématiciens de l’époque sont tombés sur des êtres mathématiques bizarres comme la fonction $f(x)=x^{x^{x}}$ étudiée par Euler. Cette étude n’était pas l’effet d’une recherche systématique de cas extrêmes et Euler n’en tire aucune conséquence générale. Quelle en était la raison ? On peut caractériser la pensée mathématique de l’époque comme une pensée centrée sur l’essentiel donc sur les objets d’une nature exemplaire. Si les fonctions continues sont « toutes » considérées comme différentiables cela ne veut pas dire qu’il n’y a pas de fonctions non-différentiables mais seulement que les fonctions continues « typiques » — comme par exemple les polynômes — le sont. Au fond on retrouve ici une distinction nette entre le « naturel » — qui est l’objet de l’analyse — et l’« artificiel » qui ne mérite pas (ou moins) l’intérêt des mathématiciens. La pensée mathématique à l’époque d’Euler n’est pas une réflexion sur toutes les possibilités mais sur ce qui est considéré comme important (c’est-à-dire ce qui est courant). C’est tout à fait en parallèle avec le développement de la pensée mathématique de l’individu.
Un jeune élève n’apprend pas la notion de « carré » par une définition abstraite mais en considérant des exemples de carrés et de non-carrés, ce qui aboutit à la formation d’un paradigme ou d’un « concept figural » (Fischbein 1993) pour l’idée de « carré ».
Il est bien connu que les jeunes élèves ont des difficultés à reconnaître un carré si la figure ne se trouve pas dans la position habituelle parce qu’ainsi elle ne correspond plus au paradigme.

Par conséquent dans la période décrite il y n’avait pas de vrais « contre-exemples » seulement des « exceptions » qui n’infirmaient pas les énoncés « généraux » – la coexistence des deux étaient possible. C’est là un de ces aspects qui se trouvent à la racine de la critique du 19e siècle disant que les mathématiques du 18e siècle étaient non rigoureuses, non exactes, non générales, etc.

Au début du 19e siècle on peut constater un intérêt croissant des mathématiciens pour les exceptions. Citons deux exemples : le premier en est le théorème d’Euler sur les polyèdres (s − a + f = 2). À un certain moment – après l’exposé important du sujet donné par Legendre dans ses « Éléments de géométrie » (1794) – on commençait à se demander : Pour quels polyèdres le théorème d’Euler est-il vrai ? On a rencontré des « exceptions nombreuses » (en reprenant une expression de Lhuilier) et de types très divers – par conséquent l’énoncé du théorème était vraiment menacé.
« Rencontrer » doit se prendre ici dans le sens littéral du mot parce que certaines des exceptions se présentaient d’elles-mêmes dans la nature (cf. les articles de Lhuilier et de Hessel). Le petit cube dans un grand cube se présentait par exemple si un cristal cubique noir se trouve à l’intérieur d’un cristal lucide ; l’escalier no 8 (dans la figure ci-dessous) est proposé à partir des idées de Haüy sur la composition des cristaux.
L’histoire du théorème d’Euler a été utilisée par I. Lakatos dans son ouvrage « Proofs and refutations » (1976) bien connu pour illustrer ses idées sur le développement des mathématiques.

Il semble paradoxal que Lakatos n’ait pas souligné l’historicité de la méthode esquissée par lui – la méthode des preuves et des réfutations (Les numéros pairs désignent les « bons » polyèdres – c’est à dire les polyèdres qui sont eulériens [s − a + f = 2]) – par contre les numéros impairs plus grand que 1 sont des « mauvais » polyèdres. Le numéro 2 est remarquable parce c’est un polyèdre eulérien bien que ses faces ne soient pas simplement connexes.)

L’autre exemple est fourni par les fonctions réelles. À mon avis ce n’est pas par hasard que la nouvelle méthodologie s’est développée dans les deux domaines cités.
Ce sont typiquement des disciplines qui connaissent beaucoup d’entités d’une grande diversité individuelle, un fait qui est selon Poinsot à l’origine des difficultés rencontrées dans la théorie des polyèdres (cf. Poinsot 1809, 45) : « On voit par là ce qui rend cette manière difficile. Dans la théorie des polyèdres, comme dans celle des nombres, il n’y a souvent rien à conclure d’un cas particulier à un autre ; la plupart des propriétés y sont individuelles, et ne suivent point de lois. » À partir de 1800
environ, on aperçoit un intérêt croissant pour les fonctions non-usuelles. On peut citer dans ce contexte les travaux de Fourier sur les séries trigonométriques. Un autre exemple en est fourni par Cauchy, en particulier dans son introduction à son « Cours d’analyse algébrique » (1821) – une introduction qui est marquée par le nouveau discours de la rigueur. Des termes comme rigoureux, exact, général, précis, … sont souvent utilisés par Cauchy. Une des sources d’erreur selon Cauchy est fournie par « les raisons tirées de la généralité de l’algèbre » (Cauchy 1821, ii), c’est-à-dire des
énoncés qui ne tiennent pas compte du domaine de validité éventuellement restreint des formules. Ainsi Cauchy voulait « apporter des restrictions utiles à des assertions trop étendues » (Cauchy 1821, v).
Un exemple cher à Cauchy est la fonction

$$f(x)=e^{-{1\over x^2}} \ \ \ (x \ne 0) \ \ \ \text{ et } f(0)=0$$

qui montre qu’il existe des fonctions ayant une série de Taylor convergente et qui pourtant ne sont pas représentées par cette série en un certain point (ici l’origine).
L’attitude choisie par Cauchy dans le cas de cette exception ressemble à celle de Lhuilier et de Hessel : l’exception est là – la seule chose qu’il faut faire c’est l’apercevoir. Pour être complet je signale qu’il y a un autre mémoire de Cauchy intitulé « Sur les fonctions continues » dans lequel il manifeste une attitude différente.
Ce mémoire date de 1844 et est consacré à la critique de la notion de continuité dans le sens d’Euler. Ici Cauchy construit d’une manière explicite un exemple ; par conséquent on peut parler dans ce cas là d’un vrai contre-exemple !

On sait que Niels Henrik Abel a beaucoup appris des travaux de Cauchy qu’il a beaucoup estimé comme mathématicien (sinon comme personnage). Comme Dirichlet, Abel a lui aussi séjourné à Paris (en 1826). Donc ce n’est pas un hasard si l’on rencontre chez lui aussi l’attitude du jeune Cauchy. Dans son fameux mémoire sur la série

$$1+{ m \over 1}x+{ {m(m-1)} \over (1\cdot 2)}x^2+{ {m(m-1)(m-2)} \over (1\cdot 2 \cdot 3)}x^3+ ... $$

$$sin\ x -{1 \over 2}sin \ 2x + {1 \over 3}sin \ 3x- ...$$

est discontinue pour toute valeur (2m + 1)$\pi$ de x, m étant un nombre entier. Il y a, comme on sait, beaucoup de séries de cette espèce. » (Abel 1826. 224sv note *).
En passant, je note que la série citée était déjà connue d’Euler (Euler 1783, 448sv) et de Fourier (Fourier 1822, §222). Il est remarquable qu’Abel parle ici d’ « exceptions » ; pour lui — comme pour Cauchy — ces exceptions marquent les bornes de la validité d’un théorème dont la vérité n’est pas mise en doute. L’attitude prise par Abel est celle d’un naturaliste qui ne modifie pas son énoncé général s’il rencontre quelques exceptions. Une seule hirondelle ne fait pas encore le printemps. Nous avons déjà rencontré cette attitude chez Lhuilier et Hessel.

En conclusion, l’idée qu’une proposition générale du type « Tous les S sont P » soit infirmée par un seul contre-exemple n’est pas effective dans les mathématiques jusqu’au 19e siècle. On avait tendance à tolérer des exceptions, à accepter qu’il y ait un énoncé et en même temps des exceptions – le pire de ce qui pouvait arriver était la nécessité de déterminer encore une fois le domaine de validité.

La situation s’est modifiée trois ans après l’exemple d’Abel. En 1829 Gustav Lejeune-Dirichlet publiait son mémoire sur la représentation des fonctions par des séries trigonométriques. C’est un mémoire tout à fait rédigé dans le nouvel esprit de rigueur dont son auteur a lui aussi fait connaissance pendant son séjour à Paris. Dans son mémoire Dirichlet donne des conditions sous lesquelles une fonction peut se représenter par une série trigonométrique. Afin de démontrer que sa dernière condition est nécessaire, Dirichlet construit un exemple célèbre :
« On aurait un exemple d’une fonction qui ne remplit pas cette condition, si on supposait f(x) égale à une constante déterminée c lorsque la variable x prend une valeur rationnelle, et égale à une autre constante d, lorsque cette variable est irrationnelle. » (Dirichlet 1829, 132). Plus tard Poincaré a commenté l’innovation de Dirichlet comme suit : « Il y a cent ans [c’est-à-dire en 1800 environ] une telle fonction eut été regardée comme un outrage au sens commun. » (Poincaré 1898, 5).
Et : « Autrefois, quand on inventait une fonction nouvelle, c’était en vue de quelque but pratique ; aujourd’hui on les invente tout exprès pour mettre en défaut les raisonnements de nos pères. » (Poincaré 1908, 111). Les nouvelles fonctions sont artificielles et inutiles à des buts pratiques – en opposition aux vieilles fonctions qui se présentaient naturellement.
En passant je note que cette distinction entre mathématiques naturelles et mathématiques artificielles était très caractéristique de la pensée de Poincaré et d’autres mathématiciens de son époque. Voici un autre extrait d’un manuel scolaire, intitulé «  discontinuité d’une fonction en un point $x_0$  » et présentant un exemple avec un « saut fini » et un autre avec un « saut infini »

Dirichlet a créé le premier vrai monstre dans l’histoire des mathématiques : sa fonction n’a pas d’application, elle n’est plus susceptible d’une représentation sensible comme une courbe et elle est le produit d’une pensée libre et autonome qui ne s’occupe pas du tout des motivations en dehors des mathématiques elles-mêmes.
À l’occasion de l’enterrement de Jacobi, Dirichlet a évoqué l’idée qu’on pratique les mathématiques exclusivement pour « l’honneur de l’esprit humain » [4]. Cette citation formule pleinement l’idée des mathématiques acceptée au cours de la réforme dite néohumaniste du système d’enseignement supérieur prussien dans le 19e siècle : L’auto réflexion et l’autocritique sont les traits les plus caractéristiques des mathématiques modernes et les monstres en sont un outil favori. Donc on peut dire que 1829 est l’année de naissance des mathématiques modernes. On comprend bien ici pourquoi les mathématiques modernes sont si contraires aux attentes des élèves : l’ordre naturel est renversé par elles – l’autocritique et l’auto réflexion sont mises au début et non pas à la fin.

En 1837 Dirichlet a formulé sa fameuse définition d’une fonction « arbitraire » –cette définition peut se comprendre comme le cadre théorique de ce que Dirichlet a fait huit ans avant : « Cette définition ne prescrit pas une loi commune aux différentes parties de la courbe [sic !] ; on peut imaginer qu’elle soit composée de parties très différentes ou qu’elle soit complètement arbitraire. Il s’ensuit que l’on peut considérer une telle fonction comme complètement déterminée dans un intervalle si elle est donnée par un graphe ou si ses différentes parties sont soumises à des lois
mathématiques. » (Dirichlet 1837, 135sv).

Le 19e siècle a connu une discussion importante sur la notion de fonction arbitraire qui s’est continuée même au 20e siècle (par exemple entre Baire, Lebesgue, Borel et d’autres).

La méthode des monstres, c’est-à-dire de la construction expresse de fonctions avec des qualités inhabituelles, fut reprise par Riemann dans sa thèse d’habilitation (écrite en 1853/54). Riemann a passé la période décisive de ses études à Berlin où il a rencontré Dirichlet. Riemann justifie la nouvelle méthode par deux remarques :
Les fonctions bizarres peuvent servir d’une part à rendre les principes du calcul infinitésimal plus clairs ; et d’autre part ces fonctions sont appliquées dans d’autres domaines des mathématiques, en particulier dans la théorie des nombres (Riemann
n’en cite aucun exemple !).

L’exemple le plus connu construit par Riemann est une fonction intégrable (dans le sens établi par lui-même) mais qui est discontinue sur une partie dense de son ensemble de définition. La technique utilisée par Riemann est souvent reprise après – par ex. par H. A. Schwarz qui est ainsi arrivé à une fonction continue nondifférentiable sur une partie dense de son ensemble de définition.

Un élève de Riemann – Hermann Hankel – a publié en 1870 une méthode systématique servant à engendrer des fonctions bizarres : c’est son principe de la condensation des singularités. L’idée en est assez simple : Prenez une fonction avec une singularité en 0. À l’aide d’une série on va reproduire cette singularité sur tous les nombres rationnels. Il y a là des difficultés techniques dont l’étude fut un des points de départ des travaux de Cantor sur la théorie des ensembles. Sa compréhension moderne est formulée par Hankel d’une manière assez claire :
« Pour y arriver [à la clarté sur la nature des fonctions] il faut avant tout analyser la multiplicité des relations possibles de deux variables qui sont contenues dans la notion de fonction de Dirichlet ; au cours de cette analyse il faut consacrer une attention particulière aux fonctions illégitimes qui jusqu’à aujourd’hui n’étaient point ou seulement peu étudiées. » (Hankel 1870, 68). C’est l’extrême qui nous donne l’idée d’une notion générale ! – en passant je note qu’en allemand « illégitime » à
cette époque qualifie la naissance dite « naturelle » en français (cf. l’expression française « enfant naturel »). Donc les fonctions citées sont une conséquence « peu désirée » de la notion générale de fonction. On peut en déduire qu’Hankel raisonne sur la possibilité d’exclure les êtres illégitimes par une définition restreinte de la notion de fonction.

Cinq ans après Hankel un autre mathématicien allemand, Paul du Bois-Reymond (le frère du fameux physiologue qui a lui même commencé sa carrière dans cette discipline), est arrivé à trouver un ordre dans toutes ces déviations : il décrit le système des fonctions réelles qu’on utilise jusqu’à nos jours. Il y a les fonctions générales (sans qualités explicites), les fonctions intégrables, les fonctions continues et les fonctions différentiables. Afin de démontrer que les deux dernières classes ne sont pas identiques, du Bois-Reymond se sert d’un exemple célèbre : la fonction partout continue et nulle part différentiable, trouvée par Weierstrass en 1872.

Après 1870 l’activité dans le domaine des fonctions bizarres s’est accélérée. Même encore aujourd’hui on trouve des articles contenant un exemple simple d’une fonction du type de Weierstrass. Surpasser les frontières apparentes imposées par l’intuition est donc resté une activité fascinante.

Revenons à la question posée par Poincaré : Faut-il familiariser le débutant avec le musée tératologique ? J’espère que ma petite analyse historique montre que la réponse est non, si on veut s’orienter selon le développement historique – c’est-à-dire si on se décide pour la méthode génétique. La pensée mathématique a longtemps fonctionné sans recours au musée tératologique en réfléchissant uniquement sur les cas « naturels ». On peut attendre le moment où les exceptions se présentent d’elles mêmes, au lieu de les introduire sans nécessité tout au début (cf. le bon mot de
Poincaré : « Il faut traiter les problèmes qui se posent et non pas les problèmes qu’on se pose »). L’orientation vers les énoncés généraux dans le sens qu’il sont vrais dans un domaine sans exception – la pensée ensembliste ou extensionnelle parce qu’elle s’oriente vers l’extension des concepts – est une situation assez moderne. Si on se décide pour un enseignement qui s’oriente selon les standards des mathématiques contemporaines il n’y a pas de doute que le musée tératologique est à visiter tôt. Donc la réponse à la question de Poincaré dépend d’un choix ou d’une décision qui n’est pas une question interne à la didactique. Mais même si on veut suivre les idées modernes, une analyse historique aide à comprendre les difficultés éprouvées par les élèves de nos jours pour s’habituer à la pensée mathématique moderne.

Sources :

Abel, N. H. : Untersuchung über die Reihe

$$ 1+{ m \over 1}x+{ {m(m-1)} \over (1\cdot 2)}x^2+{ {m(m-1)(m-2)} \over (1\cdot 2 \cdot 3)}x^3+ ... $$

Canguilhem, G. : Le normal et le pathologique (Paris, 1972).

Cauchy, A. L. : Cours d’analyse de l’École Royale Polytechnique. 1ère partie. Analyse algébrique (Paris, 1821) – cité selon OEuvres complètes. IIe. Série, tome 3 (Paris, 1897).

Dirichlet, P. Lejeune : Sur la convergence des séries trigonométriques. Journal für die reine und angewandte Mathematik 4 (1829), 157-169.

Dirichlet, P. Lejeune : Über die Darstellung ganz willkürlicher Functionen durch Sinus- und Cosinusreihen. Repertorium der Physik 1 (1837), 152-174 – cité selon Werke. Tome 1 (Berlin, 1889), 133- 160.

Du Bois-Reymond, P. : Versuch einer Classification der willkürlichen Functionen … Journal für die reine und angewandte Mathematik 79 (1875), 21-37.

Euler, L. : De eximio usu methodi interpolationum in serium doctrina (1783) – cité selon Opera omnia, series primis, volumen 15 (Berlin und Leipzig, 1927), 435-497.

Fischbein, E. : The theory of figural concepts. Educational Studies in Mathematics 24 (1993), 13-162).

Hankel, H. : Untersuchungen über die unendlich oft oscillirenden und unstetigen Functionen. Gratulationsprogamm der Universität Tübingen 1870 = Mathematische Annalen 20 (1882), 63-112.

Hessel : Nachtrag zu dem Eulerschen Lehrsatze von Polyedern. Journal für die reine und angewandte Mathematik 8 (1832), 13-20.

Keil, Karl-August/Kratz, Johannes/Müller, Hans/Wörle, Karl : Infinitesimalrechnung 1 (München, Bayrischer Schulbuchverlag, 1996).

Lakatos, I. : Proofs and Refutations (Cambridge, 1976).

Lhuilier, S. : Démonstration immédiate d’un théorème fondamental d’Euler sur les polyèdres, et exceptions dont ce théorème est susceptible. Mémoires de l’Académie impériale des sciences de St. Pétersbourg 4 (1813), 271-301.

Poincaré, Henri : La logique et l’intuition dans la science mathématique et dans l’enseignement. L’enseignement mathématique 1 (1889) – cité selon OEuvres tome 11 [Paris, 1953])

Poincaré, Henri : Les définitions mathématiques et l’enseignement. Dans : Poincaré, Henri : Science et Méthode (Paris, 1908 – réimpression Paris, 1998/99).

Poinsot, L. : Mémoire sur les polygones et les polyèdres. Journal de l’École Polytechnique t. IV, cahier 10 (1810), 16-48.

Riemann, B. : Über die Darstellbarkeit einer Function durch eine trigonometrische

Reihe. Abhandlungen der Königlichen Gesellschaft der Wissenschaften zu Göttingen 13 (186)), 87-132) cité selon Gesammelte mathematische Werke und wissenschaftlicher Nachlass (Leipzig, 1892 – réimpression New York 1953).

Roux, Olivier : Monstres. Une histoire générale de la tératologie des origines à nos jours (Paris : CNRS éditions, 2008).

Volkert, Klaus : La mathématique et le pathologique. Philosophia scientiae 12 (2) 2008, 65-74.

Weierstrass, K. : Über continuirliche Functionen eines reellen Argumentes, die für keinen Werth des letzteren einen bestimmten Differentialquotient besitzen. Dans : Mathematische Werke.Tome 2 (Berlin, 1895 – réimpression Hildesheim/New York sans date), 71-74.

Note : Pour l’Honneur de l’esprit humain

Pour l’Honneur de l’esprit humain, Les mathématiques d’aujourd’hui, est le titre d’un livre de Jean Dieudonné publié chez Hachette en 1987. L’auteur y cite un
extrait d’une lettre en français de Carl-Gustav J. Jacobi à Adrien-Marie Legendre datée du 2 juillet 1830 :
_ « … M. Fourier avait l’opinion que le but principal des mathématiques était l’utilité publique et l’explication des phénomènes naturels ; mais un philosophe comme lui aurait dû savoir que le but unique de la science, c’est l’honneur de l’esprit humain, et que, sous ce titre, une question de nombres vaut autant qu’une question du système du monde ».

En fait Jacobi n’est pas le premier à avoir employé cette locution puisque Laplace l’utilise dans son traité Théorie analytique des probabilités avec deux variantes suivant l’édition :

Première édition (1812) p. 3 :
Elle (la théorie des probabilités ) doit sa naissance à deux géomètres français [5] du dix-septième siècle si fécond en grands hommes et en grandes découvertes et peut-être de tous les siècles celui qui fait le plus d’honneur à l’esprit humain.

Deuxième édition (1814) p. xcxix
C’est donc à ces deux grands géomètres* qu’il faut rapporter les premiers éléments de la science des probabilités, dont la découverte peut être mise au rang des choses remarquables qui ont illustré le dix-septième siècle, celui de tous les siècles qui fait le plus d’honneur à l’esprit humain.

La version de la troisième édition (1816) qui figure dans le volume VII des oeuvres complètes (rééditées par Jacques Gabay) est identique à celle de la seconde.

Si l’on sort du champ des mathématique, on trouve grâce à google : dans le Cours de Belles Lettres, Principes de la littérature de Charles Batteux (1802), T1 p. 129, à propos de l’ Héraclius de Corneille :

Il y a peu d’ouvrages qui fassent tant d’honneur à l’esprit humain.

Un lecteur du Bulletin connaît-il une référence plus ancienne ?

Paul-Louis HENNEQUIN

<redacteur|auteur=500>