Prédiction: Pourquoi les experts se trompent plus que les chimpanzés

Le domaine de la prédiction est le bûcher des vanités, mais cela semble particulièrement le cas pour les experts. C’est en tout cas ce que montrent les travaux très originaux d’un chercheur américain, Philip Tetlock. Il montre que les experts se trompent plus que les généralistes, et plus encore que… des chimpanzés lançant des fléchettes au hasard! Regardons pourquoi.

Face à une discontinuité, les experts ont tendance à se tromper plus que les non-experts. Le chercheur Philip Tetlock a, à ce sujet, mené des expériences tout à fait intrigantes. Il a notamment mené un gros projet durant lequel il a demandé à un groupe d’experts de faire des prévisions sur plusieurs indicateurs (PIB, inflation, etc.) pendant plusieurs années. Au total un projet massif recensant 150.000 prédictions faites par 743 experts portant sur 199 événements mondiaux. Il a parallèlement demandé à un groupe de chimpanzés de lancer des flèches sur les réponses possibles. Au final, les chimpanzés ont obtenu de meilleurs résultats que les experts ! Même des algorithmes relativement simples ont obtenu de meilleurs résultats que les experts.

Pourquoi les experts se trompent-ils plus que les généralistes face à une discontinuité ? Il y a plusieurs raisons. Premièrement parce que leur expertise par définition repose sur les connaissances du passé, de ce qui a marché précédemment. Le prospectiviste Bertrand de Jouvenel notait ainsi : “Le technicien est souvent l’homme du passé, et une méthode éprouvée est souvent une méthode révolue ou sur le point de l’être”. Par définition, une discontinuité remet en question ce qui a marché jusque-là, et donc de facto le savoir de l’expert.

Deuxièmement parce que la discontinuité surgit par définition en dehors du cadre d’expertise. L’expert ne la voit donc pas, du moins initialement, et lorsqu’il la voit, peut avoir tendance à ne pas la prendre au sérieux. Ainsi en 1876, un spécialiste du télégraphe regardera les balbutiements du téléphone, qui au début était de très mauvaise qualité et n’allait pas au-delà de quelques centaines de mètres, avec une bonne dose de scepticisme. C’est ce qui explique que Western Union, grand opérateur du télégraphe aux États-Unis au siècle dernier ait déclaré à cette époque, à son propos : « Ce ‘téléphone’ a trop de limitations pour être sérieusement considéré comme un moyen de communication. »

Troisièmement parce que l’expert est compétent sur un domaine forcément restreint. C’est la condition de sa compétence. Plus il est expert, plus son domaine est restreint, et plus il s’expose à une discontinuité. La compréhension d’une discontinuité nécessite au contraire non seulement une ouverture, c’est à dire penser au-delà du cadre actuel, mais aussi une compétence plus générale permettant de relier entre eux des domaines a priori séparés.  Tetlock oppose ainsi les hérissons et les renards, reprenant une distinction faite par l’écrivain Isaiah Berlin. Un hérisson ne connaît qu’une seule grande chose tandis qu’un renard connaît plein de petites choses. Selon Tetlock, les hérissons intellectuellement agressifs connaissent une grande chose et cherchent, sous la bannière de la parcimonie, à étendre le pouvoir explicatif de cette grande chose et à ‘couvrir’ les nouveaux cas; ils se trompent plus souvent. Au contraire, les renards sont plus éclectiques. Ils connaissaient beaucoup de petites choses et se contentent d’improviser des solutions ad hoc pour suivre le rythme d’un monde en évolution rapide. Ils réussissent mieux à prédire. Les recherches de Tetlock sont donc une incitation à développer une connaissance généraliste horizontale, mieux à même de connecter des domaines inattendus, plutôt qu’une expertise verticale qui s’enferme rapidement et s’applique de manière forcée à des domaines où elle n’est pas pertinente.

Quatrièmement, parce que les experts ont plus confiance en eux que les non-experts. Les recherches en psychologie ont montré qu’un surcroît d’information ne modifie pas un jugement initial, mais renforce la confiance que l’on a dans ce jugement. Ceci est valable même si l’information est contradictoire avec ce jugement. Ainsi, les médecins ayant plus confiance en eux tendent à se tromper plus.

Cinquièmement, parce que les experts ont beaucoup à perdre d’une discontinuité qui rendra obsolète leur savoir. Elle est donc difficile à envisager intellectuellement mais aussi émotionnellement. Dit autrement, les dindes votent rarement pour Noël.

Au final, Tetlock explique bien pourquoi les experts se trompent plus que les généralistes. Il reste que son hypothèse implicite, qui est que la qualité de la prédiction est une question de personnalité et de méthode, et qu’elle est donc améliorable, reste largement contestable. J’explorerai cette question dans un prochain article.

Cet article est un extrait adapté de mon ouvrage “Bienvenue en incertitude!“.

L’ouvrage de Philip E. Tetlock, Expert Political Judgment: How Good Is It? How Can We Know? est accessible ici. Sur la difficulté des experts à accepter une innovation qui remet en question leur savoir, voir mon article “Les trois erreurs de la prédiction – à propos du rapport Théry de 1994“.