J’évoquais dans un article précédent les travaux du chercheur Philip Tetlock montrant qu’en matière de prédiction, les experts sont moins bons que les généralistes, et même que les chimpanzés. Malgré ses résultats un peu déprimants, Tetlock persiste à penser qu’avec de meilleures méthodes, on peut améliorer sa capacité à prédire. Je n’y crois pas un instant et penser qu’on puisse mieux prédire nous expose seulement à de plus fortes déconvenues.
Un résultat inattendu de la recherche de Tetlock sur les experts a été de mettre en lumière une catégorie qu’il appelle les superforecasters (super-prévisionnistes), qui semble se distinguer des experts normaux par la qualité de leurs prédictions. Selon lui, ces superforecasters ont les caractéristiques suivantes : ils sont intelligents (mais pas plus que la moyenne) et développent toujours une connaissance du domaine étudié. Ils pratiquent l’exercice de prédiction régulièrement pour apprendre de leurs erreurs. Ils travaillent en équipe. Ils ont une ouverture d’esprit plus grande (les fameux renards) et une bonne maîtrise des probabilités qui leur permet d’éviter les biais habituels. Ils travaillent lentement et n’hésitent pas à réviser leurs prédictions passées. Mouais… au final, rien là de bien extraordinaire…
Les travaux de Tetlock peuvent donc donner l’espoir que nous pouvons améliorer nos performances en matière de prévision. Dans cette vision, la prédiction est une matière comme une autre : avec de bons outils et une bonne pratique, chacun peut s’améliorer. Derrière on retrouve l’hypothèse, assez naturelle en effet, selon laquelle mieux on connaît le domaine, plus on a de chances de faire une bonne prédiction.
C’est également le propos, dans un tout autre domaine, celui du renseignement, de Thomas Fingar, dans son ouvrage Reducing Uncertainty. Responsable du département d’analyse de la CIA au début des années 2000, il est conduit à en réformer le fonctionnement après le fiasco des armes de destruction massives en Irak. La prédiction de la CIA selon laquelle l’Irak avait un arsenal d’armes de destruction massives prêt à être utilisé avait été l’un des arguments-clés de son invasion par les États-Unis en 2003. Après l’invasion, cette prévision s’est révélée fausse, et aucune arme n’a jamais été trouvée malgré des recherches intensives. L’approche de Fingar a consisté à améliorer les processus d’analyse : en travaillant mieux, et en utilisant mieux nos informations, nous nous tromperons moins.
Or il n’est pas évident du tout qu’un surplus d’information amène à de meilleures prédictions. Nassim Taleb est même de l’avis contraire. L’auteur du Cygne Noir cite l’exemple d’un courtier légendaire de Wall Street des années 80. Il était spécialisé dans le Franc Suisse dont il était un expert reconnu. Il avait correctement anticipé la forte baisse du dollar dans les années 80 par rapport à la monnaie Suisse. Or, Taleb raconte qu’une brève conversation avec lui avait montré… qu’il était incapable de placer correctement la Suisse sur une carte. Il n’y était jamais allé et ne connaissait strictement rien au Pays. On aurait pu penser que son expertise était basée sur une fine connaissance du moindre canton, et sur une capacité à anticiper, par exemple, l’impact sur le cours du Franc Suisse du vote de l’un d’entre eux sur le travail des étrangers, mais il n’en était rien. Taleb cite également un autre courtier, spécialisé lui en bois vert. Pendant des années, il pensait que le nom provenait de la couleur du bois, alors qu’en fait il désigne le fait que le bois vient d’être coupé. Malgré cette méconnaissance de base sur l’objet-même de son commerce, il avait fort bien réussi dans son métier.
Il n’y a donc pas nécessairement de relation de cause à effet entre une accumulation de connaissance technique sur un sujet et la capacité de prédire correctement. Cela peut être étonnant, mais cela s’explique facilement: si l’on reconnaît simplement que la prédiction est impossible, on comprend aisément que la connaissance, ou pas, n’y change rien.
La grande limite de Tetlock, en fait, est de travailler avec une hypothèse de continuité de l’environnement. Aucun des superforecasters, tout talentueux qu’ils soient, ne réussit face à une discontinuité. Où étaient-ils lors de l’élection américaine de 2016 ? Où étaient-ils le 11 septembre 2001 ? Lors de la crise de 2008 ? Lors l’appréciation brutale du Franc Suisse en 2015 ? Lors du Printemps Arabe ? Nulle part. Tant que l’environnement ne change pas fondamentalement, ils peuvent effectivement améliorer leurs prédictions. Un pouillème par ci, un pouillème par là. Peut-être. Mais face à la discontinuité, ils échouent comme les autres parce que comme les autres, ils font face à une remise en question des règles empiriques qui ont régi le passé. Au final, la croyance en l’existence de superforecasters s’avère même contre-productive car elle donne l’illusion qu’on pourra échapper aux cygnes noirs. Or il n’en est rien.
C’est une vérité difficile à admettre – nous voudrions tellement croire que notre intelligence, les quantités massives de données dont nous disposons et notre arsenal conceptuel et technologique – intelligence artificielle! machine learning! big data!- nous permettra enfin de contrer la nature de notre environnement, mais il n’en est rien. Perpétuer cette croyance peut être dans l’intérêt des chercheurs et de tous ceux qui ont quelque chose à vous vendre, mais ce ne sont pas eux qui paient le prix lorsque l’accident survient. Une fois encore, et n’en déplaise à Tetlock, un monde complexe est sujet aux cygnes noirs, et ceux-ci ne sont pas prédictibles. La prédiction à la Tetlock fonctionne bien entre deux catastrophes. Ne soyez pas le dindon des superforecasters.
Cet article est un extrait adapté de mon ouvrage « Bienvenue en incertitude!« .
L’ouvrage de Philip Tetlock et Dan Gardner, Superforecasting, est accessible ici. L’ouvrage de Thomas Fingar, Reducing Uncertainty – Intelligence Analysis and National Security, est accessible ici. L’ouvrage de Nassim Nicholas Taleb, Le cygne noir, est accessible ici. Voir mon article précédent « Prédiction: pourquoi les experts se trompent plus que les chimpanzés«
📬 Si vous avez aimé cet article, n’hésitez pas à vous abonner pour être averti des prochains par mail (“Je m’abonne” en haut à droite sur la page d’accueil). Vous pouvez également me suivre sur linkedIn et sur Twitter.
9 réflexions au sujet de « Il faut travailler plus dur: l’illusion prédictrice des Superforecasters »
J’ai commis il y a quelques mois un article dans lequel je compare l’utilisation des « big data » dans une démarche marketing à la conduite d’une voiture en se focalisant sur ce que l’on voit dans le rétroviseur.
Les données sont innombrables et complètes sur la route que l’on voit de passer mais cela ne donne absolument aucune indication sur ce que va se passer l’instant d’après.
Un autre biais existe : sur le nombre de prévisionnistes et sur la masse de prévisions faites, il est probable au sens statistique du terme, que l’un d’entre eux soit plus performant que les autres, ce sur une durée donnée.
Dans un environnement turbulent, prévoir ne sert à rien, s’adapter est bien plus utile. Ce constat a été fait dans les années 90 par le courant des méthodes agiles. Ces superforcasters ne vivent que quelques moments de gloires et je serai curieux de voir si, sur le long terme, ils dépassent la fiabilités des augures Grecs…. Quoi qu’il en soit la multiplication des boucles de réactions de nos systèmes humains rend la prévision long terme inefficace. Les instituts de sondages en sont une magnifique illustration, ils revendiquent une grande précision, 2h avant fa fin du dépouillement… Regardons les différents résultats produits 1 semaine, 1 mois ou 3 mois et mettons les en perspectives avec la masse d’informations recueillies, les sommes dépensées… pour juger de leur réelle plus value.
Imaginons que cette énergie (argent) soit dépensée à développer sa capacité d’adaptation… ne serait-ce pas plus utile ?
Révélée fausse, et non avérée fausse, merci.
merci!
La tendance à vouloir être meilleur la prochaine fois dans sa prédiction est une quête sans fin. C’est peut être aussi celle de la toute puissance. Il s’agit surtout d’une méconnaissance de l’organisation du complexe et plus particulièrement du fait qu’un problème complexe est toujours connecté à d’autres environnements qu’il est impossible d’identifier de façon exhaustive, car indénombrables. Certains de ces environnements sont donc cognitivement distants au moment de l’analyse. Ne les voyant pas tous, je ne peux connaitre les niveaux d’interactions et donc anticiper. A l’inverse, quand je tiens un rubik’s cube dans la main, je dispose de toutes les données du problème. C’est compliqué mais pas complexe. Le problème est circonscrit. Rien d’autre n’interfère avec le problème, sauf mon intelligence et ma main.
Le cas de la suisse ou du bois vert peut s’espliquer par le fait que certaine informations détournent le cerveu de l’essentiel, du factuel, et pousse à utiliser des modèles précis, complexes et faux, au lieu de modèle phénoménologiques calé sur les faits.
face a une disruption, la théorie du chaos montre que l’on ne peut pas prévoir le résultat d’un process chaotique dans certains cas, mais qu’on peut prévoir les zone où il est imprévisilme, et aussi éventuellement dans certaines limites trouver un aggrégat temporairement prévisible (genre ellipticité, même si la phase est perdue, l’énergie même si la direction est imprévisible).
Ca résonne avec un autre principe d’action, que Judith curry à popularisé.
L’idée que pour résoudre un problème « merdique », il faut non pas chercher à le prévoir, à trouver des solutions, mais à monter en compétence, en puissance, en richesse, en technologie, pour pouvoir utiliser une solution quand on y comprendra quelquechose enfin, et qu’on pourra enfin prévoir.
les deux idées se mélangent bien:
1- sentir que la tempête arrive, et avoir une vague idée du spectre du désastre (un trader de volatilité fait ca)
2- accumuler la bouffe, les sac de sable, l’essence, les plaque de bois, étudier les directives … et le jour venu on verra si on fait un barbecue à la plage avec les voisin ou une évacuation d’urgence.
sur le « spectre du désastre », Saffo utilise l’expression « cône d’incertitude » que j’aime bien. Sur le second point Taleb écrit « invest in preparedness, not in prediction ».