Dans un article précédent j’évoquais les travaux du chercheur Philip Tetlock sur les capacités prédictives des experts, et en particulier sur ce qu’il appelle les superforecasters, une catégorie de personne dont les capacités en matière de prédiction sont supérieures à celles des autres. J’indiquais mon scepticisme en la matière. Regardons le cas de l’un d’entre eux, le célèbre prévisionniste américain Nate Silver.
Nate Silver est un bon exemple de superforecaster professionnel. Silver est un statisticien américain spécialisé dans les sports et les élections. Il est fameux pour avoir prédit les résultats des élections de 2008 (présidentielles et sénatoriales) avec une grande précision. Il a instantanément atteint le statut de gourou. Il est l’apôtre de l’utilisation des mégadonnées (Big Data). Il a écrit un ouvrage passionnant, très riche et pourtant très facile à lire, sur son travail de prédiction : The Signal and the Noise. Silver y décortique nombre d’exemples dans les domaines sportifs et politiques, mais aussi en économie, et explique son approche.
Malgré son statut de gourou, on y découvre un auteur relativement modeste sur son travail. Il admet qu’en tant que statisticien, notamment après la crise de 2008, il connaît bien moins le monde qu’il ne le pensait. Il reconnaît que de nombreuses prédictions ont échoué et cherche à comprendre comment on peut les améliorer. Ce faisant, il rejoint Tetlock en restant fermement dans un paradigme prédictif qu’il cherche à améliorer. En substance, son ouvrage se résume de la façon suivante : « On a foiré plein de prédictions, désolé pour ça, mais on va améliorer notre technique, ne quittez pas. » Ou, pour paraphraser la ferme des animaux, « Nous allons travailler plus dur ». La foi en la technique reste la plus forte, le marteau continue de s’abattre avec acharnement sur la vis. Finalement, après 420 pages passionnantes, c’est le cri du cœur. Silver écrit, après avoir été invité à une conférence sur le terrorisme en 2008 : « Franchement, les méthodes que j’ai présentées à la conférence n’étaient probablement pas très utiles pour l’analyse de la sécurité nationale. Le baseball et la politique sont des champs riches en données qui fournissent des réponses satisfaisantes. Des milliers de jeux de baseball sont joués chaque année. Les élections ont lieu moins souvent-et elles nécessitent un peu plus de prudence à prédire- mais il y a des centaines de sondages publiés durant chaque campagne présidentielle. Toutes ces donnes sont disponibles publiquement, gratuitement ou à prix modique. Le terrorisme, semble-t-il n’est pas du tout comme cela. »
Cette citation est intéressante à plus d’un titre. D’une part il reconnaît que sorti d’un domaine relativement linéaire et ouvert, sa technique ne s’applique plus. Dit autrement, dès qu’il y a de l’incertitude, il n’a plus grand-chose à proposer et son approche ne marche donc que tant qu’il n’y a pas de cygne noir, c’est à dire de surprise. Va pour les matches de Baseball, mais pour le terrorisme ou l’économie, passez votre chemin. L’aveu de Silver, qui est tout à son honneur, est évidemment essentiel: Un statisticien fameux reconnaît que la prédiction est impossible en situation d’incertitude. D’ailleurs, il sous-titre ainsi son ouvrage, dans un aveu involontaire des risques de son métier : « Pourquoi autant de prédictions échouent mais pas toutes. » Réponse : le hasard, peut-être ? Après tout, en multipliant les prédictions, on doit bien finir par en avoir une ou deux de bonnes… L’économiste Bernard Cazes évoque à ce sujet le principe important de « non-compensation » selon lequel les succès d’un prévisionniste ne sauraient compenser ses échecs, car en supposant qu’une même méthode ait servi plusieurs fois, elle devrait engendrer des résultats d’une qualité comparable, tandis que la présence d’erreurs amène à se demander si les réussites ne sont pas fortuites.
D’autre part, Silver écrit sans hésiter que pour lui, la politique entre dans le champ des phénomènes prévisibles. C’est stupéfiant. Ça l’était déjà en 2008 mais quand on sait ce qui s’est passé en 2016, où avec sa belle technique il est passé totalement à côté du phénomène Trump, c’est proprement affligeant. On est exactement dans le cas d’un expert qui n’arrive pas à définir correctement le domaine de validité de son expertise. Il se trompe sur l’ontologie de son domaine et sur l’épistémologie de son art. Il ne suffit pas de reconnaître que la prévision ne fonctionne pas en incertitude ; il faut aussi reconnaître que l’incertitude s’applique à un domaine bien plus vaste de l’action humaine qu’on aimerait le croire, et admettre que le sien en fait bien partie. On voit bien que même pour des experts aussi avertis que Silver, l’exercice reste difficile. Attendez-vous encore à de nombreux cygnes noirs à l’avenir.
Cet article est un extrait adapté de mon ouvrage « Bienvenue en incertitude!« .
Mon article sur Tetlock et les superforecasters « Il faut travailler plus dur: l’illusion prédictrice des Superforecasters ». Toujours sur Tetlock, mon article « Prédiction: Pourquoi les experts se trompent plus que les chimpanzés« . L’ouvrage de Nate Silver, The Signal and the Noise, disponible ici.
9 réflexions au sujet de « Nate Silver, prévisionniste extraordinaire et… inutile »
Is the super-forecaster Nate Silver the real culprit here? As you stated, Nate does recognise an element of uncertainty in his predictions.
The misunderstanding seems to lie with journalists who, while searching for a quick, exciting and easily digestible story tend to misrepresent this element of uncertainty. And consumers of media as well, with their own confirmation biases, selected news sources and, according to Nate, “the attention span of a sugar-high 4-year-old” also do not tend to take into account the uncertainty factor.
https://fivethirtyeight.com/features/the-media-has-a-probability-problem/
The “polls are dead” narrative does a disservice to democracy. There will always be polls and I’d rather consult Nate’s FiveThirtyEight polls and take them for what they are worth than other very biased polls like TCJ Research polls. Polls have their utility, albeit limited; and sure, they need to be improved. However, in the states, rather than spending more money on improving forecasting models, we need to invest in better quality polls, especially on the state level.
Thanks Barbara. My only point is that Silver’s work is largely useless. Not because of him, he seems to be on the smarter side of the forecasters for sure, but because the future is inherently unpredictable, especially in politics, finance and business, and everybody claiming otherwise is a fraud.
L’utilisation des « stats » big-data et autres mécanismes du même genre cela s’appelle des pratiques magiques; et les résultats sont du même ordre. Toutes ces niaiseries sont plus proches de la tautologie que des maths. Faut-il rappeler encore et encore que les datas accumulées ont été sélectionnées; ce sont les critères de sélection qui décident des résultats. Tout système de ce genre sert à justifier des décisions déjà prises. Demandez à n’importe quel comptable.
Cela rejoint un peu le dilemme de l’innovateur : on voit, mais ça ne peut pas aller à l’encontre des chiffres d’hier et d’aujourd’hui.
Nate Silver donnait 1 chance sur 3 à Trump de gagner l’élection. Le résultat, assez serré, n’invalide pas la prédiction.
Bref, dire qu’il « est passé totalement à côté du phénomène Trump » est exagéré à mon avis.
Mais bien d’accord avec le fond de l’article, la prédiction n’est vraiment pertinente que dans un système linéaire.
Avec 1 chance sur 3 il ne se mouillait pas des masses le gaillard. C’est la prudence-même de se border au cas où. Tout vieux renard sait ça…
Evidemment, mais n’est ce pas une manière justement de reconnaître l’incertitude ? Car même en présence de cygne noirs, certains événements restes plus probables que d’autres.
Et même en connaissant a posteriori le résultat des élections américaines, je reste persuadé que Hillary avait bien plus de chances de gagner (les prévisionnistes ne s’étaient pas trompés), mais que Trump a bénéficié d’un bel alignement de planètes. Mais voila, ce n’est qu’une opinion impossible a vérifier car une élection n’a lieu qu’une fois.