Tous ensemble maintenant: le modèle Covid-19 le plus digne de confiance est un ensemble

Chaque semaine, les équipes soumettent chacune non seulement une prévision ponctuelle prévoyant un résultat unique (par exemple, dans une semaine, il y aura 500 décès). Ils soumettent également des prédictions probabilistes qui quantifient l’incertitude en estimant la probabilité du nombre de cas ou de décès à des intervalles, ou des fourchettes, qui deviennent de plus en plus étroites, en ciblant une prévision centrale. Par exemple, un modèle peut prédire qu’il y a une probabilité de 90% de voir 100 à 500 décès, une probabilité de 50% de voir 300 à 400 et 10% de probabilité de voir 350 à 360.

«C’est comme un œil de bœuf, de plus en plus concentré», dit Reich.

Funk ajoute: « Plus vous définissez la cible avec précision, moins vous avez de chances de l’atteindre. » C’est un bon équilibre, car une prévision arbitrairement large sera correcte et également inutile. «Il doit être aussi précis que possible», déclare Funk, «tout en donnant la bonne réponse.»

En rassemblant et en évaluant tous les modèles individuels, l’ensemble essaie d’optimiser leurs informations et d’atténuer leurs lacunes. Le résultat est une prédiction probabiliste, une moyenne statistique ou une «prévision médiane». C’est un consensus, essentiellement, avec une expression plus finement calibrée, et donc plus réaliste, de l’incertitude. Tous les divers éléments d’incertitude se dissipent au cours du lavage.

L’étude du laboratoire du Reich, qui s’est concentrée sur les décès projetés et évalué environ 200000 prévisions de mi-mai à fin décembre 2020 (une analyse mise à jour avec des prévisions pour quatre mois supplémentaires sera bientôt ajoutée), a révélé que les performances des modèles individuels étaient très élevées. variable. Une semaine, un modèle pourrait être précis, la semaine prochaine, il pourrait être loin. Mais, comme l’écrivent les auteurs, «en combinant les prévisions de toutes les équipes, l’ensemble a montré la meilleure précision probabiliste globale.»

Et ces exercices d’ensemble servent non seulement à améliorer les prévisions, mais aussi à améliorer la confiance des gens dans les modèles, déclare Ashleigh Tuite, épidémiologiste à la Dalla Lana School of Public Health de l’Université de Toronto. «L’une des leçons de la modélisation d’ensemble est qu’aucun des modèles n’est parfait», déclare Tuite. «Et même l’ensemble manquera parfois quelque chose d’important. Les modèles en général ont du mal à prévoir les points d’inflexion – les pics, ou si les choses commencent soudainement à accélérer ou à décélérer. « 

«Les modèles ne sont pas des oracles.»

Alessandro Vespignani

L’utilisation de la modélisation d’ensemble n’est pas propre à la pandémie. En fait, nous consommons des prévisions d’ensemble probabilistes tous les jours lorsque nous recherchons la météo sur Google et en prenant note qu’il y a 90% de chances de précipitations. C’est l’étalon-or pour les prévisions météorologiques et climatiques.

«Cela a été une véritable réussite et la voie à suivre pendant environ trois décennies», déclare Tilmann Gneiting, statisticien informaticien à l’Institut d’études théoriques de Heidelberg et à l’Institut de technologie de Karlsruhe en Allemagne. Avant les ensembles, les prévisions météorologiques utilisaient un modèle numérique unique, qui produisait, sous forme brute, une prévision météorologique déterministe qui était «ridiculement trop confiante et extrêmement peu fiable», explique Gneiting (les météorologues, conscients de ce problème, ont soumis les résultats bruts à analyse statistique ultérieure qui a produit une probabilité raisonnablement fiable de prévisions de précipitations dans les années 1960).

Gneiting note cependant que l’analogie entre les maladies infectieuses et les prévisions météorologiques a ses limites. D’une part, la probabilité de précipitations ne change pas en réponse au comportement humain – il pleuvra, parapluie ou pas de parapluie – alors que la trajectoire de la pandémie répond à nos mesures préventives.

La prévision lors d’une pandémie est un système soumis à une boucle de rétroaction. «Les modèles ne sont pas des oracles», déclare Alessandro Vespignani, épidémiologiste informatique à la Northeastern University et contributeur du hub d’ensemble, qui étudie les réseaux complexes et la propagation des maladies infectieuses en mettant l’accent sur les systèmes «techno-sociaux» qui stimulent les mécanismes de rétroaction. «Tout modèle fournit une réponse conditionnelle à certaines hypothèses.»

Lorsque les gens traitent la prédiction d’un modèle, leurs changements de comportement ultérieurs bouleversent les hypothèses, modifient la dynamique de la maladie et rendent les prévisions inexactes. De cette façon, la modélisation peut être une «prophétie auto-destructrice».

Et il y a d’autres facteurs qui pourraient aggraver l’incertitude: la saisonnalité, les variantes, la disponibilité ou l’utilisation des vaccins; et des changements de politique comme la décision rapide du CDC de démasquer. «Tout cela représente d’énormes inconnues qui, si vous vouliez réellement saisir l’incertitude de l’avenir, limiteraient vraiment ce que vous pourriez dire», déclare Justin Lessler, épidémiologiste à la Johns Hopkins Bloomberg School of Public Health et contributeur à le hub de prévisions COVID-19.

L’étude d’ensemble des prévisions de décès a observé que la précision décroît et que l’incertitude augmente à mesure que les modèles font des prédictions plus loin dans le futur – il y avait environ deux fois l’erreur à quatre semaines contre une semaine (quatre semaines est considérée comme la limite pour un court terme significatif prévisions; à l’horizon temporel de 20 semaines, l’erreur était environ cinq fois plus élevée).

«Il est juste de débattre quand les choses ont fonctionné et quand ça n’a pas marché.

Johannes Bracher

Mais évaluer la qualité des modèles – verrues et tout – est un objectif secondaire important de la prévision des centres. Et c’est assez facile à faire, car les prévisions à court terme sont rapidement confrontées à la réalité des chiffres comptabilisés au jour le jour, en tant que mesure de leur succès.

La plupart des chercheurs veillent à différencier ce type de «modèle de prévision», visant à faire des prédictions explicites et vérifiables sur l’avenir, ce qui n’est possible qu’à court terme; par rapport à un «modèle de scénario», explorant des hypothèses «et si», des intrigues possibles qui pourraient se développer à moyen ou long terme (puisque les modèles de scénario ne sont pas censés être des prédictions, ils ne doivent pas être évalués rétrospectivement par rapport à la réalité).

Pendant la pandémie, un coup de projecteur critique a souvent été braqué sur des modèles dont les prédictions étaient spectaculairement fausses. «Si les projections à long terme sont difficiles à évaluer, nous ne devons pas hésiter à comparer les prévisions à court terme avec la réalité», déclare Johannes Bracher, biostatisticien à l’Institut d’études théoriques de Heidelberg et à l’Institut de technologie de Karlsruhe. qui coordonne un Hub allemand et polonais, et conseille le hub européen. «Il est juste de débattre quand les choses ont fonctionné et quand les choses n’ont pas fonctionné», dit-il. Mais un débat éclairé nécessite de reconnaître et de considérer les limites et les intentions des modèles (parfois les critiques les plus féroces ont été ceux qui ont confondu les modèles de scénario pour les modèles de prévision).

«La grande question est: pouvons-nous nous améliorer?»

Nicolas Reich

De même, lorsque les prédictions dans une situation donnée se révèlent particulièrement insolubles, les modélisateurs devraient le dire. «Si nous avons appris une chose, c’est que les cas sont extrêmement difficiles à modéliser même à court terme», déclare Bracher. «Les décès sont un indicateur plus tardif et sont plus faciles à prévoir.»

En avril, certains des modèles européens se sont montrés trop pessimistes et ont manqué une baisse soudaine des cas. Un débat public s’ensuit sur l’exactitude et la fiabilité des modèles de pandémie. Pesant sur Twitter, Bracher a demandé: «Est-il surprenant que les modèles se trompent (souvent)? Après une pandémie d’un an, je dirais: non. Cela rend d’autant plus important, dit-il, que les modèles indiquent leur niveau de certitude ou d’incertitude, qu’ils adoptent une position réaliste quant à l’imprévisibilité des cas et à l’évolution future. «Les modélisateurs doivent communiquer l’incertitude, mais cela ne doit pas être considéré comme un échec», dit Bracher.

Faire confiance à certains modèles plus qu’à d’autres

Comme le dit un aphorisme statistique souvent cité: «Tous les modèles sont faux, mais certains sont utiles.» Mais comme le note Bracher, «si vous utilisez l’approche du modèle d’ensemble, vous dites en un sens que tous les modèles sont utiles, que chaque modèle a quelque chose à apporter» – bien que certains modèles puissent être plus informatifs ou fiables que d’autres.

L’observation de cette fluctuation a incité Reich et d’autres à essayer de «former» le modèle d’ensemble – c’est-à-dire, comme l’explique Reich, de «construire des algorithmes qui apprennent à l’ensemble à« faire confiance »à certains modèles plus qu’à d’autres et à apprendre quelle combinaison précise de modèles fonctionne en harmonie. . » L’équipe de Bracher fournit maintenant un mini-ensemble, construit uniquement à partir des modèles qui ont toujours bien fonctionné dans le passé, amplifiant le signal le plus clair.

«La grande question est: pouvons-nous nous améliorer?» Dit Reich. «La méthode originale est si simple. Il semble qu’il doit y avoir un moyen de s’améliorer en prenant simplement une moyenne simple de tous ces modèles. » Jusqu’à présent, cependant, cela s’avère plus difficile que prévu – de petites améliorations semblent réalisables, mais des améliorations spectaculaires peuvent être presque impossibles.

Un outil complémentaire pour améliorer notre perspective globale sur la pandémie au-delà des aperçus hebdomadaires consiste à regarder plus loin sur l’horizon temporel, quatre à six mois, avec ces «modèles de scénario». En décembre dernier, motivés par la flambée des cas et la disponibilité imminente du vaccin, Lessler et ses collaborateurs ont lancé le Hub de modélisation de scénario COVID-19, en consultation avec le CDC.