Incluso cuando la candidatura presidencial de Joe Biden se tambaleaba y las encuestas mostraban que perdía claramente ante Donald Trump, el sitio de pronóstico electoral 538 seguía estimando que Biden tenía más probabilidades de ganar. Fue una conclusión basada en extrañas suposiciones de modelado lo que llevó al fundador original del sitio, Nate Silver, a declarar que el modelo 538 estaba “muy obviamente roto” y al nuevo jefe del sitio a reconocer un ajuste en su modelo cuando se relanzó con la candidatura de Kamala Harris.
El episodio es notable no sólo por las escaramuzas entre pronosticadores rivales, sino porque reveló cuán poco valor se debe dar a estas proyecciones.
Soy un politólogo que desarrolla y aplica métodos de aprendizaje automático, como pronósticos, a problemas políticos. La verdad es que no tenemos suficientes datos para saber si estos modelos son buenos para hacer pronósticos presidenciales. Y los datos que tenemos sugieren que estos modelos pueden tener consecuencias negativas en el mundo real en términos de reducir la participación.
Los modelos estadísticos que agregan datos de encuestas y los utilizan para estimar la probabilidad de que cada candidato gane una elección se han vuelto extremadamente populares en los últimos años. Sus defensores afirman que proporcionan una proyección imparcial de lo que sucederá en noviembre y sirven como antídotos contra las predicciones ad hoc de los expertos políticos parlantes. Y por supuesto, todos queremos saber quién va a ganar.
Pero la realidad es que hay mucha menos precisión y mucha más experticia de lo que admiten los pronosticadores.
Los pronósticos electorales tienen una larga historia en la ciencia política, pero entraron en la corriente política principal gracias a las predicciones precisas de Silver en las elecciones de 2008 y 2012. Ahora, muchos medios de comunicación ofrecen pronósticos probabilísticos y utilizan esos modelos para declarar que los candidatos tienen un número esperado de votos en el Colegio Electoral y una probabilidad de ganar las elecciones. Véase ABC News’ 538, The Economist y Silver Bulletin, entre otros.
¿Son buenas estas probabilidades calculadas? En un nuevo artículo del que soy coautor con Dean Knox de la Universidad de Pensilvania y Sean Westwood de Dartmouth College, demostramos que incluso bajo suposiciones muy favorables para los pronosticadores, no sabríamos la respuesta durante décadas, siglos o incluso milenios.
Para ver por qué, consideremos una forma de evaluar los pronósticos: la calibración. Un pronóstico se considera calibrado si la probabilidad estimada de que ocurra un evento corresponde a la frecuencia con la que el evento realmente ocurre. Entonces, si un modelo predice que Harris tiene un 59 por ciento de posibilidades de ganar, entonces un modelo calibrado esperaría que ella (u otro candidato) gane 59 de 100 elecciones presidenciales.
En nuestro artículo, mostramos que incluso en los mejores escenarios, determinar si un pronóstico está mejor calibrado que otro puede llevar entre 28 y 2588 años. Centrarse en la precisión (si el candidato que el modelo predijo que ganaría realmente gana) tampoco reduce el tiempo necesario. Incluso centrarse en los resultados a nivel estatal no ayuda mucho, porque los resultados están altamente correlacionados. Una vez más, en el mejor de los casos, determinar si un modelo es mejor que otro a nivel estatal puede llevar al menos 56 años y, en algunos casos, se necesitarían más de 4000 años de elecciones.
La razón por la que se tarda tanto en evaluar las previsiones de las elecciones presidenciales es obvia: sólo hay una elección presidencial cada cuatro años. De hecho, ahora estamos celebrando apenas nuestra sexagésima elección presidencial en Estados Unidos. historia.
Compare la información disponible al pronosticar elecciones presidenciales con la cantidad de información utilizada al predecir los precios de las acciones, pronosticar el clima o dirigir la publicidad en línea. En esos entornos, los pronosticadores suelen utilizar millones de observaciones, que podrían recopilarse casi continuamente. Dada la diferencia, no sorprende que los pronosticadores en otros entornos puedan identificar más fácilmente el modelo con mejor rendimiento.
La escasez de datos sobre los resultados significa que los pronosticadores electorales tienen que hacer conjeturas fundamentadas sobre cómo construir sus modelos estadísticos.
Consideremos cómo los pronosticadores utilizan la información de las encuestas: a menudo calculan un promedio móvil de los resultados de las encuestas. Para hacer este promedio, los pronosticadores asignan diferentes ponderaciones a las empresas encuestadoras, hacen suposiciones sobre los tipos de errores de encuesta que es probable que ocurran e incluso cómo esos errores se correlacionan entre los estados. O consideremos cómo los pronosticadores utilizan los “fundamentos”: factores como el estado de la economía, el partido que actualmente ocupa la Casa Blanca o el índice de aprobación del presidente. Los pronosticadores tienen que decidir qué factores incluir en su modelo y qué elecciones presidenciales anteriores son relevantes para ajustarlo.
Debido a la falta de datos sobre los resultados, cada una de estas suposiciones se basa en lo que los pronosticadores consideran plausible, ya sea basándose en la historia o en lo que produce predicciones aparentemente útiles para esta elección. De cualquier manera, estas son decisiones tomadas por los pronosticadores.
Los modelos estadísticos ofrecen a los pronosticadores la oportunidad de ser claros acerca de estos supuestos, mientras que los supuestos de los expertos a menudo no están declarados o son difíciles de determinar. Pero sin datos para evaluar cómo los supuestos afectan la calibración o la precisión, el público simplemente no sabe si las decisiones de modelado de un pronosticador son mejores que las decisiones de modelado del otro.
Si bien carecemos de evidencia de que los pronósticos probabilísticos sean precisos, existe evidencia real de que pueden crear confusión y potencialmente disuadir a los votantes de acudir a las urnas.
Un experimento de encuesta a gran escala realizado por Westwood, Solomon Messing de la Universidad de Nueva York y Yphtach Lelkes de la Universidad de Pensilvania muestra que los pronósticos son profundamente confusos para los estadounidenses, lo que los lleva a confundir la probabilidad de que un candidato gane con el porcentaje de votos esperado de ese candidato.
En su experimento, descubrieron que a veces, cuando la gente ve un modelo de pronóstico (digamos, un 58 por ciento de posibilidades de victoria, o una probabilidad de 58 entre 100), piensan erróneamente que esto significa que un candidato ganará el 58 por ciento de los votos. De hecho, escriben: “Más de un tercio de las personas estiman que la probabilidad de que un candidato gane es idéntica a su porcentaje de votos y, en promedio, la gente estima que esa probabilidad está más cerca del porcentaje de votos que de la probabilidad de ganar después de ver ambos tipos”.
Estos pronósticos electorales también pueden crear una falsa sensación de seguridad entre algunos ciudadanos sobre las probabilidades de que su bando gane, lo que en última instancia hace que no voten porque sienten que no es necesario.
En un segundo experimento, Westwood, Messing y Lelkes determinaron qué información podría utilizar la gente al decidir si participar en una elección ficticia. Descubrieron que sus participantes respondían muy bien a la información cuando se les proporcionaba en términos de probabilidad. Y una alta probabilidad de que su bando ganara les habría hecho menos propensos a emitir su voto. Pero la misma información, proporcionada en términos de porcentaje de votos, hizo poca diferencia en su participación.
La conclusión: los pronósticos probabilísticos a menudo se malinterpretan y, cuando lo hacen, pueden provocar que los votantes se queden en casa.
Todavía es posible que estos pronósticos acaben siendo la mejor manera de predecir el resultado de las elecciones presidenciales. Pero en este momento simplemente no sabemos si estos modelos son particularmente precisos. Y ciertamente no sabemos si las pequeñas fluctuaciones en la probabilidad de que un candidato gane representan algo más que un error de modelado o una variación aleatoria sin sentido.
