Los superpronosticadores

Un equipo de científicos formado por marido y mujer se ha convertido en un gigante de los pronósticos al crear y supervisar el Proyecto Buen Juicio, una investigación académica extensa y extensa sobre cómo entrenar a los predictores y mejorar sus predicciones. En el proceso, acuñaron y popularizaron el término «Superforecasting» y dieron lugar a una empresa que proporciona previsiones para empresas y gobiernos.

cryptoshitcompra.com/wp-content/uploads/2021/11/Los-superpronosticadores.png«/>

«La historia comenzó en el verano de 2009», recuerda Barbara Mellers, la mitad del dúo de investigadores. «Mi esposo, Phil Tetlock, y yo hemos decidido solicitar un contrato con IARPA». Esta es la Actividad de Proyectos de Investigación Avanzada de Inteligencia del gobierno, una entidad que ella describe como «la hermana pequeña de DARPA», la Agencia de Proyectos de Investigación Avanzada de Defensa, mucho más grande.

«Reunimos esta subvención como una oportunidad para trabajar juntos en algo que nos interesaba a los dos», señala Mellers. Ella y su esposo enseñan psicología, y ambos son nominados en la Universidad de Pensilvania, la Escuela de Artes y Ciencias y la Escuela Wharton.

Buscaban fondos que IARPA asigna a proyectos de interés para la comunidad de inteligencia. A diferencia de DARPA, que tiende a mantener su investigación clasificada, IARPA comparte algunos de sus hallazgos con el público, lo que se ajusta a la misión de la academia. Pero surgió un ligero desajuste cuando IARPA tardó de tres a cuatro meses en informar a Mellers y Tetlock de que su solicitud para un proyecto había sido aceptada.

El retraso hizo que las cosas fueran un poco «incómodas», como recuerda Mellers. Para entonces, ella y Tetlock estaban dejando la Universidad de California en Berkeley para ocupar sus puestos actuales en Penn. Parte de la financiación se destinó a filtrar a través de UC Berkeley, por lo que el proyecto inicialmente incluyó a cinco o diez estudiantes y profesores de esa escuela bajo la dirección del profesor Don Moore. Mellers y Tetlock reclutaron a 20 o 25 estudiantes y profesores de Penn, como ella dice. Posteriormente se unieron al proyecto contingentes de la Universidad Rice, la Universidad Hebrea y otras instituciones.

Torneo de predicción

Estaban trabajando en lo que IARPA llama un torneo ACE, que significa Estimación contingente agregada. Piense en ello como cinco equipos dirigidos por universidades que compiten para entregar las mejores predicciones geopolíticas probabilísticas de una gran multitud dispersa de voluntarios.

El proyecto comenzó en 2011 y se prolongó hasta 2015. Después del segundo año, IARPA eliminó los fondos para todos los grupos universitarios que no fueran el contingente de Mellers y Tetlock de Penn. Fueron declarados ganadores, y durante otros dos años, IARPA continuó ayudando a financiar su investigación mientras competían contra grupos de control y analistas de inteligencia al mismo tiempo que intentaban igualar o superar los puntos de referencia.

Los supervisores provienen de todos los ámbitos de la vida: uno trabajó como plomero y otro como profesor de matemáticas.

Mientras tanto, IARPA ha establecido un mercado de pronóstico dentro de la comunidad de inteligencia. Operó en dos niveles, dependiendo de las autorizaciones de seguridad de los participantes. Esto significó que el grupo universitario y los analistas de inteligencia estaban basando las predicciones en las mismas preguntas, pero estos últimos tenían más información debido a sus autorizaciones de seguridad. Asimismo, los superpronosticadores del Proyecto Buen Juicio fueron un 30% mejores que los analistas de inteligencia. «Esas fueron las buenas y las malas noticias», sugiere Mellers con ironía.

Pero, ¿cómo logró el equipo de Penn este éxito? La fuerza de los números ayudó. «Reclutamos a más personas que los otros equipos», dice Mellers. «Tuvimos mejor acceso a personas que pudieron conseguirnos voluntarios».

Con numeros

En el primer y segundo año, el Proyecto de Buen Juicio reunió la sabiduría y la destreza de pronóstico de 3.000-4.000 pronosticadores voluntarios. Hacia el final del tercer año, Tetlock y Elaine Rich, una farmacéutica que el proyecto había identificado como Superforecaster, se sentaron para una entrevista en All Things Considered, el programa de la Radio Pública Nacional.

Rich explicó en el programa cómo había florecido su afición por los pronósticos y su historia inspiró a 20.000 voluntarios a inscribirse en el cuarto año del proyecto. Pero muchos dudaron en descubrir lo engorroso que era reunir el conocimiento necesario para realizar predicciones precisas, y la asamblea de pronosticadores se redujo a unos 5.000 a finales del año pasado.

Cada año, el proyecto analizó el desempeño de cada pronosticador y les asignó puntajes, reconociendo al 2% superior como Super pronosticadores y dirigiéndolos a trabajar en equipo durante los años restantes del programa.

«Fue nuestra mejor y más fuerte intervención», dice Mellers sobre la elección de los Super pronosticadores y la formación de los equipos. “Fue como poner a esta gente en esteroides. Eran muy trabajadores, pero trabajaron duro cuando estaban juntos para ayudarse mutuamente, hacerlo bien y competir. Ha reunido todas las cosas que le gusta hacer «.

Participaron de diez a 15 personas en cada equipo y colaboraron a través de salas de chat de Internet. «Se corrigieron los errores de los demás, compartieron artículos, se motivaron», señala Mellers. “Discutieron sobre la lógica de ciertas razones y simplemente se fueron a la ciudad. Fue simplemente extraordinario «.

Los super pronosticadores procedían de todos los ámbitos de la vida: uno trabajaba como plomero y otro como profesor de matemáticas. Numerosos ordenadores se han programado o se han empleado en otros campos relacionados con la tecnología. Cualesquiera que fueran sus ocupaciones, todos poseían una mente analítica (consulte «La mente de un supervisor», a la derecha).

png«/>

Nuevos comienzos

A pesar de la finalización del proyecto IARPA que dio vida a Superforecasting, el trabajo de los Superforecasters continúa. Algunos han establecido relaciones con Good Judgement Inc., una empresa derivada del proyecto para atender a clientes en los sectores público y gubernamental (consulte «Cómo hacer correctas las previsiones», a continuación).

Mientras tanto, Tetlock y Mellers y algunos de los Superforecasters han formado el Good Judgement Project 2.0 para competir en otro torneo IARPA, uno que está explorando predicciones contrafácticas. Consideran lo que hubiera pasado si la historia hubiera cambiado, si Hitler hubiera nacido niña, por ejemplo.

«El objetivo es ayudar a la gente a pensar en cómo podemos aprender de la historia», dice Mellers. «Lo hacemos por intuición y hacemos pronósticos contrafácticos». Ponen a prueba la precisión de las predicciones contrafácticas comparándolas con juegos simulados.

Ambos torneos tienen un propósito superior, según Mellers. «Descubra muy rápidamente qué funciona y qué no», dice sobre las competencias. «Es una excelente manera de acelerar la ciencia».

Haciendo predicciones justas

La comunidad de inteligencia estadounidense no pudo predecir los ataques del 11 de septiembre y predijo erróneamente que Irak poseía armas de destrucción masiva. Era hora de encontrar mejores formas de utilizar la sabiduría de la multitud para hacer predicciones.

Fue entonces cuando a los funcionarios de Intel se les ocurrió la idea de organizar un torneo para desafiar a las mentes académicas a desarrollar mejores formas de predecir el futuro. Uno de los equipos en competencia, un grupo de la Universidad de Pensilvania llamado Good Judgement Project, ha aceptado el desafío y puede haber cambiado la historia.

Bajo la dirección de los Profs. Barbara Mellers y Phil Tetlock, el grupo de Penn, descubrieron y luego siguieron Superforecasting.

El Super2%

Conozca a algunos de los super pronosticadores que han surgido del Proyecto Buen Juicio.

Dominic Heaney

45, Sureste de Inglaterra

Profesión: editor de publicaciones académicas de referencia

Como pronosticador, ¿es usted un experto en general o un especialista en la industria?

Un poco de ambos. He trabajado mucho en previsiones geopolíticas, en particular en lo que respecta a las regiones que cubro en mi trabajo principal.

¿Cómo suele utilizar sus habilidades de pronóstico?

Definitivamente he asimilado el arte de pensar, en muchas áreas, personal y profesionalmente, en términos de «este evento tiene un X% de posibilidades de ocurrir» y borrar cosas o posibles cursos de acción que no comienzan.

¿Qué consejo le daría a los aspirantes a superprevisores?

Piense fuera de la caja, mire alrededor de los argumentos, vea las tasas base como una guía sólida y no tenga miedo de ser visto como contradictorio o poco convencional si está bien informado y presenta el respeto debido a las posiciones de abogado del diablo.

Welton Chang

37, Washington, DC

Profesión: Director de tecnología

¿Cómo y cuándo te convertiste en Superforecaster?

Recibí una nota de mi antiguo asesor universitario sobre un torneo en curso para medir la precisión de las predicciones políticas. Aproveché la oportunidad. Aproximadamente un año después, recibí una nota de la gente que dirigía el torneo de que mis puntuaciones estaban en el 2% superior de todos los pronosticadores. Dos años más tarde, me uní al Good Judgment Project como investigadora de pregrado que trabajaba directamente con Barb Mellers y Phil Tetlock.

¿Cómo suele utilizar sus habilidades de pronóstico?

En estos días, generalmente pienso en eventos poco probables pero impactantes, no del todo «cisnes negros», sino más bien en territorio gris.

¿Qué consejo le daría a los aspirantes a superprevisores?

Examine sus fuentes y suposiciones antes de hacer predicciones. Y siempre que sea posible, profundice en cualquier tema que no conozca.

Shannon Gifford

62, Denver

Ocupación: Subjefe de Proyectos de la Oficina del Alcalde de Denver

¿Cuándo y cómo te convertiste en Superforecaster?

Me convertí en Super pronosticador después del primer año de ACE, o Proyecto de estimación contingente agregada, de IARPA.

¿Cómo suele utilizar sus habilidades de pronóstico?

Practicar la predicción me ha hecho menos propenso a llegar a todo tipo de conclusiones y más propenso a escuchar con atención múltiples puntos de vista. También me hizo leer y pensar en las noticias de manera mucho más activa, con mucha más reflexión sobre las consecuencias posteriores de los eventos actuales.

¿Qué consejo le darías sobre Superforecasting?

Mantenga la mente abierta y esté dispuesto a cambiarlo, actualice periódicamente sus predicciones, trate de ser consciente de sus prejuicios y déjelos a un lado, escuche con atención a las personas con las que no esté de acuerdo y trate de mantener la humildad, especialmente cuando prevea un problema o una pregunta en el futuro. un área que cree que conoce bien.

Publicado originalmente en la revista Luckbox. Regístrese gratis en getluckbox.com/dailyfx

Obtenga más información sobre las mujeres en las finanzas, el comercio y la inversión.