Superforecasting

Ein Beispiel für prognostische Evaluationssysteme

Gibt es eine EVALUATION von Prognosen, also eine Bewertung von richtigen und falschen Zukunfts-Aussagen? Die gibt es durchaus. Es ist das SUPERFORECASTER-Programm des Psychologieprofessors Philip E. Tetlock in Berkeley, Kalifornien.

Philip Tetlock ist ein freundlicher, eher zurückhaltender Mann, aber auch ein trockener Wissenschaftler. Sein ursprüngliches Forschungsobjekt war die Psychologie von Beurteilungen und Entscheidungen. Seit einem Vierteljahrhundert beschäftigt sich Tetlock mit der Frage der Qualität von Prognosen. Er rief dafür das größte Projekt ins Leben, dass sich mit der Treffsicherheit und ihrer Verbesserung beschäftigt: Das Good Judgement Project.

Es begann 1983 mit einer relativ einfachen Versuchsaufstellung. Tetlock befragte rund 300 Koryphäen im Bereich Politik, Historik, Ökonomie und Soziologie über die Zukunft. Da es teilweise um langfristige Prognosen ging, wie der Verlauf der Weltökonomie oder die Zukunft der Sowjetunion, musste er lange bis zur Auswertung warten. Erst im Jahr 2000 analysierte er die Ergebnisse.

Das Resultat war vernichtend und erhellend zugleich: Je BERÜHMTER und SPEZIALISIERTER ein Experte war, desto schlechter seine Prognosen! Und das galt gerade für sein spezielles Fachgebiet. Der bekannte Ökonom konnte die nächste ökonomische Krise nicht voraussagen. Der Soziologe mit dem höchsten Ruf lag daneben, wenn es darum ging, gesellschaftliche Entwicklungen vorauszusagen. Der beste Politikexperte hatte in Wahrheit keinen Schimmer, wie es mit dem Ost-Westkonflikt weitergehen würde.

Die Modelle der Spezialisten hatten mit der Wirklichkeit wenig zu tun.

Besonders interessant waren die Reaktionen der Experten, wenn sie mit ihren Fehlprognosen konfrontiert waren:

  • „Ich habe zwar in diesem Punkt geirrt, aber in einem anderen Recht gehabt…”
  • „Es ist besser, die Gefahr zu überschätzen also zu unterschätzen…”
  • „Das ist doch alles in einem völlig anderen Kontext entstanden…”

Tetlock teilte die Befragten in zwei Kategorien, beziehungsweise Denkweisen auf. Er nannte sie „Igel” und „Füchse”. Füchse waren Hochspezialisten in ihrem jeweiligen Fachgebiet. Füchse waren diejenigen, die über die Grenzen ihrer Disziplinen hinausdachten und Wissen eher im Kontext eines universalistischen Ansatzes entwickelten. Unter den Prognose-Versagern waren fast ausschließlich Igel. Die Füchse schnitten besser ab.

Warum liegen die „Experten-Experten” so viel schlechter? Eine mögliche Antwort wäre, dass die Welt zu komplex, zu VERFLOCHTEN ist, um sie aus der Sicht einer einzigen Disziplin zu verstehen. Experten entwickeln früher einen Tunnelblick, eine Fixierung auf ein bestimmtes Welt-Konstrukt. Ein solches Konstrukt ignoriert die vielschichtige und dynamische Wirklichkeit.

Ökonomen sehen die Welt ökonomisch. Aber erklärt die Ökonomie wirklich die ökonomischen Prozesse? Nein, sie erklärt nur das jeweilige ökonomische Modell.

Seit 2000 entwickelt Tetlock seine Prognoseforschung im SUPERFORECAST-Projekt weiter – eine offene Plattform, auf der man um die Zukunft WETTEN kann. Wird der IS endgültig verschwinden? Wann? Wird Griechenland in der EU bleiben? Wird der Euro zerbrechen? Wie viel Bruttosozialprodukt kostet COVID? Wann wir die Ökonomie wieder auf dem Niveau von vor der Seuche sein? Bekommt Trump eine zweite Amtszeit? Beginnt China einen Krieg?

Mehr als 20.000 Menschen nehmen an diesem Projekt teil. Aus den Teilnehmern werden in regelmäßigen Abständen jene 50 ausgewählt, die die individuell am treffsichersten waren. Diese werden miteinander vernetzt. Und zu so genannten SUPERFORECASTERn weitergebildet. Finanziert wurde das Projekt von Beraterfirmen und sogar vom Pentagon, was man zu einer knackigen Verschwörungsthese nutzen kann („Pentagon auf der Suche nach Propheten!!!”).

Wenn man Tetlocks Projekt etwas genauer betrachtet, verliert es jedoch schnell seinen mystischen Glanz. Für das, was wir im Allgemeinen mit einer »Zukunftsvoraussage« verbinden, gibt es nämlich recht wenig her.

Nur wenige Fragen sind Ja-Nein-Fragen, die meisten werden mit Wahrscheinlichkeits-Prozenten beantwortet: Das Scheitern des Euro ist zu 30 Prozent wahrscheinlich, Nordkorea wird zu 70 Prozent bis 2023 seine Atomraketen verschrotten, Corona wird zu 70 Prozent im Mai 2021 abebben. Mit solchen Aussagen erzielt man keine Aufmerksamkeit, sie sind nicht prophetisch, sondern probabilistisch.

Dies weist auf einen zweiten Faktor unserer Zukunfts-Rezeption hin. Wir denken, wenn wir »Zukunft« denken, immer in fixierten ERGEBNISSEN. Sozusagen in ENDPRODUKTEN.

Wer sich mit der Zukunft auseinandersetzt muss jedoch – will er keinem Prophetismus anheimfallen – sich mit KONTINGENZ vertraut machen.
Superprognostiker teilen, obwohl sie SUPER sind, das Schicksal der unbekannten Zukunfts-Meister: Sie bleiben eher inkognito. Sie können sich ja noch nicht mal lustig irren! „Bis 2030 werden alle Babys geklont werden!” oder „2031 wird die Künstliche Intelligenz einen Bundeskanzler stellen” – solche Events werden vom Superforecaster-Programm gar nicht abgefragt. Wer sie aber beantwortet – ungefragt oder nicht – bekommt garantiert ganz viele Klicks.
Hier zeigt sich das Phänomen von „Zukunft als Nachfragesystem”: Wahrgenommen werden immer sensationistische Ergebnisse mit hohem kognitiven Differenzwert. GRADUELLE Veränderungen haben wenig Nachfrage.

Screenshot: www.metaculus.com

Was zeichnet Superprognostiker aus?

  • Superforecaster sind Vielleser und diversifizierte Medienkonsumenten. Sie nutzen eine breite Vielzahl von Kanälen, die keiner ideologischen Einengung folgen.
  • Superforecaster sind Selbst-Zweifler. Sie wissen, dass sie nichts alles wissen können, versuchen aber ständig und hartnäckig, die Lücken aufzufüllen.
  • Superforecaster sind argumentationsfreudig. Am besten konnten sie ihre Fähigkeiten erweitern, wenn sie in Teams komplexe Sachverhalte erörterten – und sich dabei in aller Freundschaft stritten.
  • Superforecaster sind HUMANISTEN. Sie beziehen menschliche Irritabilität und Irrationalität in ihre Vermutungen ein.

Tetlock nennt den zentralen MINDSET der Superforecaster “actively openminded thinking”. Dabei geht es vor Allem um den Umgang mit Nichtwissen. Darum, Irrtümer immer wieder als INFORMATIONEN zu nutzen, und sie in Prognosesysteme einzuspeisen, anstatt sie zu relativieren oder zu ignorieren. Für den Superprognostiker ist es keine Schande, zu irren oder seine Meinung zu ändern, im Gegenteil.

Man könnte auch sagen: Am besten gehen wir mit der Zukunft durch das Verstehen der eigenen Dummheit um. Und das ist eine ziemlich alte, bewährte Weisheit.

In den „wichtigsten Punkten” am Ende des Buches von Philip Tetlock:

  • Wählen Sie geeignete Fragen.
  • Brechen Sie scheinbar unlösbare Probleme auf lösbare Unterprobleme herunter.
  • Finden Sie das richtige Gleichgewicht zwischen Innen- und Außensicht.
  • Finden Sie die richtige Mischung aus Unter- und Überbewertung von Beweisen.
  • Suchen Sie in jeder Fragestellung nach widerstreitenden Kräften.
  • Stufen Sie Wahrscheinlichkeiten ab, soweit es die Frage zulässt, aber nicht weiter.
  • Finden Sie das richtige Gleichgewicht zwischen Vorsicht und Entschlossenheit.
  • Suchen Sie Ursachen Ihrer Fehlprognosen, aber hüten Sie sich vor dem Rückschaufehler.
  • Übung macht den Meister.
  • Sehen Sie die Gebote nicht als Gebote an.

Literatur:

Links: