Zahlreiche seriöse Medien und Nachrichtenagenturen meldeten in diesem Sommer: Jeder dritte junge Mann in Deutschland akzeptiert Gewalt gegen Frauen. Die reichweitenstarken ARD-Tagesthemen starteten sogar ihre Sendung mit dieser Nachricht. Sie alle stützten sich auf die Ergebnisse einer scheinbar repräsentativen Umfrage der Nichtregierungsorganisation Plan International. Im Nachhinein stand die Umfrage aber in scharfer Kritik. Statistik-Expert*innen sprachen von einer schlecht gemachten Studie mit wenig Aussagekraft, wie ein WDR-Bericht zusammenfasst. So wurde etwa kritisiert, dass die Befragten vom Marktforschungsinstitut für zwei Dinge bezahlt wurden: die Teilnahme sowie das Anwerben neuer Teilnehmender.

Natürlich fällt so eine Bewertung leicht, wenn man die entsprechende Ausbildung und Erfahrung mitbringt. Für Lai*innen aber ist es zumeist herausfordernd, Studien richtig zu verstehen. Es fängt schon damit an, dass eine sorgfältige Analyse von Statistiken Zeit und Geduld erfordert. Manchmal fehlt auch der Kontext, ohne den es schwer fällt, die Umstände zu begreifen, unter denen eine Studie erhoben wurde. Es ist vielleicht auch nicht immer einfach, relevante von irrelevanten Informationen zu trennen oder Fachsprache für sich in einfache Sprache zu übersetzen.

Auch Medien helfen nicht unbedingt weiter, um seriöse von unseriösen Studien zu unterscheiden, wie die Berichterstattung zur eingangs erwähnten Männlichkeits-Umfrage verdeutlicht. So kritisiert etwa das Medienmagazin @mediasres, dass wichtige Zusatzinformationen und eine generelle Einordnung der Befragung nur in den wenigsten Medienberichten stattfanden und letztlich eine relativ kleine Umfrage viel Medienecho erfuhr.

Statistiken beeinflussen persönliche Entscheidungen

Mehr noch führt der Fall vor Augen, dass ein unkritischer Umgang mit Statistiken zu verzerrten Meinungen führen kann. Kurz nach der medialen Berichterstattung über die Studie plädierte beispielsweise FDP-Justizminister Marco Buschmann in einem Tweet für eine härtere Bestrafung von Täter*innen. Solche Forderungen sind prinzipiell plausibel. Doch sollten sie auf fundierten und nicht auf fragwürdigen Informationen beruhen. Auch zeigen weitere Beispiele aus der Geschichte, wie fatal sich Statistiken auf persönliche Entscheidungen auswirken können: So stellten einige Frauen nach der Veröffentlichung von Thromboserisiken bei Antibabypillen in Großbritannien im Jahr 1995 die Verhütung ein. Zeitgleich kam es zu einem erheblichen Anstieg unerwünschter Schwangerschaften. Der Fall ist bekannt als die sogenannte Pillenpanik („pill scare“).

Thomas Bauer, Vizepräsident des Vereins RWI – Leibniz-Institut für Wirtschaftsforschung, begegnet falsch angewandten Statistiken in Medien und Öffentlichkeit mit Nachsicht. „Wir wissen, dass Journalist*innen unter extremem Zeitdruck stehen können und aus Notwendigkeit sensationelle Überschriften generieren, die viele Leser ansprechen.” Bauer ist Mitbegründer des 2012 initiierten Aufklärungsprojekts Unstatistik des Monats. Jeden Monat kuratiert das vierköpfige Team eine Statistik, die von Zeitungen, Blogs und Co falsch interpretiert wurde. Die Autor*innen gehen dabei etwa irreführenden Botschaften und Vergleichen zu medizinischen Testergebnissen auf den Grund. Statistiken schlecht zu interpretieren, sieht Bauer als ein flächendeckendes Problem an, für das es mehr Aufklärungsangebote braucht. „Wenn jemand eine Statistik veröffentlicht, dann hat das etwas Seriöses. Dann muss ich mir unter Umständen nicht die Mühe machen, selbst zu recherchieren und genau zu hinterfragen. Und das ist wahrscheinlich der große Fehler. Es gibt gute und schlechte Statistiken, und die Menschen darin kompetent zu machen, diesen Unterschied zu erkennen, ist sehr wichtig, auch im Hinblick auf Fake News.“

Häufige Fehlschlüsse beim Interpretieren von Statistiken

Kennzahlen zu verstehen und sich Fehlschlüsse bewusst zu machen, ist Teil des Interpretierens von Statistiken. Bei den mittlerweile mehr als 120 veröffentlichten Unstatistiken des Monats läuft es, wie Bauer berichtet, eigentlich immer auf dieselben Probleme hinaus:

• Korrelation wird für Kausalität gehalten: Nur weil es zwischen zwei beobachteten Variablen eine Abhängigkeit gibt (Korrelation), heißt das nicht, dass zwischen beiden ein Zusammenhang im Sinne von Ursache und Wirkung besteht (Kausalität). Manchmal sind Korrelationen von zwei Variablen Zufälle, oder es wird schlicht eine dritte Variable vergessen, mit der die Korrelation erklärt werden kann. Während der Corona-Pandemie behaupteten einige Studien beispielsweise, dass es einen kausalen Zusammenhang zwischen Impfungen und Sterblichkeit gibt, wie eine Unstatistik vom Januar 2022 veranschaulicht. Verursachen die Impfungen nun die Todesfälle – oder führen die Todesfälle dazu, dass sich Menschen mehr impfen lassen? „Das ist eine schwierige Frage, die sich mit einer einfachen Korrelation nicht beantworten lässt. Prinzipiell wissen wir, dass Impfquote und Sterblichkeit demselben Trend folgen, sich also in diesem Fall über die Zeit in dieselbe Richtung bewegen. Und wenn man eine Korrelation zwischen zwei trendbehafteten Variablen berechnet, dann ist diese immer hoch“, erklärt Bauer. Wenn man denselben Trend in beiden Variablen berücksichtigt, verschwindet die Korrelation zwischen Impfquote und Sterblichkeit.
• Relatives Risiko wirkt eindrucksvoller: Häufig werden Statistiken als relative Risiken berichtet. Es ist aber wichtig, die absoluten Zahlen zu kennen, um die Bedeutung von Prozentangaben zu verstehen. So klingt die Meldung „Kaffee verlängert das Leben“ erst einmal erstaunlich. Darin wird Personen, die zwei bis drei Tassen Kaffee pro Tag trinken – relativ zu denjenigen, die vollständig auf Kaffeekonsum verzichten – ein um nahezu zwölf Prozent geringeres Risiko zugesprochen, innerhalb der nächsten 20 bis 30 Jahre zu sterben. „Bei diesen zwölf Prozent handelt es sich aber um ein relatives Risiko“, sagt Bauer. Korrekter wäre es, wenn man prüft, wie hoch das absolute Sterberisiko von Kaffeetrinker*innen im Vergleich zu Nicht-Kaffeetrinker*innen ist. „Absolut gesehen, führt der Konsum von zwei bis drei Tassen Kaffee am Tag lediglich dazu, dass sich das Sterberisiko um 0,21 Prozentpunkte von 1,8 je 100 Personen auf 1,6 je 100 Personen reduziert. Eine wenig beeindruckende Zahl, die wahrscheinlich keine Meldung wert wäre“, so Bauer.

Weil Statistiken in nahezu allen Lebensbereichen eine Rolle spielen und technologische Innovationen wie Künstliche Intelligenz und die Fortschritte im Bereich der Quantencomputer es ermöglichen, immer mehr Daten zu sammeln und auch auszuwerten, ist eine Auseinandersetzung mit dem Thema unumgänglich. Auch wenn du vielleicht noch nicht oder bisher nur wenig gelernt hast, Zahlen richtig zu verstehen: Der vernünftige Umgang mit Statistiken ist möglich. Es erfordert aber eine Bereitschaft dazu und den Willen, eigene Einstellungen in Bezug auf Statistiken zu überdenken. Für den Sozialwissenschaftler Dennis Klinkhammer dreht es sich dabei weniger um Voreingenommenheit gegenüber Statistiken als schlichtweg um eine fehlende Datenkompetenz: „Viele Menschen sehen Daten und kommen dann sofort zu Einschätzungen. Aber erst durch Datenkompetenz können Informationen angemessen aus Daten herausgelesen werden. Dann würden diese Menschen überhaupt erst verstehen, ob es sich zum Beispiel lohnt, Zahlenangaben in Überschriften oder in Faktentafeln nachzugehen.“

Wie vollständig lässt sich Reales in der Statistik abbilden?

Klinkhammer unterrichtet an der FOM – Hochschule für Ökonomie und Management in Köln und betreibt ein digitales Selbstlernangebot zum Thema Statistik und Datenkompetenz. Er stellt sich eigenen Angaben zufolge regelmäßig der Herausforderung, seinen Studierenden bei einem umsichtigen Umgang mit Daten zu helfen und jeden einzelnen Analyseschritt kritisch zu bewerten. Dies betreffe insbesondere die korrekte Ausweisung der Grenzen der Interpretierbarkeit und einen Verweis auf den zeitlichen Kontext, vor dem diese Interpretation stattgefunden hat. Letztlich geht es Klinkhammer auch darum zu verdeutlichen, dass die Statistik im Kern für das Ausloten des Risikos einer Fehlinterpretation steht. „Die meisten Dinge, die unser Leben als Menschen in der Gesellschaft ausmachen, sind in der Regel nicht auf einige wenige Faktoren zurückzuführen, sondern die Folge von einem komplexen Zusammenspiel mehrerer Faktoren.“ Ein guter Umgang mit Statistiken gleiche in gewisser Weise der Detektivarbeit bei Sherlock Holmes, so dass die entsprechenden Puzzlestücke nacheinander und wohlüberlegt zusammenzufügen sind.

So schön es also wäre, eine konkrete Zahl als Antwort auf eine Frage zu erhalten: In der Regel lässt sich das über Statistiken nicht so einfach realisieren. Vielleicht hast du schon mal vom Begriff der Scheingenauigkeit gehört. Es wird eine Zahl präsentiert, die Genauigkeit vorgaukelt, obwohl die zugrundeliegenden Daten dieses Ergebnis gar nicht hergeben: Oftmals suggerieren dabei Nachkommastellen eine solche Genauigkeit, obwohl diese insbesondere bei Prognosen, also Aussagen über zukünftige Entwicklungen, weder zu realisieren noch seitens der Statistik so intendiert sind.

Bei solchen Prognosen weisen gute Statistiken laut Klinkhammer mindestens zwei Werte aus. Das betrifft zum einen die vorhergesagte Zahl selbst und eine dazugehörige Zahl, die verdeutlicht, wie genau diese vorhergesagte Zahl eigentlich interpretiert werden kann. Das ist vielleicht weniger konkret, aber gewissenhafter und ermöglicht den Nutzer*innen so, die Zahlen umsichtig zu interpretieren. Beispiel Sonntagsumfrage: Hier werden bekanntermaßen Personen nach ihrer Wahlpräferenz befragt. Wenn nun eine Partei einen Prozentwert prognostiziert bekommt, dann ist aus statistischer Sicht nicht nur der errechnete Prozentwert von Interesse, sondern auch die dazugehörige Fehlermarge. Diese liegt bei den Sonntagsumfragen in der Regel bei plus/minus 3 Prozent und bezieht sich auf mögliche Abweichungen von dem prognostizierten Prozentwert. Das tatsächliche Wahlergebnis kann also in dieser Größenordnung um den prognostizierten Wert schwanken. Mittlerweile gibt es auch einige Online-Rechner wie von Surveymonkey oder online-umfragen.org, die dabei helfen, die Fehlermarge zu berechnen.

Nehmen wir ein weiteres Beispiel, diesmal zur Komplexität der Zusammenhänge selbst. Es wäre irreführend zu behaupten, dass Menschen beim Konsum von beispielsweise einem Liter Bier eine exakt prognostizierbare Blutalkoholkonzentration aufweisen. Denn bei gleicher Menge Bier hat nicht jeder die gleiche Menge Alkohol im Blut, weil es auch andere Faktoren wie den Stoffwechsel, die Körpergröße, die individuelle Gesundheit und auch die Trinkgeschwindigkeit selbst gibt, die stets gemeinsam in einem komplexen Zusammenspiel wirken. „Die Blutalkoholkonzentration hängt von mehreren Faktoren ab, und deren Prognose lässt sich bestenfalls als ein Kontinuum an erwartbaren Werten beschreiben. Hier ist also wieder eine entsprechende Detektivarbeit erforderlich, um eine möglichst präzise Prognose abgeben zu können“, so Klinkhammer.

So erkennst du gute Statistiken

Statistiken kritisch gegenüber zu stehen, ist prinzipiell nicht verwerflich. Gerade wenn Aussagen, die auf statistischen Erhebungen beruhen, Unbehagen oder ein schlechtes Bauchgefühl auslösen, ist es wichtig, sich die Daten näher anzuschauen. Wir haben ein paar Tipps zusammengefasst, mit denen du Irreführungen und Manipulationen besser erkennen kannst.

• Achte auf Transparenz: Welche Zahlen sind tatsächlich Grundlage für gewisse Deutungen und Einschätzungen, die dir in Berichten präsentiert werden? Gute Statistiken zeichnen sich dadurch aus, dass sie folgende Fragen immer beantworten: Wie wurde die Statistik erhoben (Methodik)? Welche Menschen wurden befragt und wie viele genau? Wie hoch ist der Standardfehler? Woher stammen die Daten? Wer hat sie erhoben? Wer hat den Auftrag für die Erhebung gegeben? Nur wenn dir ausreichende Informationen bekannt sind, kannst du auch sogenanntes Cherry Picking besser entlarven, bei dem einzelne positive Beispiele herausgegriffen werden, um den Eindruck zu erwecken, dass etwas allgemein gültig ist.
• Orientiere dich an Gütekriterien: Wenn du Statistiken bewerten willst, stützt du dich am besten auf drei sogenannte Gütekriterien, mit denen Wissenschaftler*innen die Qualität von Studien bemessen: Objektivität, Reliabilität und Validität. Bei der Objektivität geht es unter anderem darum, ob die Forscher*innen die Geldgeber*innen der Studie und die eigene Unbefangenheit von Vorurteilen angeben. Die Reliabilität meint die Zuverlässigkeit der Messergebnisse. Frage dich also, ob bei einer Wiederholung der Studie auch vergleichbare Ergebnisse herauskommen würden. Das sollte der Fall sein, alles andere spräche für schlechte Qualität. Die Validität bezieht sich dabei auf die Präzision: Konnte das, was gemessen wurde, überhaupt präzise gemessen werden? So bringt es herzlich wenig, Spannungsschwankungen an Orten zu messen, wo es generell leichte Erdbeben gibt.
• Vertraue keiner einsamen Zahl: Mach dir klar, dass jede einsame Zahl in Berichten prinzipiell eindrucksvoll erscheint. Erst wenn du eine Zahl zu einer anderen in ein Verhältnis setzt, kannst du dir ein besseres Urteil bilden. Verhältnisse sind immer aussagekräftiger. Wenn Länder oder Regionen miteinander verglichen werden, könntest du beispielsweise nach Raten pro Kopf schauen.
• Schau dir Ausreißer genau an: Manchmal wird in Berichten gerne mit Durchschnittswerten gearbeitet, um etwas als besonders dramatisch darzustellen. Diese sind aber mit Vorsicht zu genießen, da man mit ihnen auch Ungleichheiten verstecken kann. Mach dir klar, dass es insgesamt drei sogenannte Lagemaße gibt, um Verteilungen in einer Gruppe abzubilden: den Mittelwert als Durchschnittswert, den Median als Wert in der Mitte und den Modus als den häufigsten Wert. Selbst so etwas wie das tägliche Smartphone-Nutzungsverhalten kannst du besser einschätzen, wenn dir alle drei Lagemaße bekannt sind.
• Prüfe die Visualisierung: Grafiken und Diagramme können Statistiken auf eine Weise präsentieren, die dich in die Irre führen und den Eindruck erwecken, dass etwas signifikant – also statistisch gesehen bedeutsam – ist, obwohl es das nicht ist. Schaue dir die Skalierung der Achsen an. Sind die Achsen falsch eingeteilt oder auf den Kopf gestellt? Wird der Maßstab manipuliert, indem die Achsen nicht bei null, sondern bei 100 starten oder Intervalle verkleinert sind? Ist ein Ausschnitt gewählt, der einen größeren Abwärtstrend gar nicht erst ins Bild setzt? Stimmen die Proportionen im Tortendiagramm mit den tatsächlichen Werten überein?
• Informiere dich: Mit diesem Grundverständnis über Statistiken bist du gut gewappnet. Es gibt mittlerweile einige Aufklärungsprojekte, die dir insbesondere Datenkompetenz und wissenschaftliches Arbeiten verständlich näher bringen. Kostenlose Kurse und Beiträge kannst du beispielsweise über die Lernplattform KI-Campus und den Podcast DatenDurchblick erhalten.

Fazit

Oft vermitteln Statistiken den Eindruck, wertvoll zu sein, weil sie mit wissenschaftlichen Methoden erstellt werden. Wirklich wertvoll ist aber das Handeln, das wir aus den Daten und den darin enthaltenen Informationen, die uns Statistiken präsentieren, ableiten. Das kann unsere persönlichen Entscheidungen prägen, aber auch die von ganzen Regierungen und Unternehmen. Es ist wichtig, bei Formulierungen wie „durchschnittlich“, „Gesundheitsrisiko“ und „repräsentativ“ genauer hinzuschauen – oft führen die falsche Verwendung von statistischen Begriffen oder Irrtümer zu Fehlinformationen. Mit unseren Tipps an der Hand kannst du Statistiken nun besser einordnen und vielleicht ein tieferes Verständnis dafür entwickeln, gute von schlechten Studien zu unterscheiden.

Weiterführende Links:

• WDR-Beitrag aus der Sendung Quarks „So durchschaust du jede Statistik“ von Januar 2021
• Beitrag aus dem Statista-Lexikon „Definition Lügen mit Statistiken“
• Beitrag vom Youtube-Kanal Doktor Whatson „Wie man mit Statistiken lügen kann“ von Mai 2020
• Beitrag vom Youtube-Kanal maiLab „Das Problem mit wissenschaftlichen Studien“ von November 2018
• Beitrag von Business Insider „Exposed: Here Are The Tricks That Fox News Uses To Manipulate Statistics On Its Graphics“ von November 2012

Bildquellen: Sven Lorenz, Tom Schulte | Bearbeitung: MvonS

Über die Autorin

Victoria Graul ist freie Journalistin und engagiert sich auf vielen Ebenen mit eigenen Workshops und Vorträgen zu den Themen Faktencheck, Desinformation und Medienkompetenz. Sie betreibt den Podcast Digga Fake – Fake News & Fact-Checking. Davor arbeitete sie als Online-Redakteurin, unter anderem für die Freie Presse und das RND RedaktionsNetzwerk Deutschland.