Bevölkerungsrepräsentativität darf nicht in Frage stehen – ein Fachbeitrag von Christian Thunig in Planung & Analyse 06/2018

11. Dez 2018

horizont.net: Christian Thunig, Managing Partner von INNOFACT, findet die aktuelle Diskussion wichtig, da die Ergebnisse der Meinungsforschung häufig von den Medien aufgegriffen und in die Öffentlichkeit getragen werden. Er hat die aktuellen Argumente zusammengestellt.

Das Modell der Bevölkerungsrepräsentativität darf eigentlich nicht in Frage stehen, denn im Zuge der Meinungs- und Sozialforschung müssen Strömungen in der Bevölkerung methodisch zuverlässig erforscht werden. Die aktuelle Diskussion ist wichtig, da die Ergebnisse häufig von den Medien aufgegriffen und in die Öffentlichkeit getragen werden. Marktforschung hat also hier eine große auch gesellschaftliche Verantwortung. Wenn Meinungsforschung nicht verlässlich arbeitet, wird möglicherweise Meinungen Vorschub geleistet, die gar nicht hinreichend vorhanden sind. Es entstehen im schlimmsten Falle „Fake-News“. Nun steht aber genau dieses Prinzip der Repräsentativität zur Debatte. Dabei spitzt sich die Diskussion auf einen Vergleich „alter“ und „neuer“ Erhebungs- und Rekrutierungsmethoden zu.

Was ist überhaupt Repräsentativität?

Sie ist zunächst einmal ein Konstrukt und beruht auf der Überlegung, dass eine exakt repräsentative Stichprobe entwickelt werden kann, wenn die Verteilung der Merkmalsausprägungen in ihrer Kombination in der Grundgesamtheit im Vorhinein bekannt wäre. Es hat sich seit Jahrzehnten als Konvention und Standard herausgebildet, dass Repräsentativität sich zunächst einmal an regionaler Repräsentativität für alle Verfahren wie Face-to-Face, CATI oder Online und an soziodemografischer Repräsentativität festmacht.

Warum kommt das Thema ausgerechnet jetzt auf?

Neue Anbieter haben insbesondere dem River-Sampling als Methode der Stichprobenziehung wieder verstärkt Raum gegeben. Beim Riversampling wird zu Umfragen über ein Netzwerk von mehreren Internetseiten eingeladen. Dies kann über Online-Werbemittel geschehen oder indem Nutzer direkt im Anschluss oder während eines Artikels oder Themenumfelds zu einer Befragung aufgefordert werden. Die Kritik lautet: Teile der Grundgesamtheit können hier gar nicht angesprochen werden, weil sie die involvierten Websites nicht zwangsläufig besuchen. Der ADM (Arbeitskreis Deutscher Markt- und Sozialforscher) bezieht hier eindeutig Stellung: „Grundlage einer bevölkerungsrepräsentativen Stichprobe ist, dass jede Bürgerin und jeder Bürger eine berechenbare Chance hat, in die Stichprobe zu gelangen und damit an der Umfrage teilnehmen zu können. Stichproben können nie aus sich selbst heraus repräsentativ sein.“

Wie sieht die Stichprobenziehung per CATI aus?

In der aktuellen Diskussion werden das gute alte Telefon und die modernen Verfahren der Stichprobenziehung gegenübergestellt. Beim CATI-Verfahren führen Kritiker immer wieder an, dass die Teilnahmebereitschaft sinkt. Wenn man sich in der Branche umhört, ergibt sich folgendes Bild: Die sinkende Bereitschaft zur Mitarbeit gilt im Prinzip auch bei der Rekrutierung von Onlinepanels oder bei der Ansprache über Medienportale und Websites. Eine offizielle vergleichende Messung, wie viele Besucher der Medienportale an Umfragen teilnehmen und ob dies am Ende mehr sind, als zu einer Telefonumfrage oder Face-to-Face-Umfrage bereit wären, gibt es nicht. Fazit der Branchen-Insider: Das Bereitschaftsproblem ist ein Grundproblem aller Methoden in der Marktforschung.

Wie kann man Berufstätige noch erreichen?

Wenn der Auftraggeber auf Repräsentativität Wert legt, sollten Telefoninterviews im deutlich teureren Dual Mode durchgeführt werden. Das ist eine Kombination aus Festnetz- und Mobil-Nummern und ermöglicht, dass der allergrößte Teil der Bevölkerung zumindest erreicht werden könnte und eine Chance hat, in die Stichprobe aufgenommen zu werden. Zum Beispiel in der Media-Reichweitenforschung wird verlangt, dass Telefonnummern mehrere Male zu unterschiedlichen Tageszeiten und an unterschiedlichen Tagen angewählt werden, um etwa auch Berufstätige zu erreichen. Fazit: Das Telefon ist noch nicht abgemeldet. Die theoretische Erreichbarkeit der Grundgesamtheit ist noch realisierbar.

Wo steht die Online-Marktforschung derzeit?

Laut der aktuell erschienenen ARD/ZDF-Onlinestudie sind 90 Prozent der Personen über 14 Jahre im Netz vertreten. Es gibt nur noch relativ wenige Bedenken, dass man die Bevölkerung insgesamt mit Online abdecken könnte. Kritiker geben allerdings zu Protokoll, dass in der Altersgruppe 65+ oder 70+ nur noch ein deutlich geringerer Anteil erreicht werden kann. Fazit: Eine Fußnote dahingehend, dass Online ab einer bestimmten Altersgrenze ein Repräsentativitätsproblem hat, täte der Diskussion gut.

Warum gibt es eine Diskussion um das Marktforschungs-Startup Civey

Verfechter attestieren der Methode einen spielerischen Zugang zu den Umfragen. Die User sind interessiert und lassen sich gut aktivieren, an Befragungen teilzunehmen. Kritiker sehen jedoch die Gefahr, dass sich vor allen Dingen thematisch Interessierte äußern. Civey gibt an, dass nur die erste Frage, die im Befragungstool gestellt wird, unmittelbar mit dem Artikelthema zu tun hat. Weitere Fragen können aus ganz anderen Themengebieten stammen. Damit ist grundsätzlich im ersten Impuls ein Befragter über ein bestimmtes Thema gekommen – im weiteren Verlauf funktioniert die Methode dann eher wie eine Busbefragung. Kritiker sehen vor allem die Stichprobenziehung als neuralgischen Punkt: Menschen haben hier nicht die theoretische Möglichkeit, in das Befragungssample per Zufall zu gelangen.

Was ist das Fazit?

Die Diskussion und der Austausch in der Branche sind wichtig und es deutet sich an, dass dieser nun intensiviert werden wird. Weder sind die alten Verfahren abgemeldet noch sind die neuen Herangehensweisen schon abschließend ausdiskutiert. Fest steht, dass sich Marktforschung verändert und verändern muss, um Menschen zu gewinnen, ihre Meinung zur Verfügung zu stellen. Denn nur wenn es ein sauberes, möglichst vollständiges Bild ergibt, lässt sich Wirtschaft, Politik und Gesellschaft redlich gestalten.

(Zur Meldung)