Unternehmen treffen wichtige Entscheidungen auf Basis von Daten und Insights. Umso entscheidender ist, dass diese Erkenntnisse auf einer methodisch sauberen Datengrundlage beruhen – und genau hier spielt die Qualität der Stichprobe eine zentrale Rolle. Dr. Marcus Roller, Leiter Sozialforschung bei intervista, erklärt im Interview, weshalb Stichprobenqualität weit mehr ist als ein methodisches Detail.
Marcus, warum ist die Qualität der Stichprobe überhaupt so wichtig?
Weil die Stichprobe das Fundament jeder Studie ist. Alles, was wir später als Insight präsentieren, basiert auf den Personen, die tatsächlich an einer Befragung teilnehmen. Bildet diese Gruppe die Zielpopulation nicht ausreichend ab, entstehen mit hoher Wahrscheinlichkeit Verzerrungen –damit steigt das Risiko, aus plausibel wirkenden Daten falsche Schlüsse zu ziehen.
Was zeichnet eine gute Stichprobe aus?
Eine gute Stichprobe bildet die Grundgesamtheit der Zielpopulation in den für die Fragestellung relevanten Merkmalen möglichst gut ab. Der methodische Idealtyp ist die Zufallsauswahl: Jede Person der Zielpopulation hat dieselbe Chance, in die Stichprobe zu gelangen. In der Praxis lässt sich dieses Ideal nicht immer vollständig erreichen, es bleibt aber der zentrale Qualitätsmassstab.
Früher galten telefonische Befragungen als besonders belastbar. Warum?
Weil über das Festnetz lange Zeit grosse Teile der Bevölkerung gut erreichbar waren. In Kombination mit einer sauberen Stichprobenziehung und professioneller Feldarbeit liessen sich auf diesem Weg sehr belastbare Stichproben realisieren. Deshalb war das Telefon über viele Jahre eine zentrale Methode der empirischen Forschung.
Warum wurde das bei Telefonbefragungen schwieriger?
Mit dem Rückgang der Festnetzreichweite hat diese Methode an Abdeckung verloren. Gleichzeitig ist auch die Teilnahmebereitschaft bei telefonischen Befragungen gesunken, sodass Verfahren, bei denen die Stichproben durch zufällig generierte Handynummern diese gesunkene Abdeckung nicht wettmachen können. Zudem ist der Feldzugang so aufwendiger und teurer geworden. Das Risiko systematischer Verzerrungen ist also gestiegen – und in vielen Fällen auch die wirtschaftliche Hürde für den Einsatz dieser Methode.
Warum ist eine Stichprobe in der Praxis fast nie perfekt?
Zwischen methodischem Anspruch und Feldrealität liegen einige Hürden. Oft gibt es keinen vollständigen Zugang zur gesamten Zielpopulation, und die Teilnahme an Befragungen ist freiwillig. Dadurch beteiligen sich manche Personengruppen eher als andere. Das führt zu Über- und Untervertretungen. Quotenverfahren können solche Effekte teilweise abfedern, lösen das Grundproblem aber nicht vollständig – insbesondere wenn relevante Teile der Zielpopulation in der Stichprobe ganz fehlen.
Welche Rolle spielen Rekrutierungsquellen für die Stichprobenqualität?
Eine zentrale. Die Rekrutierungsquelle bestimmt, wer überhaupt erreichbar ist und damit in die Stichprobe gelangen kann. Fehlen bestimmte Gruppen systematisch oder sind andere übervertreten, wirkt sich das direkt auf die Qualität der Ergebnisse aus. Besonders kritisch sind Rekrutierungsansätze, die stark auf Selbstselektion beruhen – etwa River-Sampling-Methoden oder Rekrutierungen auf spezifischen Kanälen wie über Social Media.
Welche Herausforderung gab es lange bei Online-Befragungen?
Online-Befragungen litten über viele Jahre unter Unterdeckung. Bestimmte Bevölkerungsgruppen – insbesondere ältere Personen – waren online weniger stark vertreten und kamen deshalb in Stichproben seltener vor. Diese Lücke ist heute deutlich kleiner geworden. Damit sind Online-Interviews für viele Fragestellungen methodisch sehr gut einsetzbar – vorausgesetzt, die Stichprobe wird sauber rekrutiert und kontrolliert.
Heisst das, dass Online-Befragungen automatisch repräsentativ sind?
Nein. Der Erhebungskanal allein garantiert noch keine gute Stichprobe. Entscheidend ist immer, wer überhaupt die Chance hat, in die Auswahl zu kommen, wie rekrutiert wird und wie gut die realisierte Stichprobe die Zielpopulation tatsächlich abbildet.
Warum reicht eine grosse Fallzahl allein nicht aus?
Weil Grösse keine systematische Verzerrung korrigiert. Eine grosse, aber schiefe Stichprobe bleibt schief. Tausende Interviews bringen wenig, wenn nicht die richtigen Personen befragt wurden.
Kann man solche Probleme nicht einfach durch Gewichtung lösen?
Gewichtung ist ein wichtiges Instrument, aber kein Allheilmittel. Sie kann bekannte Abweichungen zum Beispiel nach Alter, Geschlecht oder Region korrigieren. Was sie nicht beheben kann, sind Unterschiede, die nicht gemessen wurden oder von denen wir die tatsächliche Verteilung in der Grundgesamtheit nicht kennen. Ebenso scheitert die Gewichtung, wenn gewisse Gruppen, von denen man ausgehen muss, dass sie anders antworten als die restliche Stichprobe, gänzlich fehlen.
Unternehmen sollten Ergebnisse nie losgelöst von ihrer methodischen Grundlage betrachten. Gute Forschung erkennt man nicht nur an überzeugenden Charts. Diese stehen erst ganz am Ende der Forschung. Mindestens ebenso wichtig sind eine sauber aufgebaute und rekrutierte Stichprobe, transparente Qualitätskontrollen und ein offener Umgang mit Limitationen. Denn belastbare Entscheidungen brauchen belastbare Daten.
Wie wir Stichprobenqualität in der Praxis sicherstellen, erfahren Sie auf unserer Seite zum intervista Online-Panel.
Gerne unterstützen wir Sie bei der Planung und Umsetzung Ihrer Studie. Sie können mich gerne anrufen oder mir eine E-Mail Nachricht schicken. Ich freue mich auf den Dialog mit Ihnen!
Deutsch
English
Français