Datenqualität unterschiedlicher Rekrutierungswege in der sozialwissenschaftlichen Forschung

In der sozialwissenschaftlichen Forschung spielt die Sammlung von Daten über Einstellungen und Verhalten von Personen – etwa in ihrer Rolle als Mediennutzer:innen, Bürger:innen oder Konsument:innne eine zentrale Rolle. Diese werden größtenteils auf Basis von Selbstauskünften erhoben, in dem Personen an Befragungen (schriftlich, online oder im persönlichen Interview) teilnehmen. Eine hohe Bedeutung in der Rekrutierung von Teilnehmer:innen für Studien haben in der letzten Zeit kommerzielle Online-Access-Panels gewonnen, die Rekrutierung von Personen repräsentativ für die Internetnutzer:innen ermöglichen. Doch gerade bei der Rekrutierung über solche Panels tauchen Fragen zur Qualität der Daten auf, vor allem wenn Studienteilnehmer:innen regel-mäßig durch finanzielle Anreize zur Teilnahme motiviert werden.

Alternativen zu kommerziellen Online-Access Panels bieten etwa gezielte Werbeanzeigen in sozialen Medien, um Nutzer:innen mit bestimmten Merkmalen (über die Targeting Funktion) anzusprechen. Oder man setzt auf traditionellere Methoden wie Postwurfsendungen, die vor allem für regionale, geographisch begrenzte Studien geeignet sind.

Bisher gibt wenig systematische Forschung darüber, wie sich diese verschiedenen Rekrutierungswege auf die Qualität der Daten und die Zusammensetzung der Teilnehmer:innen auswirken. In einer aktuellen Studie haben Forscher:innen aus Erfurt, Mainz und Trier daher vier verschiedene Rekrutierungsmethoden verglichen: Online-Panels, Social Media Anzeigen, Postwurfsendungen und persönliche Ansprache. Da gerade regional ausgerichtete Studien durch eine begrenzte Ausschöpfung von Teilnehmer:innen in Online-Access Panels schwierig zu realisieren sind, haben wir uns auf die Rekrutierung von Personen in regionalen Räumen fokussiert. Die Datenqualität haben über die Sorgfalt bei der Beantwortung der Fragen sowie die Aufmerksamkeit der Teilnehmer:innen gemessen.

Methodisches Vorgehen
Die Befragung wurde in den Postleitgebieten 55 (in Rheinland-Pfalz [RLP], Umgebung Mainz) sowie 99 (in Thüringen [TH], Umgebung Erfurt) durchgeführt. Dabei dienen Umweltthemen mit Regionalbezug (RLP: Hoch- und Niedrigwasser im Rhein; TH: Trockenheit im Thüringer Wald) als inhaltlicher Rahmen.

Über den kommerziellen Panelanbieter Bilendi [Respondi] wurden alle in diesen Bereichen verfügbaren Panel-Teilnehmenden rekrutiert. In jeweils 10 Postleitzahlgebieten in Thüringen und Rheinland-Pfalz (stratifiziert nach Besiedlungsdichte) wurden durch Postwurfsendungen insgesamt rund 60.000 Haushalte zur Teilnahme aufgefordert. Zudem wurden äquivalent zu den beiden Befragungsregionen mit Hilfe der Targetingfunktion von Meta Anzeigen in Facebook und Instagram geschaltet und alle Personen in den PLZ Gebieten, die im nicht-kommerziellen SoSci Panel (gehostet durch LMU München), registriert sind, zur Befragung eingeladen.

Ergebnisse
Insgesamt haben 1847 Teilnehmende (N_TH = 810; N_RLP = 1037) die Befragung durchgeführt, wobei der Großteil auf Basis des Bilendi-Panels, gefolgt von Postwurf angesprochen wurde (N_Respondi = 604; N_Postwurf = 581; N_Meta = 375; N_Sosci = 287).

Mit Bezug auf die soziodemographische Zusammensetzung zeigt sich, dass die Rekrutierung über Bilendi mit Bezug auf das Alter am ehesten dem tatsächlichen Durchschnittsalter in beiden Regionen (TH: 47,5 Jahre; RLP: 45 Jahre) entspricht, während insgesamt, über alle Rekrutierungswege hinweg, jüngere Personen unterrepräsentiert sind. Mit Bezug auf die Geschlechterverteilung sind Frauen bis auf die Rekrutierung über Postwurf stärker vertreten. Im Hinblick auf die Sorgfalt in der Bearbeitung der Fragen wird deutlich, dass die meisten Straighliner:innen auf das Bilendi-Panel entfallen, das auch die geringste Bearbeitungszeit aufweist. Auch der Anteil korrekt beantworteter Fragen aus dem Test-Artikel fällt beim Bilendi-Panel geringer aus. Gleichzeitig sind Teilnehmer:innen aus dem Panel am „besten“ in der Lage, Trap-Questions zur Messung der Aufmerksamkeit zu bewältigen.

Unsere Ergebnisse deuten insgesamt darauf hin, dass die Rekrutierung von Studienteilnehmer:innen über Online-Access Panels mit Einschnitten bei der Datenqualität was Sorgfalt und Aufmerksamkeit betrifft – zumindest im untersuchten Panel – verbunden ist. Für eine umfassendere Bewertung wären weitere Panelanbieter und die Erhebung von Daten über CATI Interviews relevant zu untersuchen. Für die Rekrutierung von Personen ohne kommerzielle Unterstützung ist ein kombiniertes Verfahren über Online-Anzeigen und „klassische“ Ansprache zu empfehlen – wobei etwa der Postwurf zu den mit weitem Abstand höchsten Kosten pro Befragten beigetrage haben.