Project Nonprobability Sample Inference: Fieldwork Report

Beschreibung

"Befragungen, die auf Basis von Zufallsstichproben erhoben werden, werden aufgrund hoher Kosten und niedriger Rücklaufquoten zunehmend unattraktiver. Gleichzeitig werden nicht‑zufallsbasierte Befragungen, die mutmaßlich kostengünstiger sind und eine schnellere Datenerhebung ermöglichen, immer beliebter. Im Projekt “Nonprobability Sample Inference” (NOSI) wird untersucht, inwieweit letzere eine praktikable Alternative zu Zufallsstichproben in der Arbeitsmarktforschung darstellen können. Zu diesem Zweck wird eine Zufallsstichprobe mit vier nicht‑zufallsbasierten Befragungen verschiedener Anbieter verglichen. Dieser Bericht bietet einen kurzen Überblick über Datenerhebungsprozesse, Datenqualität und Kosten dieser insgesamt fünf Befragungen. Die untersuchte Zufallsstichprobe beinhaltete ein 2 × 2‑Experiment zur Nutzung von Incentives und Erinnerungsschreiben für die Rekrutierung von Befragten. Als Incentive diente ein Gutschein im Wert von 5 €, das Erinnerungsschreiben wurde zwei Wochen nach dem ersten Anschreiben versendet. Die Kombination aus Incentive und Erinnerungsschreiben erhöhte die Rücklaufquote im Vergleich zur Kontrollgruppe ohne beide Maßnahmen um fast 10 Prozentpunkte (17,1 gegenüber 7,5 Prozent). Die Datenerhebung dauerte 69 Tage, während die nicht‑zufallsbasierten Befragungen maximal 20 Tage benötigten, wobei einige nur sieben Tage im Feld waren. An der Befragung der Zufallsstichprobe nahmen Personen mit höherer Bildung, deutscher Staatsangehörigkeit und Erwerbstätige überproportional häufig teil. Beim Vergleich der soziodemografischen Zusammensetzung aller Stichproben zeigt sich, dass Befragte ohne deutsche Staatsbürgerschaft in nicht‑zufallsbasierten Befragungen stark unterrepräsentiert sind. Hinsichtlich des Erwerbsstatus beobachten wir große Unterschiede zwischen allen Stichproben, auch in Bezug auf Statusveränderungen. Auch hinsichtlich mehrerer Datenqualitätsindikatoren unterscheiden sich die beiden Stichprobenarten. In allen fünf Fällen wurde zunächst davon ausgegangen, dass es im Schnitt etwa zehn Minuten dauern würde, um den Fragebogen auszufüllen. Die Befragten aus der Zufallsstichprobe hatten tatsächlich eine mittlere Bearbeitungsdauer von etwa zehn Minuten. In drei der vier nicht‑zufallsbasierten Befragungen hingegen waren es im Schnitt (Median) weniger als sechs Minuten . Außerdem ist dort der Anteil, der eine Frage zur Überprüfung der Aufmerksamkeit falsch beantwortet, höher mit bis zu 25 Prozent. In drei nicht‑zufallsbasierten Befragungen nehmen mehr als 20 Prozent der Befragten an fünf oder mehr Umfragen pro Woche teil. Die durchschnittlichen Kosten pro abgeschlossenem Interview für die Befragung mit Zufallsstichprobe hängen davon ab, ob Erinnerungsschreiben versendet und Gutscheine angeboten werden. Nur zwei der nicht‑zufallsbasierten Befragungen sind günstiger als die Befragung mit Zufallsstichprobe ohne Anreize und Erinnerungsschreiben. Eine ist sogar teurer als die auf Zufallsstichproben basierende Befragung, selbst wenn die Kosten für Incentives und Erinnerungsschreiben eingerechnet werden." (Autorenreferat, IAB-Doku)

Zitationshinweis

Drechsler, Jörg, Emma Fössing, Lukas Olbrich & Stefan Zins (2026): Project Nonprobability Sample Inference: Fieldwork Report. (IAB-Forschungsbericht 09/2026 (en)), Nürnberg, 41 S. DOI:10.48720/IAB.FB.2609EN