Essays on deliberate errors in surveys

Beschreibung

"Surveys sind anfällig für absichtliche Fehler der beteiligten Akteure (zum Beispiel der Interviewenden oder der Befragten), die zu verzerrten Schätzungen und fehlerhaften Inferenzen führen und das generelle Vertrauen in Survey-Daten verringern können. Diese Dissertation behandelt Strategien und Methoden zur Prävention und Identifikation solcher Fehler. Die ersten vier Artikel befassen sich mit absichtlichen Fehlern von Face-to-Face-Interviewenden. Der fünfte Artikel beschäftigt sich mit Befragten in Web-Surveys, wobei insbesondere “Inattentive Responding” behandelt wird. Der erste Artikel untersucht den Effekt von Interviewmitschnitten auf das Interviewendenverhalten in Face-to-Face-Befragungen. Hierbei werden mit dem Einverständnis der Befragten – unter anderem zur späteren Kontrolle der Interviewenden – Tonspuren der Interviews aufgezeichnet. Ohne diese Mitschnitte ist das Verhalten der Interviewenden während des Interviews nicht beobachtbar. Anhand detaillierter Zeitstempeldaten und unterschiedlicher Analyseansätze zeigen wir, dass Interviewmitschnitte (vermutlich absichtliche) Interviewendenfehler erheblich reduzieren. Der zweite Artikel veranschaulicht, wie Multilevel-Modelle zur Identifikation von Interviewendenfälschungen genutzt werden können. Das Modell konzentriert sich auf das Verhalten der fälschenden Interviewenden über den Feldverlauf hinweg. Wir testen die Methode mit Survey-Daten mit verifizierte Fälschungen, die wir identifizieren können, und finden in einem weiteren Datensatz mehrere verdächtige Interviewende. Im dritten Artikel wird ein weiterer Ansatz zur Identifikation fehleranfälliger Interviewender entwickelt. Unter der Annahme, dass sich die Körpergröße von Erwachsenen in kurzen Zeitabständen nicht verändern sollte, klassifizieren wir Interviewende als fehleranfällig, wenn 1) die angegebene Größe ihrer Befragten häufig und erheblich von der gemessenen Größe abweicht oder 2) sich die angegebene Größe ihrer Befragten häufig und erheblich zwischen Panelwellen verändert. Wir verwenden dafür Multilevel-Modelle und identifizieren mehrere fehleranfällige Interviewende in vier Datensätzen. Im vierten Artikel wird ein multivariater Ansatz zur Analyse von Interviewendenfehlern entwickelt. Wir verwenden Daten aus zehn Jahren einer jährlichen Querschnittsbefragung, die in zehn Ländern durchgeführt wurde (insgesamt 100 Länder-Jahre), und wenden mehrere Indikatoren für Interviewendenfehler auf Interviewenden- und Länder-Jahr-Ebene an. Um auffällige Länder-Jahre und Interviewende zu identifizieren, verwenden wir Isolation Forests und zeigen, dass mehrere Länder in bestimmten Jahren besonders auffällige Indikatorwerte aufweisen. Die Ergebnisse führten zum Ausschluss mehrerer Länder-Jahre aus den veröffentlichten Daten und veranschaulichen die Bedeutung des Erhebunsinstituts für die Analyse von Interviewendenfehlern. Der fünfte Artikel befasst sich mit der Prävention und Identifikation von Inattentive Responding (Befragte, die ohne Rücksicht auf den Inhalt der Frage antworten) in Web-Surveys. Als Präventionsansatz untersuchen wir den Effekt von “Commitment Pledges”, bei denen sich die Befragten zu Beginn des Interviews verpflichten, bestmögliche Antworten zu geben. Wir finden keinen Effekt der Präventionsmaßnahme auf mehrere Indikatoren für Inattentive Responding. Zur Identifikation führen wir ein Experiment zu “Attention Checks” durch und zeigen, dass ein großer Anteil der Befragten solche Checks wahrscheinlich zufällig besteht. Als Alternative entwickeln und testen wir einen zeitstempelbasierten Clustering-Ansatz, mit dem Cluster, die zu großen Teilen aus Inattentive Respondents bestehen, identifiziert werden können. Die Artikel über Maßnahmen zur Prävention von absichtlichen Fehlern können bei der Entwicklung von Strategien zur Qualitätssicherung von Surveys unterstützen. Die entwickelten und getesteten Identifikationsmethoden können in der Praxis und angewandten Forschung zur Bewertung der Qualität von Survey-Daten angewandt werden. Insgesamt trägt diese Dissertation dazu bei, die Häufigkeit und die nachteiligen Folgen von absichtlichen Fehlern in Surveys zu verringern." (Autorenreferat, IAB-Doku)

Zitationshinweis

Olbrich, Lukas (2025): Essays on deliberate errors in surveys. München, 259 S. DOI:10.5282/edoc.34655