Zitatform

Olbrich, Lukas, Yuliya Kosyakova & Joseph Sakshaug (2022): The reliability of adult self-reported height: The role of interviewers. In: Economics and Human Biology, Jg. 45, S. 1-14., 2022-02-22. DOI:10.1016/j.ehb.2022.101118

Abstract

"Surveys serve as an important source of information on key anthropometric characteristics such as body height or weight in the population. Such data are often obtained by directly asking respondents to report those values. Numerous studies have examined measurement errors in this context by comparing reported to measured values. However, little is known on the role of interviewers on the prevalence of irregularities in anthropometric survey data. In this study, we explore such interviewer effects in two ways. First, we use data from the US National Health and Nutrition Examination Survey and the UK Household Longitudinal Study to evaluate whether differences between reported and measured values are clustered within interviewers. Second, we investigate changes in adult self-reported height over survey waves in two German large-scale panel surveys. Here, we exploit that height should be constant over time for the majority of adult age groups. In both analyses, we use multilevel location-scale models to identify interviewers who enhance reporting errors and interviewers for whom unlikely height changes over waves occur frequently. Our results reveal that interviewers can play a prominent role in differences between reported and measured height values and changes in reported height over survey waves. We further provide an analysis of the consequences of height misreporting on substantive regression coefficients where we especially focus on the role of interviewers who reinforce reporting errors and unlikely height changes." (Author's abstract, IAB-Doku, © 2022 Elsevier) ((en))

Zitatform

Beste, Jonas, Lukas Olbrich & Silvia Schwanhäuser (2021): Interviewer:innenkontrolle im Panel Arbeitsmarkt und soziale Sicherung (PASS). (FDZ-Methodenreport 04/2021 (de)), Nürnberg, 11 S. DOI:10.5164/IAB.FDZM.2104.de.v1

Abstract

"Im Panel Arbeitsmarkt und soziale Sicherung (PASS, DOI: 10.5164/IAB.PASS-SUF0619.de.en.v2) (Trappmann et al., 2013, 2019) werden stets neue Methoden zur Qualitätssicherung entwickelt und angewendet. In diesem Bericht werden die Ergebnisse eines Projekts zu abweichendem Interviewer:innenverhalten zusammengefasst. Im Fokus der verbesserten Qualitätskontrollen stehen dabei insbesondere statistische Kontrollmethoden wie die Analyse von Zeitmarken, längsschnittliche Korrelationsanalysen sowie etablierte statistische Indikatoren. Im Rahmen dieser Analysen wurden zwei Interviewer:innen identifiziert, die zumindest nennenswerte Teile der von ihnen abgelieferten Interviews nicht regulär durchgeführt haben. Die Fälle dieser Interviewer:innen wurden aus den Daten entfernt. Insgesamt ist die Anzahl an betroffenen Interviews jedoch gering. Im PASS wurden 0,41 Prozent der Personeninterviews und 0,37 Prozent der Haushaltsinterviews entfernt. Auch die einzelnen Teilstichproben sind nur geringfügig betroffen. In zukünftigen PASS-Wellen werden diese Qualitätskontrollen standardmäßig bereits während der Feldarbeit durchgeführt." (Autorenreferat, IAB-Doku)

Zitatform

Collischon, Matthias (2021): Identifying supervisory or managerial status in administrative records. (IAB-Discussion Paper 20/2021), Nürnberg, 17 S.

Abstract

"Informationen darüber, ob Individuen eine Position mit Führungsaufgaben innehaben, sind wichtig für die Arbeitsmarktforschung. Leider ist es nicht einfach möglich, diese Aufgaben in deutschen administrativen Daten zu identifizieren. Dieser Beitrag nutzt Surveyinformationen aus dem Panel Arbeitsmarkt und soziale Sicherung (PASS), um Personen mit Führungsaufgaben in administrativen Daten, zum Beispiel dem SIAB, vorherzusagen. Als Beispiel für die Anwendung untersuche ich Geschlechterunterschiede in der Wahrscheinlichkeit, eine Position mit Führungsaufgaben zu haben." (Autorenreferat, IAB-Doku)

Zitatform

Dummert, Sandra (2021): Codebuch und Dokumentation der Interviewernachbefragung des Panel "Arbeitsmarkt und soziale Sicherung" (PASS). (FDZ-Datenreport 15/2021 (de)), Nürnberg, 27 S. DOI:10.5164/IAB.FDZD.2115.de.v1

Abstract

"Die FDZ-Datenreporte beschreiben die Daten des FDZ im Detail. Diese Reihe hat somit eine doppelte Funktion: Zum einen stellen Nutzerinnen und Nutzer fest, ob die angebotenen Daten für das Forschungsvorhaben geeignet sind, zum anderen dienen sie zur Vorbereitung der Auswertungen. Dieser Datenreport beschreibt die im Rahmen einer Interviewendennachbefragung (PASS-INT) erhobenen Daten. Diese Befragung, welche sich an die Interviewenden richtet, wurde ab der 4. Welle im Anschluss an jedes erfolgreich durchgeführte Personeninterview für das Panel Arbeitsmarkt und Soziale Sicherung (PASS) durchgeführt." (Autorenreferat, IAB-Doku)

Zitatform

Jesske, Birgit & Sabine Schulz (2021): Panel Arbeitsmarkt und Soziale Sicherung PASS-Erhebungswelle 14 - 2020 (Haupterhebung). (FDZ-Methodenreport 06/2021 (de)), Nürnberg, 153 S. DOI:10.5164/IAB.FDZM.2106.de.v1

Abstract

"Bereits in Erhebungswelle 10 hat PASS auf die Herausforderung reagiert, dass sich die Zusammensetzung der Zielgruppe der SGB-II-Empfänger verändert hat. Ausgelöst durch die verstärkte Flüchtlingszuwanderung seit 2014 in Deutschland finden sich unter den Leistungsempfängern größere Anteile aus arabischsprachigen Herkunftsländern, die über die nächsten Jahre im PASS befragt werden sollen. Dafür wurden in Welle 10 neben dem Einsatz eines arabischen Erhebungsinstruments verschiedene Maßnahmen zur Kontaktierung und Interviewführung getroffen und weiterentwickelt, die in den Folgewellen erneut zum Einsatz kamen. Während in Welle 10 ein Oversampling für Neuzugänge ins SGB II mit syrischer und irakischer Nationalität erfolgte, sind syrische/irakische Haushalte seit Welle 11 in den Auffrischungsstichproben auch ohne diese Maßnahme ausreichend vertreten. Die Erfahrungen aus den Vorwellen haben gezeigt, dass sich Kontaktierung und Interviewführung, aber auch Bearbeitungsergebnisse in dieser Gruppe noch deutlich von der üblichen SGB-II-Stichprobe unterscheiden. Vor diesem Hintergrund werden im Methodenbericht Ergebnisse nach Stichprobengruppen getrennt ausgewiesen, so dass syrische/irakische Haushalte sowohl im Panel als auch für die Auffrischungsstichprobe immer eine eigene Gruppe innerhalb der SGB-II-Stichproben bilden." (Autorenreferat, IAB-Doku)

Zitatform

Schierholz, Malte & Matthias Schonlau (2021): Machine learning for occupation coding - a comparison study. In: Journal of survey statistics and methodology, Jg. 9, H. 5, S. 1013-1034., 2020-07-07. DOI:10.1093/jssam/smaa023

Abstract

"Asking people about their occupation is common practice in surveys and censuses around the world. The answers are typically recorded in textual form and subsequently assigned (coded) to categories, which have been defined in official occupational classifications. While this coding step is often done manually, substituting it with more automated workflows has been a longstanding goal, promising reduced data-processing costs and accelerated publication of key statistics. Although numerous researchers have developed different algorithms for automated occupation coding, the algorithms have rarely been compared with each other or tested on different data sets. We fill this gap by comparing some of the most promising algorithms found in the literature and testing them on five data sets from Germany. The first two algorithms we test exemplify a common practice in which answers are coded automatically according to a predefined list of job titles. Statistical learning algorithms - that is, regularized multinomial regression, tree boosting, or algorithms developed specifically for occupation coding (algorithms three to six) - can improve upon algorithms one and two, but only if a sufficient number of training observations from previous surveys is available. The best results are obtained by merging the list of job titles with coded answers from previous surveys before using this combined training data for statistical learning (algorithm 7). However, the differences between the algorithms are often small compared to the large variation found across different data sets, which we ascribe to systematic differences in the way the data were coded in the first place. Such differences complicate the application of statistical learning, which risks perpetuating questionable coding decisions from the training data to the future." (Author's abstract, IAB-Doku) ((en))

Zitatform

Bossler, Mario & Christian Westermeier (2020): Measurement error in minimum wage evaluations using survey data. (IAB-Discussion Paper 11/2020), Nürnberg, 49 S.

Abstract

"Wir analysieren den Einfluss von Messfehlern in Mindestlohnevaluationen, wenn die Treatmentvariable, also der 'Bite', aus einer befragungsbasierten Lohnverteilung stammt. In Monte- Carlo-Simulationen überprüfen wir die Verzerrtheit der Schätzer sowohl mit simulierten als auch empirischen Verteilungen von Messfehlern. Die empirischen Messfehler stammen aus einem Link von Befragungsdaten und administrativen Daten. Auf der individuellen Beobachtungsebene werden die Treatmenteffekte über 30 Prozent unterschätzt. Eine Aggregation der Treatmentinformation auf der Ebene von Haushalten, Firmen oder Regionen löst das Problem nicht vollständig. In Fällen einer sehr stark segregierten Verteilung von betroffenen Beschäftigten auf nur wenige Firmen oder Regionen kann es sogar zu einer Überschätzung des wahren Effekts kommen. Wir diskutieren zwei Lösungsansätze: Die Verwendung einer kontinuierlichen Treatmentvariable und das Löschen von Observationen, die in der Lohnverteilung nahe der Mindestlohnschwelle liegen." (Autorenreferat, IAB-Doku)

Zitatform

Dummert, Sandra (2020): Codebuch und Dokumentation der Interviewernachbefragung des Panel "Arbeitsmarkt und soziale Sicherung" (PASS). (FDZ-Datenreport 13/2020 (de)), Nürnberg, 28 S. DOI:10.5164/IAB.FDZD.2013.de.v1

Abstract

"Die FDZ-Datenreporte beschreiben die Daten des FDZ im Detail. Diese Reihe hat somit eine doppelte Funktion: Zum einen stellen Nutzerinnen und Nutzer fest, ob die angebotenen Daten für das Forschungsvorhaben geeignet sind, zum anderen dienen sie zur Vorbereitung der Auswertungen. Dieser Datenreport beschreibt die im Rahmen einer Interviewendennachbefragung (PASS-INT) erhobenen Daten. Diese Befragung, welche sich an die Interviewenden richtet, wurde ab der 4. Welle im Anschluss an jedes erfolgreich durchgeführte Personeninterview für das Panel Arbeitsmarkt und Soziale Sicherung (PASS) durchgeführt." (Autorenreferat, IAB-Doku)

Zitatform

West, Brady T., Michael R. Elliott, Zeina Mneimneh, James Wagner, Andy Peytchev & Mark Trappmann (2020): An examination of an interviewer-respondent matching protocol in a longitudinal CATI study. In: Journal of survey statistics and methodology, Jg. 8, H. 2, S. 304-324., 2018-12-19. DOI:10.1093/jssam/smy028

Abstract

"This article presents results from an experimental study in Germany designed to test the effectiveness of a novel protocol for matching participants in a national panel survey with interviewers employing computer-assisted telephone interviewing (CATI) on selected sociodemographic features, including sex, age, and education. We specifically focus on the ability of the protocol to engender close matches between respondents and interviewers in terms of these features, using both theory and empirical evidence to suggest that this type of matching will improve cooperation rates in surveys employing CATI. We also focus on indicators of 'success' at first contact (defined as a successful interview or establishment of an appointment for an interview) as a function of whether the matching protocol was in use on a given day and whether specific types of matches generated higher rates of success overall. We find strong evidence of the protocol effectively establishing close matches, and we also observe that matches based on education proved especially effective for rates of 'success' in a panel survey that focused primarily on labor market topics. We conclude with thoughts on practical implementation of this approach in other settings and suggested directions for future work in this area." (Author's abstract, IAB-Doku) ((en))

Zitatform

Bruckmeier, Kerstin, Regina T. Riphahn & Jürgen Wiemers (2019): Benefit underreporting in survey data and its consequences for measuring non-take-up: new evidence from linked administrative and survey data. (IAB-Discussion Paper 06/2019), Nürnberg, 40 S.

Abstract

"Eine Vielzahl von Studien untersucht die Nicht-Inanspruchnahme von Sozialleistungen, um die Wirksamkeit staatlicher Programme zu bewerten. Eine große Herausforderung in dieser Literatur besteht darin, dass die Messung der Inanspruchnahme in den verwendeten Daten fehlerbehaftet ist. Der Messfehler wird typischerweise durch strukturelle Annahmen in der statistischen Modellierung adressiert. In unseren Daten beobachten wir hingegen sowohl den tatsächlichen Leistungsbezug als auch die Angaben der Befragten zu ihrem Leistungsbezug. So können wir die Messfehler, die üblicherweise geschätzt werden müssen, direkt beobachten. Wir berichten das Ausmaß von falschen Angaben bezüglich des Leistungsbezugs in den von uns verwendeten Surveydaten und untersuchen, wie diese falschen Angaben Schätzungen zu den Determinanten der Inanspruchnahme leistungsberechtigter Haushalte verzerren. Unsere Ergebnisse deuten darauf hin, dass das Ausmaß der Messfehler erheblich sein kann, sodass survey-basierte Analysen des Inanspruchnahmeverhaltens wahrscheinlich mit beträchtlichen Verzerrungen behaftet sind." (Autorenreferat, IAB-Doku)

Zitatform

Dummert, Sandra (2019): Codebuch und Dokumentation der Interviewernachbefragung des Panel "Arbeitsmarkt und soziale Sicherung" (PASS). (FDZ-Datenreport 10/2019 (de)), Nürnberg, 27 S. DOI:10.5164/IAB.FDZD.1910.de.v1

Zitatform

Jesske, Birgit, Sabine Schulz & Sylvia Quandt (2019): Panel Arbeitsmarkt und Soziale Sicherung PASS-Erhebungswelle 12 - 2018 (Haupterhebung). (FDZ-Methodenreport 05/2019 (de)), Nürnberg, 157 S. DOI:10.5164/IAB.FDZM.1905.de.v1

Zitatform

Sakshaug, Joseph & Manfred Antoni (2019): Evaluating the utility of indirectly linked federal administrative records for nonresponse bias adjustment. In: Journal of Survey Statistics and Methodology, Jg. 7, H. 2, S. 227-249., 2018-03-09. DOI:10.1093/jssam/smy009

Abstract

"Survey researchers are actively seeking powerful auxiliary data sources capable of correcting for possible nonresponse bias in survey estimates of the general population. While several auxiliary data options exist, concerns about their usefulness for addressing nonresponse bias remain. One underutilized - but potentially rich - source of auxiliary data for nonresponse bias adjustment is federal administrative records. While federal records are routinely used to study nonresponse in countries where it is possible to directly link them (via a unique identifier) to population-based samples, such records are not widely used for this purpose in countries which lack a unique identifier to facilitate direct linkage. In this article, we examine the utility of indirectly linked administrative data from a federal employment database for nonresponse bias adjustment in a general population survey in Germany. In short, we find that the linked administrative variables have stronger correlations with the substantive survey variables than do standard paradata variables and that incorporating linked administrative data in nonresponse weighting adjustments reduces relative nonresponse bias to a greater extent than paradata-only weighting adjustments. However, for the majority of weighted survey estimates, including the administrative variables in the weighting adjustment procedure has minimal impact on the point estimates and their variances. We conclude with a general discussion of these findings and comment on the logistical issues associated with this type of linkage relevant to survey practice." (Author's abstract, IAB-Doku) ((en))

Zitatform

West, Brady T. & Mark Trappmann (2019): Effective strategies for recording interviewer observations: evidence from the PASS Study in Germany. In: Survey Methods: Insights from the Field H. 22.10.2019, S. 1-9., 2019-10-22. DOI:10.13094/SMIF-2019-00021

Abstract

"This article investigates how different strategies used by interviewers when recording interviewer observations relate to observation accuracy. Before conducting interviews in a refreshment sample of the general population for the German PASS panel study, interviewers were asked to observe one key target variable of the study -- whether a household is at risk of poverty or not -- for all sampled households. In addition, interviewers recorded what strategies they had used to make their observations. For responding households, we assessed the accuracy of the observation by comparing it to an actual survey measure of poverty risk. Separate multilevel regression models attempting to explain the observed interviewer variance in observation accuracy for two types of households (those at risk and not at risk of poverty) using case-level strategies and aggregate interviewer tendencies reveal unique strategies that result in more accurate observations for each type of household. An aggregate fixed-effects model then reveals strategies that prove to be effective regardless of the type of household when accounting for unobserved interviewer heterogeneity." (Author's abstract, IAB-Doku) ((en))

Zitatform

Bach, Ruben L. & Stephanie Eckmann (2018): Participating in a panel survey. Changes respondents' labour market behaviour. In: Journal of the Royal Statistical Society. Series A, Statistics in Society, Jg. 17, H. 3, S. 443-456., 2018-03-01. DOI:10.1111/rssa.12367

Zitatform

Bruckmeier, Kerstin, Katrin Hohmeyer & Stefan Schwarz (2018): Welfare receipt misreporting in survey data and its consequences for state dependence estimates: new insights from linked administrative and survey data. In: Journal for labour market research, Jg. 52, S. 1-21., 2018-12-06. DOI:10.1186/s12651-018-0250-z

Abstract

"In many advanced welfare states, welfare recipients often receive benefits for long periods. This persistence of welfare receipt can be caused by two distinct mechanisms: genuine or spurious state dependence. Knowledge of which of the two mechanisms drives the observed state dependence is important because the policy implications are different. Most of the empirical evidence on state dependence relies on survey data. However, survey data on welfare receipt are subject to substantial measurement error (i.e., misreporting of welfare benefit receipt), which may also bias state dependence estimates. This paper uses rich linked survey and administrative data to measure the effect of misreporting in the survey data on the estimated state dependence in welfare receipt in Germany. We find a rate of underreporting of welfare benefits of 8.6%. Recipients with relatively good labour market chances tend to underreport benefits more frequently. Overreporting benefits is less pronounced with a rate of 1.6%. Within the survey data, we observe more transitions into and out of the welfare system. However, our estimates of state dependence in welfare receipt based on a dynamic random effects model reveal that the effect of misreporting on estimated state dependence is small, even when we distinguish between working and non-working recipients in the model." (Author's abstract, © Springer-Verlag) ((en))

Zitatform

Bähr, Sebastian, Georg-Christoph Haas, Florian Keusch, Frauke Kreuter & Mark Trappmann (2018): IAB-SMART-Studie: Mit dem Smartphone den Arbeitsmarkt erforschen. In: IAB-Forum H. 09.01.2018, o. Sz., 2018-01-04.

Abstract

"Smartphones sind mittlerweile für die meisten Menschen selbstverständlicher Bestandteil des Alltags. Erhebliche Teile der täglichen Kommunikation finden damit statt - das gilt nicht nur im Privaten, sondern auch im beruflichen Kontext. Auch Arbeitsplätze werden durch internetfähige Smartphones mehr und mehr mobil. Selbst bei der Jobsuche sind Smartphone und die Nutzung von Apps heute für viele nicht mehr wegzudenken. Für ein Forscherteam des Instituts für Arbeitsmarkt- und Berufsforschung (IAB) Anlass genug, eine neue Studie aufzusetzen, um die Möglichkeiten dieses Mediums für die wissenschaftliche Forschung auszuloten." (Autorenreferat, IAB-Doku)

Zitatform

Du, Shihan, Pia Homrighausen & Ralf A. Wilke (2018): On omitted variables, proxies and unobserved effects in analysis of administrative labour market data. (FDZ-Methodenreport 06/2018 (en)), Nürnberg, 38 S. DOI:10.5164/IAB.FDZM.1806.en.v1

Abstract

"Empirical research addresses omitted variable bias in regression analysis by means of various approaches. We present a framework that nests some of them and put it to German linked administrative labour market data. We find evidence for sizable omitted variable bias in a wage regression, while a labour market transition model appears to be less affected. Additional survey variables contribute only to the wage model, while the use of work history variables and panel models lead to changes in coefficients in the two models. Overall, unobserved effects panel data models with a restricted regressor set are found to control for more information than cross sectional analysis with an extended variable set." (Author's abstract, IAB-Doku) ((en))

Zitatform

Felderer, Barbara, Gerrit Müller, Frauke Kreuter & Joachim Winter (2018): The effect of differential incentives on attrition bias. Evidence from the PASS Wave 3 incentive experiment. In: Field Methods, Jg. 30, H. 1, S. 56-69., 2017-03-30. DOI:10.1177/1525822X17726206

Abstract

"Respondent incentives are widely used to increase response rates, but their effect on nonresponse bias has not been researched as much. To contribute to the research, we analyze an incentive experiment embedded within the third wave of the German household panel survey 'Panel Labor Market and Social Security' conducted by the German Institute for Employment Research. Our question is whether attrition bias differs in two incentive plans. In particular, we want to study whether an unconditional EURO10 cash incentive yields less attrition bias in self-reported labor income and other sociodemographics than a conditional lottery ticket incentive. We find that unconditional cash incentives are more effective than conditional lottery tickets in reducing attrition bias in income and several sociodemographic variables." (Author's abstract, IAB-Doku) ((en))

Zitatform

Gessendorfer, Jonathan, Jonas Beste, Jörg Drechsler & Joseph Sakshaug (2018): Statistical matching as a supplement to record linkage. A valuable method to tackle nonconsent bias? In: Journal of official statistics, Jg. 34, H. 4, S. 909-933., 2018-06-20. DOI:10.2478/jos-2018-0045

Abstract

"Record linkage has become an important tool for increasing research opportunities in the social sciences. Surveys that perform record linkage to administrative records are often required to obtain informed consent from respondents prior to linkage. A major concern is that nonconsent could introduce biases in analyses based on the linked data. One straightforward strategy to overcome the missing data problem created by nonconsent is to match nonconsenters with statistically similar units in the target administrative database. To assess the effectiveness of statistical matching in this context, we use data from two German panel surveys that have been linked to an administrative database of the German Federal Employment Agency. We evaluate the statistical matching procedure under various artificial nonconsent scenarios and show that the method can be effective in reducing nonconsent biases in marginal distributions, but that biases in multivariate estimates can sometimes be worsened. We discuss the implications of these findings for survey practice and elaborate on some of the practical challenges of implementing the statistical matching procedure in the context of linkage nonconsent. The developed simulation design can act as a roadmap for other statistical agencies considering the proposed approach for their data." (Author's abstract, IAB-Doku) ((en))