Zitatform

Jesske, Birgit, Sabine Schulz & Sabrina Torregroza (2025): Panel Arbeitsmarkt und Soziale Sicherung PASS Websurvey 2024 (Haupterhebung). (FDZ-Methodenreport 09/2025), Nürnberg, 33 S., Anhang. DOI:10.5164/IAB.FDZM.2509.de.v1

Abstract

"Das Institut für Arbeitsmarkt- und Berufsforschung (IAB) hat 2006 eine Studie im Niedrigeinkommensbereich (IAB-Haushaltspanel) aufgesetzt, die eine neue Datengrundlage für die Funktionsweise und Folgen des neuen Sozialsystems SGB II in privaten Haushalten in Deutschland schaffen soll. Die als Panel angelegte Studie erfasst über einen längeren Zeitraum hinweg Lebens- und Problemlagen von sowohl Leistungsbeziehenden als auch einer Kontrollgruppe. Befragt werden alle Personen ab 15 Jahren in ausgewählten Haushalten. In der 16. Erhebungswelle wurde erstmalig der Einstieg in die selbstadministrierte Erhebung im Webmodus getestet. Mit diesem Modus ergibt sich für PASS einerseits die Option zusätzliche Module zu erheben, die zur Kürzung des Fragebogenprogramms der jährlichen Panelerhebung beitragen könnten. Andererseits sollen die optimalen Abläufe bei der Durchführung von Webbefragungen in der PASS-Zielgruppe sowie die Erreichbarkeit und Akzeptanz der Panelteilnehmerinnen und -teilnehmer erprobt werden. Im Anschluss an die Welle 18 erfolgte nun die Durchführung des zweiten Websurveys im PASS. Die Zielgruppe des Websurveys bilden dabei alle Teilnehmerinnen und Teilnehmer der Welle 18. Diese erhielten postalisch und flankierend per E-Mail einen persönlichen Zugangslink zu dem kurzen Online-Fragebogen. Die Durchführung des Websurveys erfolgte zwischen Ende Oktober und Anfang Dezember 2024. Mit dem vorliegenden Bericht werden alle Schritte der Haupterhebung des Websurveys und die daraus resultierenden Feldergebnisse beschrieben. Die angebotenen Daten für Nutzerinnen und Nutzer und deren Aufbereitung werden in einem eigenen Datenreport dokumentiert. Der Haupterhebung des Websurveys wurde ein Pretest vorgeschaltet, für den die Preteststichprobe der Panelerhebung aus Welle 18 zum Einsatz kam." (Autorenreferat, IAB-Doku)

Zitatform

Stein, Annika, Tobias Gummer, Elias Naumann, Björn Rohr, Henning Silber, Roman Auriga, Michael Bergmann, Arne Bethmann, Michael Blohm, Carina Cornesse, Pablo Christmann, Mustafa Coban, Jean Philippe Décieux, Britta Gauly, Caroline Hahn, Susanne Helmschrott, Oshrat Hochman, Johannes Lemcke, Dörte Naber, Steffen Pötzschke, Joss Roßmann, Jan-Lucas Schanze, Tobias Schmidt, Silke L. Schneider, Heike Spangenberg, Tobias Rettig, Bernd Weiß, Mark Trappmann & Michael Weinhardt (2025): Education bias in probability-based surveys in Germany: evidence and possible solutions. In: International Journal of Social Research Methodology, S. 1-18. DOI:10.1080/13645579.2025.2508889

Abstract

"This paper outlines two studies on education bias in German probability-based surveys. Study 1 reviews data from 67 surveys across 19 survey programs conducted in Germany from 2000 to 2023. We found a consistent underrepresentation of individuals with a low level of formal education. We also found that the transition to self-administered modes due to rising survey costs may exacerbate this bias in the future. In study 2, we use the results of a workshop with experts on probability-based surveys, to discuss various strategies to deal with this bias, including increased face-to-face contacts and incentives, while emphasizing the need for research on adapting survey designs. Our findings underscore the urgency for further research to understand the nonparticipation mechanisms among less educated individuals and develop effective countermeasures. We advocate for collaborative efforts among survey researchers, cross-country comparative research, and consideration of potential trade-offs with other data quality dimensions." (Author's abstract, IAB-Doku) ((en))

Zitatform

Pehle, Sebastian (2023): Mechanismen, Auswirkungen und Korrekturmöglichkeiten von fehlenden Daten. Bochum: Ruhr-Universität Bochum Universitätsbibliothek, 305 S. DOI:10.13154/294-10526

Abstract

"Die Dissertation untersucht anhand des Fallbeispiels der Einkommenserfassung in sozialwissenschaftlichen Befragungen die Mechanismen, Auswirkungen und Korrekturmöglichkeiten von fehlenden Daten. Als Grund für das Fehlen von Antwortangaben lässt sich fehlendes Wissen der Befragten mit einer fehlenden Antwortbereitschaft kontrastieren. Beide Gründe haben differenzierbare Mechanismen und Folgen für das Bild der durch diese Datenbasis ermittelte Einkommensverteilung in der Stichprobe als Surrogat für die interessierende Grundgesamtheit. Die Arbeit bettet diese Problematik in ein theoretisches Grundgerüst ein und identifiziert zunächst systematische Gründe für das Fehlen von Antworten aufgrund von Nichtwissen gegenüber Verweigerung. Das Ausmaß einer möglichen Verzerrung wird durch die Anwendung von verschiedenen Imputationsmethoden und die Betrachtung einer Vielzahl von Verteilungsparameter sowie Armuts- und Ungleichheitsindikatoren bilanziert." (Autorenreferat, IAB-Doku)

Zitatform

Sakshaug, Joseph, Jonas Beste & Mark Trappmann (2023): Effects of mixing modes on nonresponse and measurement error in an economic panel survey. In: Journal for labour market research, Jg. 57, 2022-12-05. DOI:10.1186/s12651-022-00328-1

Abstract

"Numerous panel surveys around the world use multiple modes of data collection to recruit and interview respondents. Previous studies have shown that mixed-mode data collection can improve response rates, reduce nonresponse bias, and reduce survey costs. However, these advantages come at the expense of potential measurement differences between modes. A major challenge in survey research is disentangling measurement error biases from nonresponse biases in order to study how mixing modes affects the development of both error sources over time. In this article, we use linked administrative data to disentangle both nonresponse and measurement error biases in the long-running mixed-mode economic panel study “Labour Market and Social Security” (PASS). Through this study design we answer the question of whether mixing modes reduces nonresponse and measurement error biases compared to a single-mode design. In short, we find that mixing modes reduces nonresponse bias for most variables, particularly in later waves, with only small effects on measurement error bias. The total bias and mean-squared error are both reduced under the mixed-mode design compared to the counterfactual single-mode design, which is a reassuring finding for mixed-mode economic panel surveys." (Author's abstract, IAB-Doku, © Springer-Verlag) ((en))

Zitatform

Keusch, Florian, Sebastian Bähr, Georg-Christoph Haas, Frauke Kreuter, Mark Trappmann & Stephanie Eckman (2022): Non-participation in smartphone data collection using research apps. In: Journal of the Royal Statistical Society. Series A, Statistics in Society, Jg. 185, H. Suppl. 2, S. S225-S245., 2022-01-25. DOI:10.1111/rssa.12827

Abstract

"Research apps allow to administer survey questions and passively collect smartphone data, thus providing rich information on individual and social behaviours. Agreeing to this novel form of data collection requires multiple consent steps, and little is known about the effect of non-participation. We invited 4,293 Android smartphone owners from the German Panel Study Labour Market and Social Security (PASS) to download the IAB-SMART app. The app collected data over six months through (a) short in-app surveys and (b) five passive mobile data collection functions. The rich information on PASS members from previous survey waves allows us to compare participants and non-participants in the IAB-SMART study at the individual stages of the participation process and across the different types of data collected. We find that 14.5 percent of the invited smartphone users installed the app, between 12.2 and 13.4 percent provided the different types of passively collected data, and 10.8 percent provided all types of data at least once. Likelihood to participate was smaller among women, decreased with age and increased with educational attainment, German citizenship, and PASS tenure. We find non-participation bias in substantive variables, including overestimation of social media usage and social network size and underestimation of non-working status." (Author's abstract, © 2022 John Wiley & Sons) ((en))

Zitatform

Sakshaug, Joseph & Manfred Antoni (2019): Evaluating the utility of indirectly linked federal administrative records for nonresponse bias adjustment. In: Journal of Survey Statistics and Methodology, Jg. 7, H. 2, S. 227-249., 2018-03-09. DOI:10.1093/jssam/smy009

Abstract

"Survey researchers are actively seeking powerful auxiliary data sources capable of correcting for possible nonresponse bias in survey estimates of the general population. While several auxiliary data options exist, concerns about their usefulness for addressing nonresponse bias remain. One underutilized - but potentially rich - source of auxiliary data for nonresponse bias adjustment is federal administrative records. While federal records are routinely used to study nonresponse in countries where it is possible to directly link them (via a unique identifier) to population-based samples, such records are not widely used for this purpose in countries which lack a unique identifier to facilitate direct linkage. In this article, we examine the utility of indirectly linked administrative data from a federal employment database for nonresponse bias adjustment in a general population survey in Germany. In short, we find that the linked administrative variables have stronger correlations with the substantive survey variables than do standard paradata variables and that incorporating linked administrative data in nonresponse weighting adjustments reduces relative nonresponse bias to a greater extent than paradata-only weighting adjustments. However, for the majority of weighted survey estimates, including the administrative variables in the weighting adjustment procedure has minimal impact on the point estimates and their variances. We conclude with a general discussion of these findings and comment on the logistical issues associated with this type of linkage relevant to survey practice." (Author's abstract, IAB-Doku) ((en))

Zitatform

Gessendorfer, Jonathan, Jonas Beste, Jörg Drechsler & Joseph Sakshaug (2018): Statistical matching as a supplement to record linkage. A valuable method to tackle nonconsent bias? In: Journal of official statistics, Jg. 34, H. 4, S. 909-933., 2018-06-20. DOI:10.2478/jos-2018-0045

Abstract

"Record linkage has become an important tool for increasing research opportunities in the social sciences. Surveys that perform record linkage to administrative records are often required to obtain informed consent from respondents prior to linkage. A major concern is that nonconsent could introduce biases in analyses based on the linked data. One straightforward strategy to overcome the missing data problem created by nonconsent is to match nonconsenters with statistically similar units in the target administrative database. To assess the effectiveness of statistical matching in this context, we use data from two German panel surveys that have been linked to an administrative database of the German Federal Employment Agency. We evaluate the statistical matching procedure under various artificial nonconsent scenarios and show that the method can be effective in reducing nonconsent biases in marginal distributions, but that biases in multivariate estimates can sometimes be worsened. We discuss the implications of these findings for survey practice and elaborate on some of the practical challenges of implementing the statistical matching procedure in the context of linkage nonconsent. The developed simulation design can act as a roadmap for other statistical agencies considering the proposed approach for their data." (Author's abstract, IAB-Doku) ((en))

Zitatform

Speidel, Matthias, Jörg Drechsler & Shahab Jolani (2018): R package hmi: a convenient tool for hierarchical multiple imputation and beyond. (IAB-Discussion Paper 16/2018), Nürnberg, 55 S.

Abstract

"Anwendungen von Multipler Imputation sind längst über den klassischen Kontext der Behandlung von fehlenden Beobachtungen in Querschnittsstudien herausgewachsen. Heutzutage wird Multiple Imputation auch verwendet um fehlenden Werten in hierarchischen Datensätzen zu imputieren, um Vertraulichkeits-Interessen zu begegnen, um Datensätze aus verschiedenen Quellen zu kombinieren oder um Messfehler aus Erhebungen zu korrigieren. Die meiste Imputationssoftware kann allerdings nur mit fehlenden Beobachtungen in Querschnittsdaten umgehen und Erweiterungen für hierarchische Daten - sofern überhaupt vorhanden - sind typischerweise in ihrem Umfang begrenzt. Unserem Kenntnisstand nach, ist aktuell keine Software für den Umgang mit Messfehlern, basierend auf Multiplen Imputationsmethoden, vorhanden. Das R-Packet hmi versucht einige dieser Lücken zu schließen. Es bietet Multiple Imputationsroutinen in hierarchischen Settings für viele Variablentypen (zum Beispiel nominal, ordinal oder stetige Variablen). Zudem stellt es Imputationsmethoden für Intervalldaten bereit und behandelt ein übliches Messfehlerproblem in Befragungsdaten: Verzerrungen aufgrund impliziten Rundens der berichteten Werte. Der nutzerfreundliche Aufbau, der nur die Daten und optional eine Spezifizierung des Analysemodels benötigt, macht das Paket besonders attraktiv für Nutzer die weniger vertraut mit den Besonderheiten von Multipler Imputation sind. Die Kompatibilität mit dem populären Paket mice stellt sicher, dass der reichhaltige Satz an Analyse- und Diagnosewerkzeugen, und Befehlen für das Imputationsergebnis aus mice, einfach angewandt werden kann, sobald die Daten imputiert wurden." (Autorenreferat, IAB-Doku)

Zitatform

Bach, Ruben L. & Stephanie Eckman (2017): Does participating in a panel survey change respondents' labor market behavior? (IAB-Discussion Paper 15/2017), Nürnberg, 31 S.

Abstract

"Die wiederholte Teilnahme an Längsschnittstudien kann zu unbeabsichtigten Verhaltensänderungen und/oder Änderungen im Antwortverhalten der Teilnehmer führen. Um solchen Verhaltensänderungen nachzugehen, haben wir Umfragedaten der Längsschnittstudie PASS mit administrativen Daten verknüpft und schätzen mittels Instrumentenvariablen den kausalen Effekt der wiederholten Umfrageteilnahme auf die Teilnahme an Maßnahmen der aktiven Arbeitsmarktpolitik. Die Ergebnisse deuten darauf hin, dass Umfrageteilnehmer aufgrund der (mehrmaligen) Teilnahme an der Befragung an weniger Maßnahmen der aktiven Arbeitsmarktpolitik teilnehmen. Diese Resultate verdeutlichen, dass die wiederholte Teilnahme an Längsschnittbefragungen sich nicht nur auf das Antwortverhalten der Teilnehmer auswirken kann, sondern auch auf deren tatsächliches Verhalten." (Autorenreferat, IAB-Doku)

Zitatform

Plass, Julia, Marco E. G. V. Cattaneo, Georg Schollmeyer & Thomas Augustin (2017): Testing of coarsening mechanisms: Coarsening at random versus subgroup independence. In: M. B. Ferraro, P. Giordani, B. Vantaggi, M. Gagolewski, M. Ángeles Gil, P. Grzegorzewski & O. Hryniewicz (Hrsg.) (2017): Soft methods for data science (Advances in Intelligent Systems and Computing, 456), S. 415-422. DOI:10.1007/978-3-319-42972-4_51

Abstract

"Since coarse(ned) data naturally induce set-valued estimators, analysts often assume coarsening at random (CAR) to force them to be single-valued. Using the PASS data as an example, we re-illustrate the impossibility to test CAR and contrast it to another type of uninformative coarsening called subgroup independence (SI). It turns out that SI is testable." (Author's abstract, IAB-Doku) ((en))

Zitatform

Plass, Julia, Marco Cattaneo, Thomas Augustin, Georg Schollmeyer & Christian Heumann (2017): Towards a reliable categorical regression analysis for non-randomly coarsened observations. An analysis with German labour market data. (Department of Statistics: Technical Reports 206), München, 26 S.

Abstract

"In most surveys, one is confronted with missing or, more generally, coarse data. Many methods dealing with these data make strong, untestable assumptions, e.g. coarsening at random. But due to the potentially resulting severe bias, interest increases in approaches that only include tenable knowledge about the coarsening process, leading to imprecise, but credible results. We elaborate such cautious methods for regression analysis with a coarse categorical dependent variable and precisely observed categorical covariates. Our cautious results from the German panel study 'Labour market and social security'' illustrate that traditional methods may even pretend specific signs of the regression estimates." (Author's abstract, IAB-Doku) ((en))

Zitatform

Plass, J., M. Cattaneo, G. Schollmeyer & T. Augustin (2017): On the testability of coarsening assumptions. A hypothesis test for subgroup independence. In: International Journal of Approximate Reasoning, Jg. 90, H. November, S. 292-306. DOI:10.1016/j.ijar.2017.07.014

Zitatform

Sakshaug, Joseph, Manfred Antoni & Reinhard Sauckel (2017): The quality and selectivity of linking federal administrative records to respondents and nonrespondents in a general population survey in Germany. In: Survey research methods, Jg. 11, H. 1, S. 63-80., 2016-09-29. DOI:10.18148/srm/2017.v11i1.6718

Abstract

"Various forms of auxiliary information are being sought to augment survey samples and adjust for possible nonresponse bias in key survey estimates. Auxiliary data options are typically limited in most general population surveys and there are questions concerning their utility for nonresponse bias evaluation and adjustment. Federal administrative databases provide a potentially rich source of auxiliary information for nonresponse purposes, but linking them to general population samples is usually restricted to surveys which draw their samples from population registers containing unique personal identity numbers which can be directly linked to federal databases containing more detailed substantive information. In this article, we examine the quality and selectivity of augmenting a federal administrative database to a general population survey when such a unique personal identifier is not available. We employ a series of standard linkage procedures that rely instead on non-unique and error-prone identifiers collected from the sampling frame to link a federal employment database to a general population survey in Germany. The quality and selectivity of the established links are evaluated using household- and person-level interview data in accordance with German data protection laws. We report a linkage rate of 60 percent for the entire sample under a strict linkage criterion, and 80 percent under a more relaxed criterion. We find that linkage rates vary across some household- and person-level characteristics that are likely specific to the particular administrative database used in this case study. We conclude with a general discussion of the practical implications of this work for survey organizations considering performing similar linkages and highlight some opportunities for future research." (Author's abstract, IAB-Doku) ((en))

Zitatform

Drechsler, Jörg & Hans Kiesl (2016): Beat the heap: An imputation strategy for valid inferences from rounded income data. In: Journal of Survey Statistics and Methodology, Jg. 4, H. 1, S. 22-42., 2015-08-29. DOI:10.1093/jssam/smv032

Abstract

"Befragungen zu Einkommensverhältnissen sind typischerweise von zwei Fehlerquellen betroffen, die zu Verzerrungen führen können, wenn sie bei der Analyse nicht berücksichtigt werden: Auf der einen Seite gilt das Einkommen als sensible Information und die Antwortraten zum Einkommen liegen in der Regel niedriger als Antwortraten bei anderen nicht sensiblen Fragen. Auf der anderen Seiten können sich die Befragten in aller Regel nicht genau an ihr exaktes Einkommen erinnern und geben daher einen gerundeten Wert an. Die negativen Auswirkungen des Antwortausfalls sind bereits gründlich untersucht worden und die meisten datenbereitstellenden Institutionen haben bereits Imputationsmethoden implementiert um möglichen Verzerrungen durch den Ausfall entegegenzuwirken. Im Gegensatz dazu werden die Auswirkungen des Rundens nach unserer Kenntnis bisher in der Praxis weitestgehend vernachlässigt, obwohl etliche Studien deutlich gezeigt haben, dass die meisten Befragten Ihrer Einkommensangaben runden. In diesem Papier veranschaulichen wir den starken Einfluss, den dieses Runden auf wichtige Kennziffern wie die Armutsquote haben kann. Um unverzerrte Schätzergebnisse zu erhalten, stellen wir ein zweistufiges Imputationsverfahren vor, bei dem in einem ersten Schritt gegeben das beobachtete Einkommen die a posteriori Wahrscheinlichkeit zu Runden geschätzt wird. In einem zweiten Schritt wird dann das tatsächliche Einkommen unter den bestimmten Rundungswahrscheinlichkeiten imputiert. Anhand einer Simulationsstudie illustrieren wir, dass es mit diesem Verfahren möglich ist, unverzerrte Schätzergebnisse zu gewinnen. Darüber hinaus präsentieren wir Ergebnisse auf Basis der IAB Längsschnittstudie 'Panel Arbeitsmarkt und Soziale Sicherung (PASS)'." (Autorenreferat, IAB-Doku)

Zitatform

Jesske, Birgit, Petra Knerr & Sabine Schulz (2016): Methodenbericht Panel Arbeitsmarkt und Soziale Sicherung PASS. 9. Erhebungswelle - 2015 (Haupterhebung). (FDZ-Methodenreport 04/2016 (de)), Nürnberg, 148 S.

Abstract

"Das IAB hat infas im Herbst 2009 mit der Durchführung von PASS ab der vierten Erhebungswelle beauftragt. Der vorliegende Methodenbericht für die Welle 9 beschreibt die Zusammensetzung der Stichprobe aus Bestands- und Auffrischungsadressen (Kapitel 3), die Befragungspersonen der Studie (Kapitel 2) und geht auf die Erhebungsinstrumente ein, die neben den Hauptinstrumenten für Haushalts- und Personen- bzw. Seniorenfragen auch einen Kontaktierungsfragebogen und eine Matrix zur Erfassung der Haushaltszusammensetzung umfassen (Kapitel 4). In Kapitel 5 erfolgt eine ausführliche Beschreibung der Durchführung der Erhebungen sowie eine Dokumentation der Feldergebnisse der Erhebungswelle 9 in Kapitel 6. Kapitel 7 dieses Methodenberichts enthält eine detaillierte Beschreibung über den eingesetzten Interviewerstab und die Qualitätssicherung während der Feldphase.
Der vorliegende Methodenbericht enthält alle Schritte der Haupterhebung der Welle 9. Der Haupterhebung war ein gesonderter Pretest vorgeschaltet. Die Arbeiten und Ergebnisse dieses Pretests sind in einem Pretestbericht gesondert dokumentiert.
Neben der Durchführung der Felderhebungen hat das IAB infas mit der Datenaufbereitung und der Gewichtung beauftragt. Die weiteren Schritte für Datenaufbereitung und Gewichtung der Welle 9 werden im wellenspezifischen Datenreport ausführlich beschrieben und dokumentiert." (Autorenreferat, IAB-Doku)

Zitatform

Bruckmeier, Kerstin, Gerrit Müller & Regina T. Riphahn (2015): Survey misreporting of welfare receipt. Respondent, interviewer, and interview characteristics. In: Economics Letters, Jg. 129, H. April, S. 103-107., 2015-02-05. DOI:10.1016/j.econlet.2015.02.006

Abstract

"We use matched survey and administrative data to study interviewer and interview related determinants of misreporting on welfare receipt in interviews. In our data, 12.2 % of German welfare recipients underreport benefit receipt. We find that underreporting is more likely in formal and standardized interviews compared to those with a more conversational character. Further, low interviewer education and matched interviewer - respondent characteristics with respect to immigration and education are associated with higher reporting quality." (Author's abstract, IAB-Doku) ((en))

Zitatform

Drechsler, Jörg, Hans Kiesl & Matthias Speidel (2015): MI double feature: Multiple imputation to address nonresponse and rounding errors in income questions. In: Austrian Journal of Statistics, Jg. 44, H. 2, S. 59-71., 2014-11-21. DOI:10.17713/ajs.v44i2.77

Abstract

"Obtaining reliable income information in surveys is difficult for two reasons. On the one hand, many survey respondents consider income to be sensitive information and thus are reluctant to answer questions regarding their income. If those survey participants that do not provide information on their income are systematically different from the respondents (and there is ample of research indicating that they are) results based only on the observed income values will be misleading. On the other hand, respondents tend to round their income. Especially this second source of error is usually ignored when analyzing the income information. In a recent paper, Drechsler and Kiesl (2014) illustrated that inferences based on the collected information can be biased if the rounding is ignored and suggested a multiple imputation strategy to account for the rounding in reported income. In this paper we extend their approach to also address the nonresponse problem. We illustrate the approach using the household income variable from the German panel study 'Labor Market and Social Security'." (Author's abstract, IAB-Doku) ((en))

Zitatform

Eggs, Johannes & Annette Jäckle (2015): Dependent interviewing and sub-optimal responding. In: Survey research methods, Jg. 9, H. 1, S. 15-29., 2015-02-16. DOI:10.18148/srm/2015.v9i1.5860

Abstract

"With proactive dependent interviewing respondents are reminded of the answer they gave in the previous interview, before being asked about their current status. We examine the risk that respondents falsely confirm the answers from the previous interview as still applying, using data from a panel survey in which preload data about receipt of welfare benefit contained errors. A large proportion of respondents confirmed the false preload. Respondents with a more complex history of receipt, according to linked administrative records, were more likely to confirm. Personality also seemed to matter. Predictors of satisficing and characteristics of the survey and interviewer were not predictive of confirming the false preload." (Author's abstract, IAB-Doku) ((en))

Zitatform

Kreuter, Frauke & Gerrit Müller (2015): A note on improving process efficiency in panel surveys with paradata. In: Field Methods, Jg. 27, H. 1, S. 55-65., 2013-04-16. DOI:10.1177/1525822X14538205

Abstract

"Call scheduling is a challenge for surveys around the world. Unlike cross-sectional surveys, panel surveys are in the position to use information from prior waves to enhance call scheduling algorithms. Past observational studies showed the benefit of calling panel cases at times that had been successful in the past. This paper is the first to experimentally assign panel cases to previously beneficial call windows. The results from a large scale national survey in Germany show modest efficiency gains measured in number of call attempts needed until first contact, but no gains in efficiency to gain cooperation." (Author's abstract, IAB-Doku) ((en))

Zitatform

Pforr, Klaus, Michael Blohm, Annelies G. Blom, Barbara Erdel, Barbara Felderer, Mathis Fräßdorf, Kristin Hajek, Susanne Helmschrott, Corinna Kleinert, Achim Koch, Ulrich Krieger, Martin Kroh, Silke Martin, Denise Saßenroth, Claudia Schmiedeberg, Eva-Maria Trüdinger & Beatrice Rammstedt (2015): Are incentive effects on response rates and nonresponse bias in large-scale, face-to-face surveys generalizable to Germany? Evidence from ten experiments. In: Public Opinion Quarterly, Jg. 79, H. 3, S. 740-768., 2014-09-10. DOI:10.1093/poq/nfv014

Abstract

"In survey research, a consensus has grown regarding the effectiveness of incentives encouraging survey participation across different survey modes and target populations. Most of this research has been based on surveys from the United States, whereas few studies have provided evidence that these results can be generalized to other contexts. This paper is the first to present comprehensive information concerning the effects of incentives on response rates and nonresponse bias across large-scale surveys in Germany. The context could be viewed as a critical test for incentive effects because Germany's population is among the most survey-critical in the world, with very low response rates. Our results suggest positive incentive effects on response rates and patterns of effects that are similar to those in previous research: The effect increased with the monetary value of the incentive; cash incentives affected response propensity more strongly than lottery tickets do; and prepaid incentives could be more cost effective than conditional incentives. We found mixed results for the effects of incentives on nonresponse bias. Regarding large-scale panel surveys, we could not unequivocally confirm that incentives increased response rates in later panel waves." (Author's abstract, IAB-Doku) ((en))

Zitatform

Plass, Julia, Thomas Augustin, Marco E. G. V. Cattaneo & Georg Schollmeyer (2015): Statistical modelling under epistemic data imprecision. Some results on estimating multinomial distributions and logistic regression for coarse categorical data. In: T. Augustin, S. Doria, E. Miranda & E. Quaeghebeur (Hrsg.) (2015): ISIPTA ¿15 Proceedings of the 9th International Symposium on Imprecise Probability : Theories and Applications, S. 247-256.

Abstract

"The paper deals with parameter estimation for categorical data under epistemic data imprecision, where for a part of the data only coarse(ned) versions of the true values are observable. For different observation models formalizing the information available on the coarsening process, we derive the (typically set-valued) maximum likelihood estimators of the underlying distributions. We discuss the homogeneous case of independent and identically distributed variables as well as logistic regression under a categorical covariate. We start with the imprecise point estimator under an observation model describing the coarsening process without any further assumptions. Then we determine several sensitivity parameters that allow the refinement of the estimators in the presence of auxiliary information." (Author's abstract, IAB-Doku) ((en))

Zitatform

Trappmann, Mark, Tobias Gramlich & Alexander Mosthaf (2015): The effect of events between waves on panel attrition. In: Survey research methods, Jg. 9, H. 1, S. 31-43., 2014-11-28. DOI:10.18148/srm/2015.v9i1.5849

Abstract

"Panel surveys suffer from attrition. Most panel studies use propensity models or weighting class approaches to correct for non-random dropout. These models draw on variables measured in a previous wave or from paradata of the study. While it is plausible that they affect contactability and cooperativeness, panel studies usually cannot assess the impact of events between waves on attrition. The amount of change in the population could be seriously underestimated if such events had an effect on participation in subsequent waves. The panel study PASS is a novel dataset for labour market and poverty research. In PASS, survey data on (un)employment histories, income and education of participants are linked to corresponding data from respondents' administrative records. Thus, change can be observed for attritors as well as for continued participants. These data are used to show that change in household composition, employment status or receipt of benefits has an influence on contact and cooperation rates in the following wave. A large part of the effect is due to lower contactability of households who moved. Nevertheless, this effect can lead to biased estimates for the amount of change. After applying the survey's longitudinal weights this bias is reduced, but not entirely eliminated." (Author's abstract, IAB-Doku) ((en))

Zitatform

Bruckmeier, Kerstin, Gerrit Müller & Regina T. Riphahn (2014): Who misreports welfare receipt in surveys? In: Applied Economics Letters, Jg. 21, H. 12, S. 812-816., 2013-12-16. DOI:10.1080/13504851.2013.877566

Abstract

We match survey and administrative data and determine the extent of misreporting on welfare receipt. In our data, 10.5 percent of German welfare recipients underreport and 1 percent overreport benefit receipt. The analysis shows that particularly households who are close to the labor market, without children, and with relatively high household incomes and savings are prone to underreport their welfare receipt. This information is important for the study of transfer programs based on survey data.

Zitatform

Drechsler, Jörg & Hans Kiesl (2014): Beat the heap - an imputation strategy for valid inferences from rounded income data. (IAB-Discussion Paper 02/2014), Nürnberg, 26 S.

Abstract

"Befragungen zu Einkommensverhältnissen sind typischerweise von zwei Fehlerquellen betroffen, die zu Verzerrungen führen können, wenn sie bei der Analyse nicht berücksichtigt werden: Auf der einen Seite gilt das Einkommen als sensible Information und die Antwortraten zum Einkommen liegen in der Regel niedriger als Antwortraten bei anderen nicht sensiblen Fragen. Auf der anderen Seiten können sich die Befragten in aller Regel nicht genau an ihr exaktes Einkommen erinnern und geben daher einen gerundeten Wert an. Die negativen Auswirkungen des Antwortausfalls sind bereits gründlich untersucht worden und die meisten datenbereitstellenden Institutionen haben bereits Imputationsmethoden implementiert um möglichen Verzerrungen durch den Ausfall entegegenzuwirken. Im Gegensatz dazu werden die Auswirkungen des Rundens nach unserer Kenntnis bisher in der Praxis weitestgehend vernachlässigt, obwohl etliche Studien deutlich gezeigt haben, dass die meisten Befragten Ihrer Einkommensangaben runden. In diesem Papier veranschaulichen wir den starken Einfluss, den dieses Runden auf wichtige Kennziffern wie die Armutsquote haben kann. Um unverzerrte Schätzergebnisse zu erhalten, stellen wir ein zweistufiges Imputationsverfahren vor, bei dem in einem ersten Schritt gegeben das beobachtete Einkommen die a posteriori Wahrscheinlichkeit zu Runden geschätzt wird. In einem zweiten Schritt wird dann das tatsächliche Einkommen unter den bestimmten Rundungswahrscheinlichkeiten imputiert. Anhand einer Simulationsstudie illustrieren wir, dass es mit diesem Verfahren möglich ist, unverzerrte Schätzergebnisse zu gewinnen. Darüber hinaus präsentieren wir Ergebnisse auf Basis der IAB Längsschnittstudie 'Panel Arbeitsmarkt und Soziale Sicherung (PASS)'." (Autorenreferat, IAB-Doku)

Zitatform

Eggs, Johannes & Annette Jäckle (2014): Dependent interviewing and sub-optimal responding. (ISER working paper 2014-32), Colchester, 26 S.

Abstract

"With proactive dependent interviewing respondents are reminded of the answer they gave in the previous interview, before being asked about their current status. We examine the risk that respondents falsely confirm the answers from the previous interview as still applying, using data from a panel survey in which preload data about receipt of welfare benefit contained errors. A large proportion of respondents confirmed the false preload. Respondents with a more complex history of receipt, according to linked administrative records, were more likely to confirm. Personality also seemed to matter. Predictors of satisficing and characteristics of the survey and interviewer were not predictive of confirming the false preload." (Author's abstract, IAB-Doku) ((en))

Zitatform

Kreuter, Frauke, Gerrit Müller & Mark Trappmann (2014): A note on mechanisms leading to lower data quality of late or reluctant respondents. In: Sociological Methods and Research, Jg. 43, H. 3, S. 452-464., 2013-08-07. DOI:10.1177/0049124113508094

Abstract

"Survey methodologists worry about trade-offs between nonresponse and measurement error. Past findings indicate that respondents brought into the survey late provide low-quality data. The diminished data quality is often attributed to lack of motivation. Quality is often measured through internal indicators and rarely through true scores. Using administrative data for validation purposes, this article documents increased measurement error as a function of recruitment effort for a large-scale employment survey in Germany. In this case study, the reduction in measurement quality of an important target variable is largely caused by differential measurement error in subpopulations and respective shifts in sample composition, as well as increased cognitive burden through the increased length of recall periods among later respondents. Only small portions of the relationship could be attributed to a lack of motivation among late or reluctant respondents." (Author's abstract, IAB-Doku) ((en))

Zitatform

Sinibaldi, Jennifer, Mark Trappmann & Frauke Kreuter (2014): Which is the better investment for nonresponse adjustment. Purchasing commercial auxiliary data or collecting interviewer observations? In: Public Opinion Quarterly, Jg. 78, H. 2, S. 440-473., 2013-10-16. DOI:10.1093/poq/nfu003

Abstract

"Survey methodologists are searching for covariates to use in nonresponse adjustment models, ultimately hoping to find variables that are highly correlated with both the outcome of interest and the propensity to respond. These covariates can come from auxiliary data that provide information on both respondents and nonrespondents. Two such types of auxiliary data are interviewer observations (a form of paradata) and commercially available data on small areas or households. Interviewer observations intended for use in nonresponse adjustment can be specifically designed to match the outcome variables of interest while commercial data provide a broad set of small area descriptors that may be correlated with multiple outcomes. This analysis examines these two data sources to determine which is more predictive of the outcomes of interest for a particular survey, thereby fulfilling one of the criteria for a good adjustment variable. The outcomes of interest in this analysis are self-reports of household income and receipt of unemployment benefits from a survey of labor market participation. The findings suggest that at this point in time interviewer observations are better at predicting these outcomes, compared to commercial data, particularly in the subpopulation that the survey targets. Therefore, the observations share more (accurate) information with the true value, making them better for adjustment on this dimension. The results will inform both researchers wishing to improve their nonresponse adjustments and survey managers looking to make better use of the survey budget." (Author's abstract, IAB-Doku) ((en))

Zitatform

Durrant, Gabriele B., Julia D'Arrigo & Gerrit Müller (2013): Modeling call record data. Examples from cross-sectional and longitudinal surveys. In: F. Kreuter (Hrsg.) (2013): Improving surveys with paradata : analytic uses of process information, S. 281-308, 2013-04-08.

Abstract

"In face-to-face surveys, often employing a multistage sampling design, clustering due to both interviewers and areas (such as primary sampling units, PSUs) may occur. This chapter focuses on call record data for both face-to-face and telephone interview surveys. The implementation of the methods are illustrated using two example datasets, the UK Census link study dataset, including several UK face-to-face cross-sectional household surveys, and the German PASS longitudinal survey (Panel Study 'Labour Market and Social Security'). For the latter example, the telephone component will be analyzed. The remainder of the chapter is structured as follows. Section 12.2 describes type and structure of call record data. Different modeling approaches are presented in Section 12.3, outlining the multilevel modeling framework. In Section 12.4, the implementation of the methods is illustrated based on two examples. Concluding remarks are made in the final section." (Text excerpt, IAB-Doku) ((en))

Zitatform

Frodermann, Corinna, Katrin Auspurg, Thomas Hinz, Sebastian Bähr, Martin Abraham, Stefanie Gundert & Arne Bethmann (2013): Das Faktorielle Survey-Modul zur Stellenannahmebereitschaft im PASS. 5. Erhebungswelle (2011). (FDZ-Methodenreport 05/2013 (de)), Nürnberg, 44 S.

Abstract

"In Welle 5 der IAB-Panelstudie 'Arbeitsmarkt und soziale Sicherung' (PASS) wurde ein Faktorielles Survey-Modul implementiert, das speziell darauf abzielt, Einflussfaktoren auf berufliche Mobilitätsentscheidungen untersuchen zu können. Knapp 5.000 Befragten wurden in dem Modul jeweils fünf hypothetische, meist überregionale Stellenangebote (Vignetten) präsentiert, die sie in Bezug auf ihre Attraktivität sowie die Wahrscheinlichkeit, die Stelle anzunehmen und dafür an den neuen Arbeitsort umzuziehen, bewerten sollten. In den Stellenangeboten wurden bis zu neun Dimensionen experimentell variiert. Als experimentelles Design hat das Modul den großen Vorteil, unabhängige Schätzungen der Einflussfaktoren, wie etwa dem angebotenen Gehalt oder Aufstiegschancen, zu ermöglichen. Es wird die in realen Arbeitsmarktdaten immer gegebene Selektivität von Arbeitsangeboten (bestimmte Gruppen wie Erwerbstätige oder Arbeitslose erhalten unterschiedlich attraktive Angebote) durch die randomisierte Zuteilung zu den Befragten aufgehoben. Zudem gelten Faktorielle Surveys als weniger abstrakte Beurteilungsaufgabe, was gerade für die Antwortbereitschaft der im PASS überrepräsentierten Befragten mit geringem Bildungshintergrund ein weiterer Vorteil der Methode ist. Der vorliegende FDZ-Methodenbericht gibt einen Überblick über das methodische Design sowie die Qualität und Struktur der Daten. Zunächst werden das konkrete Frageformat und die experimentellen Varianten in den Vignetten beschrieben (Abschnitt 2). Hier finden sich auch Angaben zur Auswahl der Vignetten. Es folgen Erläuterungen zum Befragungsmodus, der Stichprobe, sowie zu einigen praktischen und technischen Details der Umsetzung der Befragung (Abschnitt 3). Daran anschließend werden erste deskriptive Auswertungen zu den realisierten Daten präsentiert, die insbesondere auch ausführliche Übersichten zu den Fallzahlen beinhalten (Abschnitt 4). Zudem werden Hinweise auf mögliche methodische Probleme (etwa Verständnisschwierigkeiten der Befragten oder Item-Non-Response) adressiert (Abschnitt 5). Abschließend folgen eine Beschreibung der vorliegenden Datenformate und erste Empfehlungen für Auswertungsmethoden (Abschnitt 6)." (Autorenreferat, IAB-Doku)

Zitatform

Obermeier, Tim, Stefan Sell & Birte Tiedemann (2013): Messkonzept zur Bestimmung der Zielgruppe für eine öffentlich geförderte Beschäftigung. Methodisches Vorgehen und Ergebnisse der quantitativen Abschätzung. (Remagener Beiträge zur Sozialpolitik 14), Remagen, 36 S.

Abstract

"Maßnahmen der öffentlich geförderten Beschäftigung gelten seit der 'Instrumentenreform' 2012 mit dem Gesetz zur Verbesserung der Eingliederungschancen am Arbeitsmarkt als 'ultima ratio' der aktivierenden Arbeitsmarktpolitik. Öffentlich geförderte Beschäftigung soll sich von einer 'Dauerförderung künstlich geschaffener Arbeitsplätze' verabschieden und nachrangig gegenüber Instrumenten sein, die auf eine unmittelbare Integration in den allgemeinen Arbeitsmarkt zielen. Im Gesetzentwurf der Bundesregierung heißt es, dass die 'Ausrichtung der öffentlich geförderten Beschäftigung auf einen 'arbeitsmarktfernen' Personenkreis zur Aufrechterhaltung und (Wieder)Herstellung der Beschäftigungsfähigkeit geschärft' wird. Über die Größe und Struktur dieses Personenkreises besteht jedoch keine Klarheit. Zudem ist unklar, was arbeitsmarktferne Personen auszeichnet und wer diese Personen sind. Wie viele Personen sind als arbeitsmarktfern zu betrachten und kommen deswegen für Maßnahmen der öffentlich geförderten Beschäftigung in Frage? Die vorliegende Expertise geht dieser Frage nach." (Textauszug, IAB-Doku)

Zitatform

West, Brady T., Frauke Kreuter & Ursula Jaenichen (2013): "Interviewer" effects in face-to-face surveys. A function of sampling, measurement error or nonreponse? In: Journal of official statistics, Jg. 29, H. 2, S. 277-297., 2013-01-31. DOI:10.2478/jos-2013-0023

Abstract

"Recent research has attempted to examine the proportion of interviewer variance that is due to interviewers systematically varying in their success in obtaining cooperation from respondents with varying characteristics (i.e., nonresponse error variance), rather than variance among interviewers in systematic measurement difficulties (i.e., measurement error variance) - that is, whether correlated responses within interviewers arise due to variance among interviewers in the pools of respondents recruited, or variance in interviewer-specific mean response biases. Unfortunately, work to date has only considered data from a CATI survey, and thus suffers from two limitations: Interviewer effects are commonly much smaller in CATI surveys, and, more importantly, sample units are often contacted by several CATI interviewers before a final outcome (response or final refusal) is achieved. The latter introduces difficulties in assigning nonrespondents to interviewers, and thus interviewer variance components are only estimable under strong assumptions. This study aims to replicate this initial work, analyzing data from a national CAPI survey in Germany where CAPI interviewers were responsible for working a fixed subset of cases." (Author's abstract, IAB-Doku) ((en))

Zitatform

Jaenichen, Ursula & Joseph Sakshaug (2012): Multiple imputation of household income in the first wave of PASS. (FDZ-Methodenreport 02/2012 (en)), Nürnberg, 26 S.

Abstract

"Der Bericht fasst die Ergebnisse eines Projekts zusammen, das auf die Vervollständigung des Haushaltseinkommens in der ersten Welle des 'Panel Arbeitsmarkt und Soziale Sicherung' (PASS) mittels multipler Imputation zielt. Der gewählte Imputationsansatz ist eine iterative Prozedur, in der Informationen für befragte und nicht befragte Personen mit Informationen auf Haushaltsebene kombiniert werden. Der Bericht diskutiert die einzelnen Schritte der Imputation und demonstriert einige Qualitätsaspekte der imputierten Daten." (Autorenreferat, IAB-Doku)

Zitatform

West, Brady T. (2010): A practical technique for improving the accuracy of interviewer observations. Evidence from the National Survey of Family Growth. (NSFG Survey methodology working papers 10-013), Michigan, 17 S.

Abstract

"Ideal auxiliary variables for use in post-survey nonresponse adjustments are associated with both survey variables of interest and response propensity. Auxiliary variables having these properties will generally reduce the bias and variance in survey estimates. Unfortunately, auxiliary variables available for both respondents and nonrespondents to a survey request seldom have strong associations with key survey variables in practice. As a result, large face-to-face household surveys have started to request that field interviewers record estimates and judgments about selected characteristics of all sampled housing units. Although these auxiliary variables may be associated with survey variables of interest in theory, they will be prone to measurement error. Large amounts of measurement error in these observations may have negative implications for survey estimators in terms of the bias and variance introduced by the nonresponse adjustments. Practical techniques for reducing the error in these observations are therefore needed in the field. This article presents results from an analysis of an intervention that was implemented prior to the 15th quarter of the recently completed Continuous National Survey of Family Growth (NSFG). The intervention was designed to provide field interviewers with observable predictors of a key auxiliary variable for which they were recording observations. Analysis of the intervention shows evidence of a significant improvement in the quality of the observations. The article concludes with a discussion of directions for future work in this area." (Author's abstract, IAB-Doku) ((en))