Kurzbeschreibung

Die Verfügbarkeit und Nutzung KI-basierter bzw. maschineller Übersetzungswerkzeuge wie Google Translate und DeepL hat in den letzten Jahren stark zugenommen. Viele Webbrowser, darunter Chrome, Safari und Firefox, integrieren mittlerweile Plugins, die ganze Webseiten automatisch in die bevorzugte Sprache der Nutzer übersetzen. Diese Entwicklungen haben die Zugänglichkeit für Personen erheblich verbessert, deren Muttersprache von der primären Landessprache abweicht. Gleichzeitig stellt die weit verbreitete Nutzung dieser Werkzeuge jedoch neue Herausforderungen für die Durchführung von selbstadministrierten Online-Befragungen dar. Der TRAPD-Ansatz (Translation, Review, Adjudication, Pretesting, and Documentation) gilt als Goldstandard für die Übersetzung von Fragebögen. Er legt besonderen Wert auf standardisierte Formulierungen und die Einhaltung strikter sprachlicher Protokolle. Die zunehmende Nutzung von Online-Übersetzungswerkzeugen erschwert jedoch diese etablierten Praktiken, insbesondere bei selbstadministrierten Online-Befragungen. In diesen Befragungen bleibt die Verwendung solcher Tools durch die Befragten oft unbemerkt, was Bedenken hinsichtlich der Auswirkungen auf die Datenqualität aufwirft. Um zu verstehen, wie diese Technologien die Datenqualität beeinflussen, ist es notwendig zu ermitteln, ob Befragte während einer Befragung Übersetzungswerkzeuge nutzen, und Software einzusetzen, die die Aktivierung von Browser-Plugins erkennen kann. In 2023 startete das Institut für Arbeitsmarkt- und Berufsforschung (IAB) eine neue Online-Panelbefragung der deutschen Erwerbsbevölkerung (IAB-OPAL) mit einem Push-to-Web-Ansatz. Diese Befragung umfasst eine gezielte überproportionale Ziehung von Geflüchteten und Migrant:innen aus nichteuropäischen Ländern, die kürzlich nach Deutschland gekommen sind. Angesichts der sprachlichen Vielfalt der Befragten wurde ein spezielles Fragebogenmodul entwickelt, begleitet von einem Experiment, das die Auswirkungen von Online-Übersetzungswerkzeuge auf Online-Befragungen untersucht. Die Befragten wurden zur Nutzung derartiger Werkzeuge, zur Häufigkeit der Nutzung während einer Befragung, zu den genutzten Übersetzungswerkzeugen sowie zu den ausgewählten Zielsprachen befragt. Die meisten Softwarelösungen für Online-Befragungen erlauben die Nutzung von browserbasierten Übersetzungsplugins. Wir entwickelten eine technische Lösung, die diese Plugins daran hindert, den Inhalt des Fragebogens zu übersetzen, einschließlich der Fragetexte, erklärenden Hinweise und Antwortskalen. Im Rahmen eines experimentellen Designs wurden bei einer Experimentalgruppe fünf Fragen gezielt von der Übersetzung ausgeschlossen, während die Kontrollgruppe uneingeschränkt Zugang zu den Übersetzungsfunktionen hatte. Durch den Vergleich dieser beiden Gruppen und die Analyse der Selbstauskunft der Befragten zur Nutzung von Übersetzungswerkzeugen können wir die Auswirkungen von Online-Übersetzungswerkzeugen auf zentrale Indikatoren der Datenqualität bewerten. Unser experimenteller Ansatz stellt einen ersten systematischen Versuch dar, die Auswirkungen KI-basierter Online-Übersetzungswerkzeuge auf die Datenqualität in Online-Befragungen zu evaluieren. Unsere Ergebnisse tragen dazu bei, das Verständnis dafür zu vertiefen, wie diese Werkzeuge mit etablierten Umfragemethoden interagieren, insbesondere in einsprachigen Online-Befragungen mit sprachlich heterogenen Befragten. Darüber hinaus zeigt unsere Forschung die Notwendigkeit zu methodischen Innovationen im Bereich der Online-Befragungen, um weiterhin die Datenqualität selbstadministrierter Online-Befragungen sicherzustellen.