Analysing mixed-mode effects of computer assisted telephone and personal interviews: A case study based on survey data from the international social survey programme module on environment

被引:0
作者
Penker, Matthias [1 ,3 ]
Eder, Anja [2 ]
机构
[1] Karl Franzens Univ Graz, Ctr Social Res, Graz, Austria
[2] Karl Franzens Univ Graz, Dept Sociol, Graz, Austria
[3] Karl Franzens Univ Graz, Ctr Social Res, Univ Str 15, A-8010 Graz, Austria
来源
BMS-BULLETIN OF SOCIOLOGICAL METHODOLOGY-BULLETIN DE METHODOLOGIE SOCIOLOGIQUE | 2024年 / 162卷 / 01期
关键词
Bayesian statistics; environmental concern; ISSP; mixed-mode survey; measurement effects; Multi Group Confirmatory Factor Analysis (MGCFA); analyse factorielle confirmatoire multigroupe (MGCFA); effets de mesure; enquete en mode mixte; preoccupation environnementale; statistiques bayesiennes; MEASUREMENT INVARIANCE; WEB;
D O I
10.1177/07591063241236066
中图分类号
C91 [社会学];
学科分类号
030301 ; 1204 ;
摘要
Due to Covid-19 restrictions, surveys often could not be conducted in originally planned face-to-face mode, and switched to online modes or used different mixed-mode designs. A combination of CATI and CAPI was used for the Austrian ISSP survey on Environment 2020/2021 (N=1.261), which in the past had always been conducted face-to-face. Mixed-mode surveys facilitate field access in pandemic times and show potential to reduce non-response and coverage errors (desired selection effect). However, the combination of different modes comes along with a series of risks such as mode-effects causing bias due to measurement effects. From an analytical perspective, the challenge arising is to disentangle selection and measurement effects. Thus, we analyse differences in the factorial structure and response distributions of two social constructs using Bayesian multigroup confirmatory factor analysis and linear regression. These represent institutional trust and the willingness to sacrifice for environmental protection. The findings show support for scalar invariance and therefore the absence of CAPI vs. CATI mode-effects on the factorial structure for both constructs. However, despite adjusting for differences in sample composition we observe a higher average willingness within the CATI sample. Based on these results, we discuss implications for the interpretation of mode effects in mixed mode surveys. Analyse des effets multi-modes d'administration d'un questionnaire par telephone et en face-a-face. Une etude de cas a partir des donnees du module << environnement >> du Programme international d'enquetes sociales (ISSP). En raison des restrictions imposees par le Covid-19, les enquetes n'ont souvent pas pu etre menees dans le mode face-a-face initialement prevu, et ont ete remplacees par des modes en ligne ou ont utilise differents modes mixtes. Une combinaison de CATI et de CAPI a ete utilisee pour l'enquete autrichienne de l'ISSP sur l'environnement 2020/2021 (N=1.261), qui dans le passe a toujours ete menee en face-a-face. Les enquetes en mode mixte ont facilite l'acces au terrain en periode de pandemie et ont permis de reduire les erreurs de non-reponse et de couverture (effet de selection benefique). Toutefois, cette solution n'est pas sans generer une serie de risques, en particulier la construction de biais dus aux effets de mesure (quant a eux non desires). D'un point de vue analytique, le defi consiste alors a distinguer ces effets distincts, de selection et de mesure, pour determiner la comparabilite des reponses des 2 sous-echantillons obtenus. Nous analysons dans cet article les differences dans la structure factorielle et les distributions de reponses de deux ensembles de questions relevant de deux concepts sociaux : la confiance institutionnelle et de la volonte de se sacrifier pour la protection de l'environnement. a l'aide d'une analyse factorielle confirmatoire multigroupe bayesienne et d'une regression lineaire, les resultats confirment l'invariance scalaire et donc l'absence d'effets de mode CAPI vs. CATI sur la structure factorielle des deux concepts. Cependant, malgre l'ajustement pour les differences dans la composition de l'echantillon, nous observons une propension moyenne au sacrifice plus elevee au sein de l'echantillon CATI. Sur la base de ces resultats, nous discutons enfin des implications pour l'interpretation des effets de mode dans les enquetes.
引用
收藏
页码:108 / 128
页数:21
相关论文
共 41 条
  • [1] A Comparison of Four Probability-Based Online and Mixed-Mode Panels in Europe
    Blom, Annelies G.
    Bosnjak, Michael
    Cornilleau, Anne
    Cousteaux, Anne-Sophie
    Das, Marcel
    Douhou, Salima
    Krieger, Ulrich
    [J]. SOCIAL SCIENCE COMPUTER REVIEW, 2016, 34 (01) : 8 - 25
  • [2] Bosnjak M., 2017, Methodische Probleme von Mixed-Mode-Ansatzen in der Umfrageforschung, P11, DOI 10.1007/978-3-658-15834-7_1
  • [3] Boyd CE, 2015, AQUACULTURE, RESOURCE USE, AND THE ENVIRONMENT, P1, DOI 10.1002/9781118857915
  • [4] Brown T. A, 2012, Handbook of Structural Equation Modeling, P361
  • [5] Bulus Metin, 2023, CRAN, DOI 10.32614/CRAN.package.pwrss
  • [6] Stan: A Probabilistic Programming Language
    Carpenter, Bob
    Gelman, Andrew
    Hoffman, Matthew D.
    Lee, Daniel
    Goodrich, Ben
    Betancourt, Michael
    Brubaker, Marcus A.
    Guo, Jiqiang
    Li, Peter
    Riddell, Allen
    [J]. JOURNAL OF STATISTICAL SOFTWARE, 2017, 76 (01): : 1 - 29
  • [7] Is there an association between survey characteristics and representativeness? A meta-analysis
    Cornesse, Carina
    Bosnjak, Michael
    [J]. SURVEY RESEARCH METHODS, 2018, 12 (01): : 1 - 13
  • [8] de leeuw E., 2002, SURVEY NONRESPONSE, V3, P41
  • [9] de Leeuw E. D., 2018, Advances in Comparative Survey Methods, P385
  • [10] Mixed-Mode: Past, Present, and Future
    de Leeuw, Edith D.
    [J]. SURVEY RESEARCH METHODS, 2018, 12 (02): : 75 - 89