专业人士都在用的调研平台

从传统调查向网络调查转型:我们需要注意什么?

2022-03-22

原创作者:胡婧炜

 

过去几十年间,传统面访、电访的调查方式因为其成本的不断增加和应答率不断下降而面临越来越多的限制。另一方面,随着计算机和网络的普及,人们参与线上工作和生活的程度越来越高,网络调查成为了一种更为有效、低成本地触达受访者的方式,并能帮助研究者快速、即时地捕捉和跟进社会的变化。在这样的背景下,越来越多研究者和机构开始考虑从传统调查向网络调查转型。

 

那么,使用网络调查我们需要注意些什么呢?在接下来的文章中,我们来聊一聊网络调查的优势和挑战,以及如何合理运用网络调查以获得可靠的研究结果。

 

 

01

 

访问方式的演进与网络调查的现状

 

 

邮寄问卷、面访、电访是调查的最典型的三类方式。随着技术的进步,面访和电访在原来纸笔访问的基础上,发展出计算机辅助访问的方式(CAPI,CATI):网络调查从本质上则更贴近邮寄问卷的访问方式,因为都没有访员参与、都是由受访者自填完成,只不过从过去邮寄纸笔问卷的方式变成了在线发送电子问卷的方式。

 

图1. 调查技术的演进(Groves et al. 2014)

 

近年来随着面访和电访成本的不断上升,以及应答率的普遍下降,网络调查作为一种单独的访问方式,或者一种与其它访问方式混合使用的方式,越来越受到研究者的青睐。

 

如果在“谷歌学术”(Google Scholar)中以“Web Survey”和“Internet Survey”作为关键词进行搜索,可以发现与网络调查相关的学术研究的数量在过去二十几年间急剧增长,尤其在疫情之后,相关文献数量又出现了一波新的增长。

图2. Google Scholar 搜索“Web Survey”OR “Internet Survey”

 

 

02

 

网络调查:调查的民主化过程

 

 

一位研究者这样描述网络调查:“网络调查让做调查变得民主化了。”(Couper 2000)。确实,网络调查兴起后,实施调查不再仅仅是那些拥有资源的大型组织或机构的专利品。单个的研究人员只要拥有上网设施,在好的方法、技术和调查平台的加持下,便可以做好一项调查。

 

网络调查的如下优势让单个研究人员运筹帷幄之中,决胜千里之外成为了现实:

 

1.快速、低成本

 

相比纸笔形式的面访和电访,网络调查省去了访员(可能还有督导、质量核查员)招聘、培训、差旅、劳务等费用;相比CAPI和CATI,网络调查还省去了购买计算机和上网设备的费用。

 

除了给受访者的酬劳外,网络调查访问的成本并不会因为样本量的增加或空间范围的变大而有太大的变化。由于省去了交通的时间,以及受访者可以在任何时间、任何地点回答问卷,网络调查收集数据的速度也就快得多了。

 

2.可满足复杂的、个性化的设计需求

 

在纸笔访问中,一些复杂的设计需求常常得不到满足。

 

比如,一旦有较复杂的逻辑跳转,访员和受访者便难以应付,受访者要么会回答本不需要他们填答的题目,要么就会漏掉本应由他们填答的题目,这样收集到的数据便有很多漏洞。

 

出于可行性的考虑,纸笔访问往往需要在设计的复杂性和个性化上做出妥协。与CAPI和CATI一样,网络调查借助于计算机技术,可以很好地解决这一难题。

 

一些支持复杂调查设计的网络调查平台,如国外的Qualtrics、国内的调研家SurveyPlus,让研究人员自己通过点选的方式便能轻松地实现一些比较高级的设计需求,如复杂的逻辑跳转、已有变量的加载、实验条件的随机分配、数据的加密、答案的即时校验等。

 

此外,尽管不像CAPI和CATI一样有访员在场,但借助于计算机技术,网络调查中同样可以有一些与受访者的人机互动,如提供即时的反馈、提醒与帮助。

 

3.形式与体验的多样化

 

网络调查融入了网络和计算机技术的一些功能和特征,因而可以具备更多样化的展现形式。

 

比如,除了使用文字、数字等方式向受访者传达信息外,网络调查还可以很简单快速地通过图片、音频、视频的方式向受访者传达更丰富的信息,并赋予受访者更多样化的答题体验。

图3.滑动条、热点题、地理位置题展示

如滑动条、热点图这样的题型,以及进度呈现、随机抽奖、答题界面风格与背景设计这样一些功能,都是网络调查特有的元素。

 

4.提高了追踪的可行性

 

追踪调查需要对同一批人进行长期的、多次的访问。在面访和电访的方式下,留存和不断更新受访者住址或电话,以及跨地区的追踪或反复电话联系受访者,都是追踪调查中的难点。

图4.追访流程

互联网,尤其是微信的大规模使用,使人与人之间的联系更加方便了。通过微信、建立群或者社区等方式,长期追踪同一批受访者,并向他们发送在线邀请和问卷,从技术实现和成本的角度来看,都更具优势;从追踪成功率的角度来看,也未尝不是一种有效的手段。

 

 

03

 

争议:网络调查的数据质量好不好?

 

 

网络调查的数据质量好不好,很多人都在心里画一个大大的问号。到目前为止,并没有压倒性的证据证明通过网络调查的方式获得的数据比其他调查方式更差,我们需要从多个角度来看待和评估这个问题:

 

1.计算机化有助于提高数据的质量

 

如前所述,相对于纸笔访问,网络调查借助于计算机技术,可以避免逻辑跳转的错误、纸笔录入的错误,还可以在访问过程中进行即时的校验、反馈和监测,这些都有利于数据质量的提高。

 

2.有访员在场并不一定都是好的

 

每一种调查方式下都有不认真的答题者。相比之下,面访和电访中的访员能够起到一定的监督作用,但访员本身也同样需要监督。而且并不是有访员在场就一定都是好的,在有些情况下,网络调查因为没有访员的参与反而更具优势。

 

比如网络调查中受访者可以自己控制答题的时间和速度,有些受访者更适应这样一种自由答题的状态。尤其,作为自填式的访问方式的一种,在一些敏感问题上,网络调查更容易让受访者说真话。

 

比如,过往研究发现,受访者往往会过高地填报一些正面积极行为(如运动、阅读等)发生的频率,也会故意地低报一些负面消极行为(如吸食毒品、不系安全带等)发生的频率,而在没有访员在场的情况下,受访者的答案会更接近真实的情况。

 

3.需谨慎对待网络调查中样本对总体的代表性

 

样本在多大程度上可以用来推断总体,这是网络调查面临的一大问题。

 

首先,在大多数情况下,由于缺乏一个可操作的网民总体的抽样框,网络调查很难实现严格意义上的概率抽样,而只能采用方便样本(除非是借助传统的抽样框、采用离线招募和混合访问的方式;或者研究总体本身就是网民并且有有效的网络联系方式,比如都使用邮箱的学生或公司员工)。

 

这样的样本在多大的程度上能够代表总体,我们不得而知。

 

比如典型的在朋友圈转发问卷,每个问卷发放者的朋友圈可能都是和自己相似的一群人,那么最终收集到的数据很可能只能代表这一群人的认知、行为和态度,而没法推断到更广泛的群体。

 

其次,有些人没有条件或者没有能力上网(无覆盖问题),上网的人群中有些人不愿回答问卷(无应答问题),如果最终应答的那部分受访者与网络调查没有覆盖的群体,以及网络调查中不应答的群体存在显著的差异,那么我们基于收集到的数据作出的推论也可能存在偏差。

 

比如在很多的采用方便样本的网络调查中,年轻人、受教育程度高的人的比例都偏高,而年龄偏大的、低学历的人的比例则偏低,这样的数据可能更多地代表了年轻的、受教育程度高的群体,而对低学历的、年龄偏大的群体的代表性则不足。

 

值得注意的是,对于没有采用概率抽样的线下面访和电访,样本代表性的问题同样存在。

 

图5. 概率性样本与非概率性样本的统计推断比较

 

4.网络调查设计中的每一个细节都可能影响受访者的答案

 

网络调查排除了访员对数据质量的影响(如访员的性别、经验等可能会对受访者的答案产生系统性的影响),但受访者对于测量的表现形式则更为敏感。很多研究发现,问卷中所展示的图片内容、文本框的大小、选项的排放、量表的刻度和标签等都有可能影响受访者的答案。

 

尤其,用户体验是影响数据质量的关键一环

 

在网络调查中受访者用手投票:好的用户体验能够帮助受访者更好、更顺利地完成问卷;一旦遇到不好的体验,受访者便会关闭页面,退出调查,或者他们会胡乱填报答案。

 

比如说,在网络调查中,受访者的专注度和专注时间是有限的,太长的问卷或太难的问题都有可能影响受访者答题的质量。

 

 

04

 

总结:网络调查的注意事项

 

 

综上所述,网络调查的方式有很多传统调查方式所不具备的优势,尤其在线上工作和生活更加普及的今天,网络调查是更加可行的调查方式。

 

网络调查的数据质量一直是一个备受争议的话题。任何关于数据质量的讨论,都应该建立在具体的情境下,从多角度去评估,才能更加客观和全面。每一个调查都有它的目标和结果,同时受到成本的限制,对数据质量的评估应该建立在对这些因素的综合考量的基础上。

 

在可推断性上,我们应该对网络调查的数据保持谨慎(对所有未采用概率抽样方式的线下调查亦是如此),但这并不意味着每一个方便样本都一定存在偏差。我们需要基于答题人群与未答题人群在关键变量上的潜在差异性,来对基于样本数据获得的结论做出理性的评估。

 

当偏差存在时,可以通过配额抽样的方式来提高样本在关键变量特征分布上的均衡性,也可以尝试使用一些统计手段进行事后调整。在条件允许的情况下,还可以建立和使用概率性的网络样本库和使用混合访问的方式来解决样本的代表性问题。

 

在测量上,网络调查方式本身并无优劣,关键在于设计者如何用好这一方式。任何一种调查方式,包括网络调查,其数据质量的好坏,绝不仅仅取决于受访者的主观配合程度,还与调查设计本身息息相关。更多地通过文献研读的方式借鉴前人的经验,在问卷投入实地前更多地进行测试,更多地在实践中积累经验,是设计和实施好网络调查的关键。

 

最后,在网络调查中,网络调查平台充当着研究者与受访者交流的中介,其对于网络调查的作用,和访员对于面访和电访的作用一样。选择一个好的调查平台至关重要,这不仅直接决定了研究设计上的需求的可实现程度,也通过影响用户体验和答题进程而间接影响到数据的质量。

 

参考文献:

Couper, M. (2000). “Web Surveys: A Review of Issues and Approaches.” Public Opinion Quarterly, 64: 464-494.

Robert M. Groves, Floyd J. Fowler, Jr., Mick P. Couper, James M. Lepkowski, Eleanor Singer, Roger Tourangeau. 2004. Survey Methodology.

 

随时随地获取 调研家 观点

关注公众号

调研家,专业人士
都在用的调研平台

关注调研家公众号

随时随地了解问卷编辑、数据收集、数据分析干货分享

调研家,专业人士
都在用的调研平台

获取定制解决方案

《调研家服务协议》
已有账户 马上登录

提交成功

感谢您的申请,我们将在24小时内与您联系

知道了

调研家将为您提供

一对一专业服务,根据您的项目情况,为您定制专属解决方案

专业服务助您事半功倍
样本需求
项目定制
  • 请选择您的需求

  • 提交成功

    感谢您的申请,我们将在24小时内与您联系

    企微咨询顾问

    咨询电话

    188 2459 1379

    广东省深圳市南山区登良路汉京国际大厦20楼FG单元

    0755-21615848

    contact@surveyplus.cn

    关注调研家公众号

    Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号 粤公网安备44030502004015号