↑ 点击立即注册

作者：胡婧炜

自从网络调查大规模应用以来，人们对于网络调查数据质量的担心从未消减。由于没有访员的引导和监督，人们担心受访者会太过快速地完成问卷，而没有认真读题或深入思考，甚至可能只是任意地点选答案。这样一些不认真答题的受访者提供的低质量数据最终可能会导致不可靠的研究结论产生。

针对这一现象，研究者在网络调查中开始使用注意力测试题来甄别不认真答题的受访者。本文接下来将详细介绍注意力测试题的相关应用问题，以帮助大家更深入地理解和更科学地掌握这一方法。

什么是注意力测试题？

注意力测试题也称陷阱题（attention checks或者trap questions），最早由Oppenheimer, Meyvis和Davidenko三位学者在2009年提出。他们将一道关于体育活动参与情况的注意力测试题穿插在问卷中，和问卷中的其他题目看似无异。不过，在这道题中，他们明确要求受访者忽视其真正参与体育活动的情况，并且忽视通过点击“继续”按钮进入下一页的直觉，而是通过点击屏幕上方的题目标题区域来进入下一个答题页面，以此来识别受访者是否有认真读题。

最早形式的注意力测试题

之后的注意力测试题演化出了各种不同的形式，但总体来说都是在问卷中的一个认真挑选好的位置插入题目，并要求受访者按照特定的指示（通常是违背实际情况或者违背直觉的）选择答案。以下是目前注意力测试题经常采用的两种形式：

形式一：延续了最早期的注意力测试题的形式，以独立的题目出现，关于答题的指示通常嵌入在很长的题干中，要求受访者优先考虑这一指示而忽略题目的其他要求，如，“请忽略您的真实偏好，直接选择选项A和C”。

形式二：注意力测试题嵌入在一组矩阵题中，与题组中的其他题目保持一致的选项，要求受访者选择某一个特定选项，如，“请直接选择‘非常不同意’选项”。

注意力测试题真的有效吗？

注意力测试题无疑会增加调查的成本，比如题目数量的增加，以及潜在的可能导致受访者答题的中断等。那么注意力测试真的能有效地识别出不认真答题的受访者吗？很多研究的答案是肯定的，无论是在常规的问卷题目中，还是在调查实验或其他一些形式的认知测试中，注意力测试题都显示出了良好的效果。

比如说，Berinsky等学者（2014）使用了3道关于主观态度的量表题来检测注意力测试题的甄别效果。在这3道量表题中，有两道题的最低值1分代表了保守主义倾向，最高值7分代表了自由主义倾向，第三道题则刚好相反。数据结果显示，相比通过了注意力测试题的受访者，没有通过注意力测试题的受访者更容易忽视第三道题的量表方向是反向的。

Oppenheimer等人（2009）则检测了注意力测试题在调查实验中的效果。他们使用了一道经典的关于沉默成本的实验题，受访者被随机分配到实验1和实验2中的一个版本：

不出意外的话，相比免费得票的人，花钱买票的人更不太可能放弃看比赛——这个结论建立在过往大量实证研究的基础上。Oppenheimer等人的研究发现，这一实验效应在通过了注意力测试的人身上更加明显。那些没有通过注意力测试的人可能并没有认真读题，实验的效应因而也就体现不出来了。

如何应用注意力测试题？

那么，该如何正确地使用注意力测试题呢？以下是基于过往的研究成果和调研家SurveyPlus的实践经验给出的一些建议：

Q1：应该使用何种形式的注意力测试题？

上文介绍的两种典型形式的注意力测试题中，第一种形式的注意力测试题比第二种形式的注意力测试题更难。过往大量的实证数据显示一道注意力测试题的不通过率在10%-50%不等，其中前者的不通过率更高。前者能够更好地识别出答题高度认真的受访者，后者则更擅长把答题极端不认真的受访者识别出来（Berinsky et al. 2019）。

研究者应该根据实际需求选择合适形式的注意力测试题，而不是盲目地追求难度。高难度的注意力测试题很容易“错杀”受访者：一方面，受访者可能会因为不能理解注意力测试题本身而答错，而不是因为注意力不够集中，尤其是受教育程度较低的受访者；另一方面，受访者注意力的集中程度虽然不足以答对一道高难度的注意力测试题，但是可能已经足够答对问卷中的其他题目。高难度的注意力测试题还会影响受访者的答题体验。无论是“错杀”受访者还是影响答题体验，最终都会导致不必要的样本流失、浪费和调查成本的上升。

Q2：一份问卷中设置多少道注意力测试题合适?

没有特定的答案，但目前的共识是多道注意力测试题的识别效果优于单道注意力测试题，尤其是较长的问卷。一方面，不仅受访者与受访者之间的注意力水平是有差别的，受访者本人的注意力水平在不同时段也有差异，因此可能需要多道注意力测试题来进行监测；另一方面，注意力测试题本身可能也存在测量误差，多道注意力测试题有助于进行更准确的识别。仅仅通过一道题来做出判断，会存在误判的风险——既有可能把不认真的受访者识别为认真的受访者，也有可能把认真的受访者识别为不认真的受访者。

在一份设置了多道注意力测试题的问卷中，受访者并不总是处在答对或答错全部注意力测试题这两个极端。很大一部分受访者可能处于中间状态，他们的注意力集中程度虽不能完美地符合预期，但不一定会对数据质量造成影响。考虑到调查成本和受访者体验，以及样本的代表性，建议更谨慎地处理这部分受访者的数据，而不是简单地将其废弃。

同样，考虑到调查成本和受访者体验，注意力测试题的数量也不是越多越好，应结合问卷的长度而设置。

Q3. 删除注意力测试不通过的受访者的数据是否会影响样本的代表性？

在基于概率抽样的调查中，简单地将注意力测试不通过的受访者的数据废弃不用，确实可能会影响样本的代表性。比如，过往研究发现，注意力测试不通过的受访者和通过的受访者有着显著的人口学差异，前者更可能是男性、少数族裔、年轻人（Berinsky et al. 2014），以及受教育程度低的受访者（Alvarez et al. 2019, Alvarez and Li, 2022）。如果受访者的注意力集中情况与研究的结果变量有显著的关联，那么删掉注意力测试不通过的受访者的数据有可能会导致统计结果的系统性偏差。比如，在一份关注政治参与行为的问卷中，如果那些不认真答题的受访者刚好是对政治不感兴趣的人（很有可能），那么把这部分受访者的数据删掉会导致对人们政治参与行为的高估。当然，在数据质量和样本代表性之间做出选择是一个艰难的决定，具体的处理方法可参考相关文献。

Q4. 注意力测试题放在问卷中的什么位置合适？

没有特定的答案。一般的做法可以是均匀地分布在问卷题目之间，尤其是在题目形式高度相似的题组中——高度相似的题目形式经常容易使受访者失去注意力。

值得提醒的是，注意力测试题可能会影响受访者的答题行为，启发他们更深入的、系统性的而非完全直觉性的思考，以防止自己陷入陷阱（Hauser and Schwarz 2015）。对于一些调查实验来说，注意力测试题可能本身也会构成实验干预的一部分，所以需要谨慎评估是否会产生这样的干预效应，或者可以将注意力测试题置于远离干预项或干预项之后的位置。

以上便是关于”网络调查中注意力测试题的应用“的全部内容，不知道大家有没有从中获得新的方法与启发？如有更多疑问，欢迎联系我们。调研家团队基于过往的研究成果和实践经验，能协助客户制定和实施包括注意力测试题在内的质控方案，帮助客户提高调查项目的数据质量。

【参考文献】

Alvarez, R. Michael, and Yimeng Li. 2022. “Survey Attention and Self-Reported Political Behavior.” Public Opinion Quarterly 86(4):793–811.

Alvarez, R. Michael, Lonna Rae Atkeson, Ines Levin, and Yimeng Li. 2019. “Paying Attention to Inattentive Survey Respondents.” Political Analysis 27:145–162.

Berinsky Adam, Michele Margolis, and Michael Sances. 2014. “Separating the Shirkers from the Workers? Making Sure Respondents Pay Attention on Self-Administered Surveys.” American Journal of Political Science 58(3): 739-753.

Berinsky, Adam, Michele Margolis, Michael Sances, and Christopher Warshaw. 2019. “Using Screeners to Measure Respondent Attention on Self- Administered Surveys: Which Items and How Many?” Political Science Research and Methods 1–8.

Hauser, David J., and Norbert Schwarz. 2015. “It’s a Trap! Instructional Manipulation Checks Prompt Systematic Thinking on ‘Tricky’ Tasks.” Sage Open 2015:1-6.

Oppenheimer, Daniel, Tom Meyvis, and Nicolas Davidenko. 2009. “Instructional Manipulation Checks: Detecting Satisficing to Increase Statistical Power.” Journal of Experimental Social Psychology 45: 867–872.

©图片来源网络