使用情境题调整问题填报偏差

调研家SurveyPlus
2021-08-27

原创 | 徐宏伟(美国纽约城市大学皇后学院社会学系副教授)

责编 | 胡婧炜

 

中国有句古话叫“甲之蜜糖乙之砒霜”,大抵可以理解为不同的人由于其所使用的标准不同而产生的在事物评判或主观感受上的差异。类似的情形在现实生活中也经常存在。有这样一个描述中西文化差异的经典故事:一个美国孩子拿着一份60分的考卷回家,爸爸很高兴,夸奖孩子道:“考得很好,及格了,孩子你真棒!” 而一个中国孩子拿着一份90分的考卷回家,却换来了爸爸的大声呵斥:“怎么考得这么差,离满分差了10分!”

 

两位父亲反应上的差异是由于他们在评判孩子成绩时所使用的标准不一致导致的。美国爸爸的评估标准可能是:

 

 

而中国爸爸的评估标准可能是:

 

 

 

 

对于美国爸爸来说,孩子的成绩落在很好的区间,而对于中国爸爸来说,孩子的成绩落在比较差的区间。

 

类似的差异不仅存在于不同的社会文化环境中,也存在于同一社会文化环境中的不同群体间。比如一项调查提问夫妻间性生活的频率,其中同一对夫妻中的回答迥然不同:丈夫的回答是“几乎没有”,而妻子的回答是“经常”;但在接下来追问具体次数时,夫妻俩的回答是一样的。显然,夫妻二人在评估上使用了不一样的标准。

 

在调查中,这种因标准不同而产生的受访者填报行为的异质性可能会导致错误的判断。比如当我们提问上文中的两位爸爸孩子成绩如何时,美国爸爸会回答“很好”,中国爸爸会回答“比较差”。如果我们基于此而推断美国孩子的成绩好于中国孩子,那就大错特错了。

 

在一些情形下,我们可以通过客观测量的方法来避免这一偏差的产生。比如我们可以采用同一套测试题来同时评估中国孩子和美国孩子的成绩,以此做出比较,而非依赖其父母的主观填答。但很多时候客观测量的成本太高,比如要测试中美两国孩子的成绩,不仅需要组织专家团队开发同时适用于两国的考题,可能还需要安排考场、培训专业的人员监控考试,等等。

 

此外,很多主观性的问题是无法用客观的方法进行测量的,比如像“您觉得自己有多幸福”这样的问题。在这些情况下,我们又能够采用什么样的解决方法呢?

 

情境题 (Anchoring Vignette)

研究社会调查方法的学者提出了用一种叫做情境题的方法来评估和调整这种偏差(King et al. 2004)。具体来说,这种方法就是让受访者在评估自身情况的同时,对其他一些类似的虚拟情形进行同样的评估,以此获知每个受访个体的评判标准。以对健康的评估为例,以下是”中国家庭追踪调查”的问题设计:

 

首先,让受访者评估自己的健康状况:

 

你认为自己身体的健康状况如何?

 

1.非常健康   2.很健康   3.比较健康   4.一般   5.不健康

 

接下来,让受访者评估其他两个虚拟人物的健康状况,受访者被要求想象这些人和他们自己具有相同的年龄和背景,像上一题评价自己的健康状况一样评价这两个人的健康状况:

 

情境一:

 

孙军/李梅在走路、跑步、活动四肢上毫无问题。他/她每周慢跑2次,每次跑5公里。他/她记不得最近一次感到身体疼痛是什么时候,因为最近一年里他/她都从未感到过疼痛。即使在体力劳动或者锻炼后,他/她也不曾感到任何身体疼痛。你认为,孙军/李梅的健康状况如何?

 

1.非常健康   2.很健康   3.比较健康   4.一般   5.不健康

 

情境二:

 

赵刚/王丽走200米的路毫无困难。但走完一公里或爬完几层楼后,会觉得累。他/她的日常活动没有问题,比如从市场上买完菜拎回家。他/她每月都有一次头痛,吃药之后会有所缓解。头痛时,他/她能继续做日常工作。你认为,赵刚/王丽的健康状况如何?

 

1.非常健康   2.很健康   3.比较健康   4.一般   5.不健康

 

在这组设计中,受访者在自评一题中所填报的答案由受访者真实的健康状况和其个人对健康程度的评判标准两个因素共同决定:

 

个体自评健康状况填答值 = 个体真实的健康状况(?) + 个体评判标准(?)

 

对于研究者来说,这两个因素都是不可观测的。由于不能知道每个受访者的评判标准,我们因而也很难知道受访者真实的健康状况。

 

而在虚拟场景中,两个虚拟人物的真实健康状况对所有受访者来说是一致的(即是一个常量),唯一的变量是每个受访者所使用的标准,这个唯一变量导致了每个受访者对虚拟人物健康状况的不同评价:

 

虚拟人物健康状况填答值 = 虚拟人物真实的健康状况(常量)+ 个体评判标准(?)

 

因此,在虚拟场景中我们可以获知每个个体对健康状况的评判标准,将此标准应用到自评一题中,我们便可以获知每个个体真实的健康状况。简单地用图来表示:

 

下图左边为1号受访者对自己和孙军、赵刚两人的健康状况评价,中间为2号受访者对自己和孙军、赵刚两人的健康状况的评价。仅从这两图中两位受访者的自评来看,我们得到的信息是1号受访者的健康状况优于2号受访者。

 

由于孙军和赵刚的真实健康状况对两位受访者来说是一样的,在右图中,我们将2号受访者对孙军和赵刚的健康状况的评估与1号受访者进行了匹配后,由此可以发现2号受访者实际的健康状况(右图)优于1号受访者(左图)。

 

 

使用情境题调整测量偏差

 

在我和谢宇教授合作的一项研究中(Xu and Xie, 2017),我们使用了中国家庭追踪调查的上述数据,评估社会经济地位(social economic status, SES),如受教育程度、收入等,对受访者健康状况的影响。在西方国家,大量的研究均发现社会经济地位与健康状况有显著的正相关关系,然而在中国的很多研究中,二者的关系并不显著。

 

这其中当然有各种各样的原因,我们的研究尝试从测量的角度来探讨这个问题。如上文所述,对受访者健康状况的测量可以使用客观的测量方法,如对受访者进行系统的体检,但这样的方法实现起来经济成本大、实施效率低,对于很多社会调查项目来说并不现实。

 

大量研究均发现自评的健康状况是衡量一个人健康状况的一个有效指标,在预测人的死亡、发病率等方面均具有很强的效力,因而该指标在很多研究中被广泛应用。

 

然而,不同的人在评估自身的健康状况时所使用的标准不同,这会导致前面所说的测量偏差,比如说,两个同时填报自己感觉“非常健康”的人,其实际的健康状况可能差之千里。我们怀疑在中国,也许正是这一测量偏差使得数据无法反映社会经济地位与健康状况之间的真实关系。

 

我们尝试用上述情境题的数据来调整这一测量上的偏差,以重新检验社会经济地位与健康状况之间的关系。我们使用了参数统计模型来估测每个受访者划分不同健康程度的标准。数据证实了受访者的填报行为在不同的群体间存在很大的差异。

 

举例来说,受教育程度高的受访者更少使用极端的词语来形容他们的健康状况:同样是不健康的状况,受教育程度高的受访者更倾向于填答“一般“,而受教育程度低的受访者更可能填答“不健康””; 同样是非常健康的状况,受教育程度高的受访者更可能填答“很健康“,而受教育程度低的受访者更可能填答“非常健康”。

 

除受教育程度外,我们还发现了在认知程度、家庭富有程度、年龄、性别、婚姻状况这几个变量上,不同组别的受访者在填报行为上均存在系统的差异。下图画出了对于一个给定的真实健康状况,不同标准影响下受访者填报“很健康”(very good)和”非常健康”(excellent)的概率。可以看出,受教育程度和家庭财产都会对受访者的填报行为产生影响。

 

比如说,当受教育程度从小学文化水平变为高中或以上文化水平,填报“非常健康“的可能性从0.89变为了0.63。类似的,当家庭财富从25%分位数变为90%分位数,填报“非常健康”的可能性从0.95变为了0.76。

 

换句话说,对于一个给定的真实健康状况,仅仅由于受教育更高或者更有钱的受访者在评估自己的健康状况时使用了更高的标准,他们填报“非常健康“的可能性降低了约1/3。

 

 

在调整了由于评估标准不同导致的偏差后,我们观察到的社会经济地位与健康状况之间的关系发生了变化。在没有调整的情况下,只有初中学历的组别相比没有受过正式教育的组别的健康状况更好,而其他组别(小学、高中或以上)与没有受过正式教育的组别的健康状况均没有显著差异。

 

经过调整后,小学、初中、高中或以上三个组别的受访者与没有受过正式教育的受访者的健康状况均有了显著的差别,数据印证了受教育程度与健康状况的正相关关系。同样,经过调整后,家庭收入、财产与健康状况的正相关关系也更为强烈。 

 

参考文献:

King, Gary, Christopher J. L. Murray, Joshua A. Salomon, and Ajay Tandon. 2004. “Enhancing the validity and cross-cultural comparability of measurement in survey research.” American Political Science Review 98(1):191-207.

 

Xu, Hongwei, and Yu Xie. 2017. “Socioeconomic Inequalities in Health in China: A Reassessment with Data from the 2010–2012 China Family Panel Studies.” Social Indicators Research 132 (1): 219-239.

 

 

分享到

微信扫码二维码
分享至好友和朋友圈

微博扫码二维码
分享文章到微博动态

订阅文章

随时随地获取 调研家 观点

调研家,专业人士
都在用的调研平台

关注调研家公众号

随时随地了解问卷编辑、数据数据、数据分析干货分享

调研家,专业人士
都在用的调研平台

获取定制解决方案

《调研家服务协议》
已有账户 马上登录

提交成功

感谢您的申请,我们将在24小时内与您联系

知道了