在“信效度解读”系列的前两篇文章中，我们介绍了信度和效度的基本概念、类型与评估方法（详见《信度、效度的概念与类型》、《信度与效度的评估方法》）。那么，在实际研究过程中，具体该如何提升数据的信度与效度呢？ 

相信读过前两篇文章的读者已经了解到，尽管最终关注和评估的是调查数据的信度和效度，但影响信度和效度的因素早在调查实施前的研究设计环节便已经产生了，并将持续至最后的数据统计分析阶段。

本文将结合调研家SurveyPlus平台的实践经验和典型案例，为大家梳理各关键环节的信效度优化策略。

1、 研究设计环节与信效度优化

构建一个清晰的研究框架是确保测量效度的第一步，这意味着研究者必须明确自己想要测量什么，测量的理论基础是什么，以及将要采用什么样的方法进行测量。

• 确保你将要测量的东西是你真正想要研究的问题，而不是别的问题。比如，当想要研究抑郁时，应该弄清楚用于测量抑郁的指征是什么，确保测量的不会是情绪、自尊、焦虑或其他一些不相关的概念。
• 不要随便就开始写问卷。问卷/测量工具的效度来自于充分的理论支持。进行全面深入的理论学习和文献研究，了解先前理论和文献中关于目标概念的维度结构分析，研究先前的研究者们用于测量目标概念的量表体系及其信效度表现，尤其应该参考有成熟理论和实证研究支撑的测量方法，确保你即将进行的测量能够全面准确地测量目标概念。
• 如果研究问题尚无成熟的理论支持，那么早期的探索性研究就必不可少——基于对相关领域专家及目标访问人群的质性研究，获得初始资料，提炼归纳核心主题，并以定量方式验证其结构合理性（参考以下案例)。

【案例】Bruck和Towns (2013)的研究旨在了解大学化学老师实验教学的目标，以下是他们早期问卷开发的经验：首先，通过访谈目标人群，收集他们对教学实践的看法与经验，提炼出若干关键主题；随后，将核心主题转化为可量化的调查题目，如一些实验室操作行为的频率（“是否进行误差分析” “是否撰写实验报告”等），初步构建出问卷题项池；然而，由质性研究归纳而来的信息尚不具备结构性，无法直接构成正式测量工具，接下来他们将这些题目整合成问卷初稿，分发给更多教师填写，并进一步采用统计方法（如探索性因子分析）对问卷结构进行检验，在弃掉了一些与模型拟合不佳的题目项后，最终形成一个可以支撑后续大规模调查的含29个题目项的七因素理论模型（如下图）。

Bruck和Towns使用了典型的自下而上（bottom-up）的问卷开发方式，即先基于质性研究构建理论维度，再通过统计方法建立测量结构与量表题项，其构建的问卷既来源于真实语境，又具备结构清晰、测量稳定的特征。
 

2、抽样设计环节与信效度优化

在先前介绍效度的类型时，我们提到了外部效度，即研究结论能否推广到其他情境或更大范围的人群。这就与抽样设计密切相关：研究者需要考虑，调查的结果需要具备多大程度上的外部效度，调研的结论需要对什么样的人群以及多大范围的人群进行推断，这决定了调查样本的选取方法。

此外，样本量不足可能导致统计效力（statistical power）降低，从而影响结果的显著性检验与推论效度，需要在这一阶段提前做好规划。

3、问卷设计环节与信效度优化

在研究设计环节，研究者已经明确了自己想要测量什么。问卷设计环节便是落实这一想法的过程。为了使研究的目标不产生偏离，在这个阶段一方面要确保调查问卷中所提问的具体问题能够准确地反映你想要测量的东西，另一方面更要确保受访者可以准确、一致地理解这些问题。

 “准确地理解”调查问题，是指受访者对问题（包括题干、选项、量表刻度等问卷设计中的各个元素）的理解与研究者的提问意图或设计意图一致，而不是答非所问，这是确保测量效度的关键；“一致地理解”调查问题，是指不同的受访者对同一问题（同样包括题干、选项、量表刻度等问卷设计中的各个元素）的理解是一致的，同一受访者在不同时点对同一问题的理解和回答也是一致的，这是确保测量信度的关键。

要确保受访者对问题的理解准确并且一致，做到以下几点至关重要：

• 提问受访者能够回答的问题，最好还是受访者关注或关心的问题。

• 题目的表述必须清晰、具体。不要使用模棱两可或有歧义的表述；避免使用行话和难以理解的专业术语，而应使用受访者熟悉或容易理解的词汇和表达方式；避免使用结构复杂的句子，如双重从句或否定表达句。

• 选用合适的题型和提问形式。大量研究指出，问卷的题型，以及与提问方式、题目呈现方式相关的诸多因素，如量表刻度的数量、量表刻度的标注方式、量表的方向等，都会对测量的信效度产生影响（Krosnick,2018；Krosnick&Presser,2010）。

• 控制问卷的长度。能够让受访者轻松、快速作答的问卷，往往能产出最准确的数据结果（Krosnick，2018）。问卷过长容易引发受访者疲劳，导致他们答题的准确性和稳定性下降。为了提高数据的信效度，研究者应尽量控制问卷长度。如果长问卷不可避免，研究者需要采取额外的措施来降低答题时间过长可能对测量的信效度产生的负面影响。以下是调研家SurveyPlus平台过往通过随机排序的方式处理的一个问卷过长的案例。此外，在问卷中加入注意力测试题，以及采用其它一些质量监控手段，也能起到提高长问卷数据质量的作用。然而，这些方法都有一定的局限性，最好还是保持问卷的简短。

有关问卷设计与信效度的更多分析，见文末推荐阅读。

4、问卷测试环节与信效度优化

在调查实施前，进行充分的问卷测试是非常必要的。比如：

• 早期的认知访谈（cognitive interview）通过小规模地与目标人群的深入沟通，可以了解他们在面对答题任务时是如何思考的，从而可以及时发现他们的理解与研究意图发生偏差的情况。
• 田野预调查（pretest）通过小范围地对整个访问过程进行预演，以及对测试数据的分析，同样也可以发现问卷设计和调查流程中的一些问题。

如需了解更多问卷测试的方法，可以参考：《省钱妙招：如何进行有效的问卷测试？》

5、调查实施环节与信效度优化

在调查实施环节，进行即时、有效的质量监控，对于提高数据结果的信度和效度同样有着很大的帮助。调研家SurveyPlus平台的专业质控团队对平台的所有调查项目同步实施科学、系统、全面的数据质量监控，确保受访者的高质量作答。

6、统计分析环节与信效度优化

在统计分析环节，研究者应确保选择合适的统计模型与检验方法，以避免因模型设定错误、统计效力不足等因素，影响研究结果的统计结论效度，即研究结论在统计意义上的准确性。

综上，从研究设计到数据分析的每一环节，都可能影响研究的信度与效度。只有系统性地优化整个流程，才能最大程度保障数据的质量与研究结论的可靠性。

调研家SurveyPlus平台提供问卷设计与测试、样本回收、数据质控等方面的专业支持，助力研究者获得更可靠、稳定的调查数据。如您希望进一步咨询信效度相关问题，或需要在实际调研项目中获得专业支持，欢迎扫下方二维码联系我们。 

【参考文献】

1.Bruck, A. D., & Towns, M. (2013). Development, implementation, and analysis of a national survey of faculty goals for undergraduate chemistry laboratory. Journal of Chemical Education, 90(6), 685-693.

2.Krosnick, J. A. (2018). Improving question design to maximize reliability and validity. In D. L. Vannette & J. A. Krosnick (Eds.), The Palgrave handbook of survey research (pp. 95-101). New York: Palgrave Macmillan.

3.Krosnick, J. A., & Presser, S. (2010). Question and questionnaire design. In P. V. Marsden & J. D. Wright (Eds.), Handbook of Survey Research (2nd ed., pp. 263-313). Bingley, UK: Emerald.

©图片来源于网络

#往期精选

问卷调查的默许偏差，你中招了吗？

问卷设计 | 评分题与排序题：哪种题型更适合我？

问卷设计 | 警惕双重问题陷阱

量表，多少级的刻度合适？