调研家本期问题预览:
Q1.IP地址能代表受访者的真实所在地吗?
Q2.IP定位的准确度有多高?
Q3.是否可以结合GPS设备定位来判断受访者的真实所在地?
Q4.问卷调查中,IP信息应该如何用于数据质量控制?
在在线问卷调查中,研究者有时会发现:受访者在问卷中填写自己位于某一个城市,但系统记录的IP地址却显示在另一个城市;或者研究要求受访者来自某个特定城市,但部分样本的IP归属地却显示在其他地区;甚至还会出现多名受访者IP完全相同的现象。
这些看似异常的IP信息,很容易让研究者产生疑问:受访者是否真的来自目标地区?我收集的这些数据是否存在质量问题?本期“调研家答用户问”,我们将围绕IP地址与受访者所在地之间的关系,以及IP信息在调查数据质量控制中的应用,回答几个常见问题。
受以下三方面因素的影响,IP地址并不能等同于受访者的真实所在地:
受访者填写问卷时,系统记录的是其访问互联网所使用的公网IP地址。这个IP地址反映的是受访者通过何种网络接入互联网,以及相应的网络出口信息。
在移动网络、企业网络或校园网络等场景下,公网IP通常由运营商或网络管理方统一分配和管理,并不固定对应某一个用户或某一个具体地点。多个地区的用户可能通过同一网络出口访问互联网,因此,IP解析出的地区与用户实际所在地区可能存在差异。
例如,受访者实际位于深圳,但其网络流量可能通过运营商位于广州的网络节点接入互联网,系统根据IP地址解析出的所在地就有可能显示为广州。
IP本身只是一连串的数字,在问卷平台记录到IP以后,需要通过第三方IP地址库进行解析,才能把IP转换成“北京朝阳”“上海浦东”等地理信息。不同IP地址库的数据来源、更新频率和判断方法可能不同,因此,同一个 IP,在不同数据库,可能会出现不同的城市解析结果。
所以,我们在问卷数据中看到的IP所在地,更准确地说,是平台所使用的第三方IP数据库对受访者IP地理位置的估计结果,而非精准结果。
很多研究者在问卷中提问的是受访者的居住地、工作地等,考虑到人是流动的,在这种情况下,问卷记录的IP地址与研究者真正需要获知的受访者地址之间的差异会更大。
以深圳居民为例,如果受访者填写问卷时刚好在外地出差、旅游,或遇到寒暑期、春节回老家,IP自然会记录成其他城市;另外,深圳和广州、东莞、惠州、香港这些城市往来频繁,深圳人答题时IP地址不在深圳,是极有可能的。
综合以上三方面的原因,IP地址可以提供一定的地理位置参考,但不能被视为受访者实际所在地的精确证明。
IP定位的准确程度和定位范围有关。一般来说,国家层面的IP定位参考价值较高;但当定位需要进一步精确到省、市甚至更小范围时,误差通常会越大。
知名IP地理定位服务商MaxMind明确地提醒用户:IP地理定位不是用来确定一个人或家庭的精确坐标的,而是用于识别一个大致可能的地理范围。其资料显示,在排除VPN等因素的情况下,其IP地理定位在国家层面的准确率通常可以达到99%以上,州/省级行政区的精确度降低至55%-80%,城市级别的精确度则进一步下降至20%-75%。。
因此,在问卷调查中,如果受访者声称自己在中国,而IP长期显示来自另一个国家,这通常值得进一步检查;但如果受访者声称自己居住于某个城市,而IP地址显示的是另一个城市,仅凭城市层面的差异就直接判定为无效样本,则可能过于简单。
理论上来说,是可以的。在线问卷获取的GPS位置,更准确地说,是通过浏览器调用手机或电脑等设备的定位服务获得的定位信息,相比IP地址,这一信息通常更接近受访者答题时的实际位置。
但在实际操作中,使用设备的定位信息也面临以下一些难题:
设备定位通常会综合GPS、Wi-Fi、移动通信基站等当时可用的信息来判断和计算当前位置,其准确程度会受到使用环境和信号条件影响。例如,在室内、高楼密集区域、地下空间,或GPS信号较弱时,设备可能更多依赖Wi-Fi或基站信息进行估算,定位精度就可能下降。因此,设备定位虽然通常比IP定位更精确,但也不能被视为完全准确的实时位置证明。
如果受访者拒绝授权,或者所使用的设备无法提供定位信息,研究者将无法获得这项数据。也就是说,这项数据的缺失率可能会很高,而强制受访者授权则会极大地降低问卷的应答率。
不同设备、操作系统和浏览器对于定位权限的设置有所不同。即便受访者愿意授权,部分受访者可能没有开启定位功能,或者不熟悉定位权限的设置和授权方式,尤其对于不熟悉智能设备操作的人群,额外的授权步骤可能增加答题难度。因此,要求受访者提供设备定位信息可能增加问卷中断或退出的风险。
一方面,受访者对个人隐私的担忧,可能会影响他们答题的质量;另一方面,收集设备定位信息会增加数据采集方和数据处理者在伦理审核、个人信息保护、数据安全、匿名化处理等方面的管理成本。
简而言之,使用设备的定位信息可以提高对地理位置判断的精度,但同时也会在很多方面增加调查项目的成本。此外,与IP定位一样,研究者仍需要注意人员的流动性,区分答题所在地与居住地、工作地等地址之间本身所存在的差异。
尽管IP不能代表受访者的真实位置,但它仍然是非常有价值的质量控制信息。
如前所述,IP定位在国家层面的准确度通常较高,因此,在跨国或海外问卷调查中,可以用于辅助判断受访者答题时所使用的网络是否来自目标国家。如果受访者填写的国家与IP所显示的国家明显不一致,可以将其作为进一步核查样本质量的信号。
另外,IP信息还可以用于发现短时间内是否有大量问卷来自相同IP,监测和预警可能存在的刷题、批量作答、重复作答等异常情况。但需要注意的是,即便短时间内有大量问卷来自相同IP,也不一定等同于异常。例如,同一公司、学校、宿舍、家庭,都可能共享同一个公网IP;此外,由于公网IP数量的限制,运营商也可能不会给每个手机用户都单独分配一个公网IP,而是让很多用户共享同一个公网IP上网。因此,即使多份问卷显示相同 IP,也不一定代表这些问卷来自同一个受访者。
总的来说,IP地址适用于识别风险,但不应该单独作为样本的剔除标准。IP地址与受访者填写的地区不一致,是一个值得进一步核查的信号,但不一定意味着受访者填写的地区不真实;同样,重复的IP地址需要监测,但也不一定意味着重复作答或批量刷题。
在实际项目中,我们不建议仅依赖IP这一个指标来判断一份问卷是否有效,而是建议结合IP信息与设备信息、受访者筛选信息、答题时长、注意力测试、答题逻辑以及其他答题行为指标,来综合判断异常答题模式和识别低质量样本。
【参考资料】
Understanding IP geolocation accuracy: a detailed look.
https://www.maxmind.com/en/geoip/ip-geolocation-accuracy

「调研家SurveyPlus」是一款面向专业市场研究、学术研究、社会调查人士和机构的在线问卷调研平台,可实现复杂的逻辑跳转、随机实验、质量控制、追踪访问等硬核问卷设计功能,支持多渠道发送及实时数据分析。
同时,「调研家SurveyPlus」提供样本服务,通过精准定位目标人群,快速完成数据回收,并严格把控数据质量,助力您高效完成调研项目。

#往期精选
扫码关注调研家公众号,随时随地获取调研家观点
关注公众号
调研家将为您提供
一对一专业服务,根据您的项目情况,为您定制专属解决方案
Copyright © 2023 SurveyPlus 瀚一数据科技(深圳)有限公司 粤ICP备18114013号
粤公网安备44030502004015号