用研项目问卷优化的常见问题和解决方法

腾讯大讲堂

发布于 2020-10-29 15:10:06

1.1K0

前言

在公司“用户为本”企业文化影响下，用户研究工作受到越来越多部门同事关注，除了研究支撑部门更多项目投入外，许多业务部门，包括产品团队、运营团队等都在积极探索用户研究。我们也观察到，为了更快速、更贴合业务得到研究结果，或者是为了数据保密性，一些原本由外部第三方执行的研究项目已经转回公司内部团队执行，用研需求内部消化趋势比较明显。

企鹅智库也在积极运用自有调研平台，帮助其他团队解决一些用户数据获取的困难，在研究项目从外向内迁移过程中，发现了一些常见问题，比较明显的、而且第一开始就面临的，是调研问卷转化问题，体现在问卷逻辑、问卷语言风格、问卷长度等，为了更好理解问卷转换的必要性，我们先大致了解一些外部第三方和我们自己用户数据获取方式差异：

外部第三方研究机构问卷调研方法：

1）CLT+CAPI（街头拦截+计算机辅助面访）：首先在人流量大的繁华地带设定安静的会场；访问员在户外邀请过路的行人进行简单甄别后，到会场依序接受访问。会场里通常有放置电脑或者iPad，设备里会提前编辑调试好问卷程序，访问员根据问卷顺序询问被访者，再将被访者答案录入设备中。现在仍然是很多第三方传统调研公司的主流问卷调查法。

优点：能够比较容易的找到具有某种特性的消费者，如在4S点门口，则容易找到有购车需求人群；适合较长问卷的访问，例如超过50道题，或者半个小时以上；在编辑好的程序上输入被访者答案，无逻辑错误，无录入错误；能够当面向被访者出示一些测试物料，并配合讲解，让被访者充分理解问题。

缺点：样本的代表性不高，需要进行配额；需要搭设场地和安排人力，费用高；需要设备，电脑或者iPad（为啥不用手机，主要是传统调研公司创新不足，很多问卷录入程序仍是生成的程序包，需要提前下载至设备，另外移动化配置做得并不好，主要还是依赖于电脑）。

2）CATI（计算机辅助电话访问）：在电脑里提前下载好问卷录入程序；通常访问员手中会有一些号码包，可能是客户方提供，也可能是随机拨号，访问员通过电话接触被访者，按问卷询问问题，将答案录入电脑。目前已经很少采用此类方法，一些产品售后调研采用此方法。

优点：执行周期比面访短很多；能够保证样本随机性；不需要特定场所，多位访问员可同步工作。

缺点：座机使用率降低，触发范围有限；对电话普及率较低的地区需要考虑被调查产品与电话普及率的关系；用户隐私、骚扰电话屏蔽意识强，拒访率高。

3）入户访问：按照随机抽样准则抽取受访户，或者根据一定名单联系受访户，调查员到被调查者的家中进行访问，根据问卷逐个问题进行询问，并记录下对方的回答，也可通过自填或留置的方法将问卷交给被调查者，讲明方法后，等待对方填写完毕或稍后再回来收取问卷。目前正在进行的全国第七次人口普查即是采用入户访问的调查方式。随着社区门禁系统等安全保护措施提升，被访者已经很难接触，除了政府支持项目，已经极少采用此方法。

优点：方便家庭环境观察，适用在生活用品研究，譬如家里用哪个牌子洗发水，一周用多少。

缺点：拒访率高；人员成本高；现场问卷记录容易出错；访问员需要随身携带设备或者测试物料；执行慢。总之，执行层面难度很大。

4）在线拦截调查：基于PC端的问卷发布调研，有专门的问卷调研网站，提供问卷发布和寻找合适被访者服务。被访者访问网站，搜寻调研，自主填写问卷。或者获得上网者的邮箱地址，发送邮件并邀请其参加调查。由于移动端兴起，此种调研方式使用率极大降低。

优点：成本低，对于不太着急的项目，可长期将问卷挂网。

缺点：数据质量普遍不理想，数据清洗工作难度大；样本代表性差。

5）移动样本库调研：首先招募一批被访者加入样本库，并检查其信息的准确程度；或者是一个产品用户集合包。执行调研项目时，从样本库中抽样发送问卷。可支持随机或者定向人群调研。是目前主流的问卷调研方式，在第三方调研公司以及我司，都有广泛应用。

优点：成本低；可快速获得数据；不受时空限制，可在全国范围同步收集数据；现成可用的问卷编程系统较多（比如腾讯问卷、问卷星等），不需额外开发，应该是目前为止，最适合做互联网用户研究的调研方式。

缺点：问卷程序可支持的逻辑跳转功能比较简单；数据质量不太可控；不适合长问卷；不方便向被访者出示测试物料

为什么由外部研究的项目转到公司内部，要做问卷转化？

目前外部第三方主要采取的问卷调研法是街头拦截+计算机辅助面访以及移动样本库调研。我司内部通常是移动样本库调研，因为本文是讨论问卷转化问题，所以主要说的是街头拦截+计算机辅助面访向移动样本库调研迁移过程中，问卷结构和问法上需要做出一些调整。

通过上述介绍，街头拦截+计算机辅助面访具有几个特点：

访问员在场辅助用户答题，访问员的存在不仅有组织、问题解释、读题、录入答案的功能，其实也具有对被访者的一种“监督”，以及情绪上的“安抚”。
被访者可听题回答，问题理解心智成本低
可现场出示测试物料，例如把一些产品界面打印出来放大展示，或者一些图形化的logo
问卷是使用软件工具编程，可以支持一些个性化的、逻辑跳转比较复杂的问题
被访者流动性较强，没有历史答题记录积累，除了性别外，可能是对被访者“一无所知”

移动样本库调研具有一些特点：

被访者自行填答问卷，无人辅助和监督
可支持的问卷逻辑设置还比较初级，一些定制化的逻辑设想可能支持不了
不能够很方便给用户出示测试物料，例如需要观看视频的话，比较难保证用户有完整认真浏览
可用唯一ID识别用户，用户历史答题数据有积累
可给特定用户推送问卷，例如某个年龄区间或者某个地区
快速获得大量样本的回答

由于两种问卷调研方式的环境和组织形式不同，那么，来自面访的问卷需要迁移到在线样本库调研上，需要做一些转化优化，以下是问卷转化需要重点考虑的方面：

■问题一：原问卷前置的问卷甄别题过多。甄别题主要是判断用户是否符合本次调研的条件，比如我们要调研用户对短视频的使用习惯，需要用户在最近使用过短视频产品，这是调研前提。在外部街头拦截调研中，通常不会知道愿意参加调研的被访者很多信息，所以凡是访谈的条件都需要做成甄别题逐一询问被访者，甚至有时候在一个约50题的调研问卷中，甄别题占据20题之多。有些关于用户基础信息的甄别题是必要的，比如年龄、产品使用经历等，但是我们也看到由于街头拦截对象流动性而产生的甄别题，比如：

在拦截面访方式中，不管是何种调研目的、研究何种产品，这些问题似乎已经成为了标配，当深入询问外部研究员这些甄别题必要性的时候，得到回答类似于“不太清楚，其他的问卷里都有，所以就复制过来了”。

我们理解，这些甄别题是一个寻找完美被访者的构成。需要把被访者做地域、行业、调查参与频率做相对隔离。但是，迁移到线上调研方式的时候，我们需要考虑这些甄别题目的必要性。

线下拦截的流动性也使用户询问变得容易，如果用户在这些问题不合格的话，大不了再去拦一批。甄别题多一些没太大问题，有访问员能充分进行解释和不耐烦情绪安抚。

但在线上环境中，用户接触没那么容易，可能会因为这些甄别题存在而造成一部分被访者流失，再去寻找新的受访者也比较困难；以及，线上答题环境下，没有访问员及时解答和监督，被访者可能会感到这些问题比较唐突和无关，而放弃问卷回答。还有比较重要的一点，线上访问中，被访者自行填答环境下，为了防止失去耐心而导致乱答，问卷题量需要严格控制，每一道题目的位置资源都很珍贵。

转化方向：考虑好每一道甄别题目的存在必要性。线上样本库调研，通常具有答题信息记录功能，对于经常询问的一些题目，比如年龄、性别，或许有识别记录，可实现自动匹配，无须在问卷中询问。不仅是甄别题，在主体问题中，同样进行必要性考虑，可适当删减题目。

■问题二：原问卷存在行业性、专业性词汇，大众用户不易理解。比如VR、分辨率、功能灵敏度等。不同于传统面访，访问员可以当面给用户的疑问进行解释，在线答题环境下，用户自发填问卷，我们没有过多解释的机会。由于我们身处互联网工作环境，新词汇、行业词汇已经内化成我们的日常交流语言，但是全民理解仍然比较困难。在线投放样本中，可能包含父母辈中老年人、也可能是十八线刚触网的地区，术语存在有可能被访者会误解题意，因而无法回答或给出错误的答案。

转化方向：完全使用通俗语言，或者在题干备注处，用可以理解的通俗语言对术语进行解释。可以找一些身边的亲属朋友进行测试，或者进行“走廊测试”，即从办公室的走廊随便抓几个人（尽可能选择清洁阿姨，或者保安大哥），是一种相对快速和非正式的问卷通俗性测试方法。

■问题三：原问卷逻辑跳转复杂，线上问卷录入系统可能不支持。稍微上规模的外部第三方调研公司都会有自己的问卷编程系统，功能比较成熟，可支持个性化逻辑设置。咱们使用公司内部样本库资源做问卷投放，基本上都是使用网上开放的现成的问卷系统，一些原问卷带有的逻辑要求可能实现不了，如下图：

转化方向：总而言之，在问卷向内迁移过程中，需要评估好逻辑功能的实现，以及不能实现下的解决方法。还要注意的一点，如果是tracking类（每周期都要重复调研，问卷基本一致）项目，需要考虑到逻辑变化后，数据引起的异常变化。

■问题四：原问卷背景问题询问过多，问题隐私性较强。在问卷最后，有时会附上用户背景资料的题目，与问卷主体内容并无太多关联，只是深入了解用户。这样的背景问题在外部第三方问卷中也是一个常态存在，委托调研的甲方有时觉得“我都花钱找你们做调研了，就多问几题吧，虽然这些问题我还没想到目前有啥作用，但是以后万一可以作为分析维度使用呢”。这样的要求会使问卷冗余部分很多，我们在一个做互联网广告测试问卷中发现几题，如下：

这部分的背景题目在问卷中就显得很突兀，题量增大了，但是在分析中实际价值不大，还会让用户有隐私被侵犯的感觉，比较影响答题体验。

转化方向：同样是考虑每一道题目的必要性，对于在本次分析中价值不大的题目，或者一些说不清问不明的历史原因导致的冗余题目，要勇于砍掉。充分考虑用户隐私保护需求，对于一些敏感类题目，例如收入、家庭结构、联系方式等，非必要不询问。

■问题五：最后一点，也是极其重要的一点，在线填答的问卷，一定要控制好题量。无人监督的答题环境下，用户答题的耐心程度肯定比不上有访问员在场安抚的情况。试想，我们在手机上看一篇阅读时长超过5分钟的文章，时常会觉得文章太长了，更何况要求用户需要持续动脑回答问题。在我们企鹅智库的线上调研经验中，我们会将问题控制在30题以内或者回答时间5分钟内，确保用户良好的答题体验，不至于没耐心了乱答。如果题量有点大而实在不能精简了，通常会给用户超额的奖励补偿，而这一开始就需要与用户说明，将答题选择权完全交由用户。

后语

在问卷调研中，数据质量是每一位研究员的最重要关切。我们时常质疑用户不认真答题，甚至撒谎，也会花很多时间进行数据质检清洗，但是，也别忘了给用户制造一个舒适自然的答题环境，这是让用户开口说真话的重要前提。