引言 满意度研究是一种常用的研究方法,起源于上世纪60年代的线下服务消费行业,在无法长期跟踪和收集用户数据的前提下,用于量化阶段性的服务效果。然而对于互联网产品,做满意度研究是否具备相应的价值和差异性?本文总结了一次满意度研究的项目经验,并分享提升研究价值和效率的方法。
满意是一种心理感受,指用户对一项服务的质量的主观评价。“满意度”影响用户使用产品的愉悦度和满足感,进而影响粘性和忠诚度。满意度研究的目的是量化用户预期和使用感受的匹配度,从而检验服务关键指标的实现程度,以此辅助找到产品和服务的提升方向,目的是提高客服的复购率,降低客户的流失率。
本文目录 Part1.一次满意度研究项目的简要回顾 Part2.对满意度研究的必要性、价值进行反思 Part3.提升满意度研究价值和效率的方法
在开始这个项目之前,需求方以及研究双方对研究的预期是比较低的,主要有三个目标:对很久没有做过满意度调查的产品做一次初步的摸底调查;了解各个模块的基本情况和用户的实际满意度;达成共识,首次得到满意度的指数无法做时间线上的纵向对比,参考价值不会太大。
然而报告发布后的反馈超出了预期很多,体现在:得到了需求方认可,报告被部门内多方传阅;引起了连带效应,有其他产品策划找到了用户研究员,希望也可以做一次满意度调查;研究结果虽然没有直接的改进方向输出,但影响了产品下一阶段的战略。
经过对需求方的采访,以及自己的观察,我认为这次研究反馈较好的原因有: 1.研究的结果反直觉,跟现有的产品数据表现不完全吻合。 比如有些渗透低的模块,满意度很高;而渗透高的模块满意度却很低,引起了大家的关注。
2.在一些开放性题目中用户留下了很多真实的声音,从中得到启发。 虽然在专门的用户收集意见平台也记录了用户反馈,但在本次问卷中用户的意见更聚焦于某类的使用问题
3.研究恰逢新功能上线不久,需求方通过研究结果及时了解了该功能的满意度,收集了阶段性的评估数据。
4.了解了各个模块的用户满意度的排名,指引了优化的方向和优先级。 总结为三个关键词,就是:有数据、有惊喜、有优化方向。
虽然研究得到了不错的效果,但的确也存在多方面的局限: 1.一些导致用户不满意的问题是已被发现的老问题,解决的天花板低,往往是多方限制造成的,很难从设计这个领域去解决,因此部分结论无法落地和转化。
2.发现了问题但不知道原因是什么,需要补充定性研究。比如,让用户不满意的其中一个原因是“功能操作很麻烦”,这时候会让我困惑,到底是因为用户不理解操作方式、还是因为路径过长、步骤过多?我们没法直接判断,所以很难改进。
3.人力成本很高,一位设计师(我)投入了整整一个礼拜,去处理数据和撰写报告,包括回收、清洗、绘制数据图表、再输出报告,而作为设计师,平时的主线是设计类的工作,如果复制这样的研究模式,我本人的工作应该支撑不了。
仍记得在首次接到需求时,我们对满意度研究的必要性和价值是存疑的,当时认为后台有非常多的产品数据可以查阅,通过分析用户数据结合访谈的形式即可达成目标,在时间资源非常宝贵的情况下,我们似乎可以做其他更有价值的研究:比如增值服务探索、新功能的需求挖掘等等。不过基于开放的研究心态,我们依然完成了本次调查,在结束后,综合反馈和局限,我认为满意度研究的确是必要的,而且具备一定价值的。
后台的用户数据大多指向的是功能的渗透率、留存、用户活跃度和行为路径,能够分析事件,而满意度研究所回收的数据可了解用户的使用感受现状,通过对满意度的指标拆解和评估能够更立体、全面地看待产品的数据表现。比如,分析产品数据可以知道流失用户的比例,通过满意度调查则可以尝试发现用户流失的原因和定位关键的问题。另外对比在用户反馈平台里的用户留言,后者的内容大多数都较为负面和极端,而满意度研究的结果更具备普遍性,能代表大多数用户的真实情况。
在不同的场景或不同的产品阶段下,满意度研究的价值体现也不相同。 1.在新功能快速迭代的阶段,可以通过满意度研究衡量和检验产品核心指标的落实程度,从而定位优化方向。比如滴滴公司,通常在用户首次体验新服务之后,在界面弹出简洁的调查问卷,问卷选项即为服务的指标,以此收集用户的满意度数据。
2.在产品或功能很久没有优化的时候,满意度研究用于了解用户的使用现状,监控功能的健康程度。案例:某互联网产品的某功能,是一个有5年历史的核心功能,渗透高且没有太多的负面数据,若不是满意度研究,也无法得知原来该模块的满意度已处于平均水平之下,值得引起重视。
3.在功能或产品大改版之后,通过满意度研究,辅助验证改版设计是否达到了目标,这类应用场景也是设计师们最常用的场景。
(满意度研究在不同场景下的价值总结)
选择研究的目标对象,是一项研究最重要的工作之一。做满意度调查触及的用户往往是正在使用功能/产品的用户,其中大多数是产品的活跃用户,有可能会存在幸存者偏差:即不满意、不感兴趣的用户已流失,导致研究数据的满意度偏高。为了让回收的数据更客观全面,在选择目标用户时,应考虑不同分层的用户,比如新用户、活跃用户、低活跃用户、流失用户等等。
这种研究场景的目标是在新功能迭代的阶段能够及时收集用户意见及满意度数据,用于快速改进产品设计,所以可以在产品内放置固定的问卷入口。或在用户首次使用完新功能后,推荐用户参与满意度调查,因为此时用户印象最深,没有以往的偏见和经验,而且新鲜感最强,对阻断性的调查没有那么反感,还有可能产生一种“我被重视”的正面感受。比如我之前在首次体验滴滴新推出的礼橙专车服务的订单结束后,就弹出了满意度调查的交互组件。
面向长时间未优化过的功能,更加要关注用户分层数据(活跃、沉默、流失等等)选择合适的时间段,通过push推荐等形式直达用户,鼓励他们参与调查,值得注意的是,前文也提到,这类功能上线时间长,必然会存在流失或沉默用户,为了获取他们的调查数据,更加需要精准定位到这类用户做推荐,也可以设置适当的奖励,提高他们的参与动力。
在产品完成大的版本迭代后,我们会进行满意度调查,对比前后的满意度数据指标,是一种从用户侧衡量迭代效果的手段。通常在用户熟悉和适应新版本的期间,产品的数据会产生一定的波动,同时也有不少用户仍在使用旧版本,因此研究需要在产品整体数据表现平稳,新版本覆盖率达到理想状态后再开展。
(不同场景下的研究时机选择)
研究内容直接指向了成果的价值和指导意义。量化满意度,首先要把满意度的指标拆分,目的是从整体到局部,从概括到具体,抽丝剥茧地找到改进的方向。我们一般会把指标拆分为三级,一级指标数据是产品的整体满意度,用于横向对标竞品,或对产品版本做纵向的数据比较。二级指标由一级指标拆分,指向产品的重要模块或目标,数据用于对产品的各功能/模块做横向比较,以此类推,三级指标由二级指标拆分,用于衡量二级指标的满意度,这些要素影响了该功能能否持续健康地发展,结论数据可以量化用户不满意因素的占比。指标构建最重要的是紧扣产品和业务目标和北极星。三级指标是衡量二级的要素,比如支付的成功率、用户操作的流畅度、安全信赖感等等。
确定一级指标和二级指标往往不困难,难的是如何拆分完整的三级指标。在这里分享我的方法:与用户操作体验相关的内容,我会通过用户访谈、可用性测试和查看用户反馈留言进行预研,尽可能地穷举各种可能性,再回归用户需求、产品目标进行筛选;而与技术、产品有关的维度,则与相关负责人共同建立。另外,这些指标不是一成不变的,根据一次次的研究和业务变化不断进行修订。
(满意度研究的指标拆解)
1.选择行业通用或常用的工具
例如在设计问卷时,可使用以与行业对齐的问题模板,比如我们常见的里克特量表(还有以此延伸出来的7分、10分问法)、以及服务行业常用的nps工具(净推荐值)等。目的是维持一套通用的数据计算方式,更好地对数据的横纵向对比。
(常见的几类问题模版)
2.适当增加定性研究
上文也有提到,在设计问卷前,通过定性研究可以对三级指标完成更丰富的构建。还是以支付宝为虚拟例子:通过用户访谈,可以了解原来用户对支付模块不满意的原因有打开步骤多、页面卡顿、找不到支付码等等原因。如果光靠自己想象,很难把所有的情况穷。更重要的是,在研究结束后,对于一些不明确的问题和现象,还可以通过定性研究深入探索原因,补充研究结论的深度和完整度,如果时间允许都应该去做。
研究建立一套可复用的问卷模版,可以大大提升每一次研究设置问卷的效率,我把问题模版分成了三类:完整版、敏捷版和极简版。三种不同的问题模版有不同的适用场景,比如,完整版用于全面地地评估一个产品,但题目数量会非常多,因此更适合在高奖励的前提下让用户在稳定的设备里填写;敏捷版可以对产品做较粗粒度的评估,在完整性得到满足的前提下,简化了问题数量,但结果可能不够全面和深入;极简版问题更适合针对单一功能或要素的考量,对用户而言填写成本很低,不过应用场景很单一,研究面也非常窄。三种问题模版的对比在下图有详细说明。
(不同问卷模版的优缺点总结)
那么,三个版本分别有什么区别呢?还是以虚拟案例支付宝的满意度研究为例。
完整版的问卷模版对一、二、三级指标都设置相应的考察题目:
一级指标考察题目:你使用这款产品的整体满意度是?(非常满意/满意/一般/不满意/非常不满意)
二级指标考察题目:你使用这个功能的满意度是?(非常满意/满意/一般/不满意/非常不满意)
三级指标考察题目:对于“支付流程,无卡顿”这一点,你的感受是?(非常同意/同意/一般/不同意/非常不同意)
敏捷版的问卷模版与完整版的区别在于三级指标不再设问题,而是成为于探索二级指标不满意的原因选项)
一级、二级指标考察题目(同上)
三级指标考察不再分别设单独题目,把要素放在对二级指标感到不满的原因追问题目中,例如,向那些对支付功能感到不满的用户提问:你对支付功能感到不满意的原因是?(支付卡顿不流畅/操作步骤多/感到不安全)
极简版的问卷模版结构更加灵活,可根据研究的需求从上述问题中选择,但需要注意,尽量控制在3道题以内。
(不同问卷模版的详细说明)
研究的成果若要获得项目组的认可,除了研究质量高、内容合理科学之外,还要和需求方在研究目标和内容等重要维度上达成共识。在一些关键工作中,甚至可以让需求方一起参与进来,比如上文提到的满意度指标构建。下图展示了各个阶段的沟通内容:
做满意度研究看似有固定的方法和模式,但每次研究都有其特性,应该根据产品的实际情况和项目阶段选择合适的方法。另外,满意度应该是一项长期监测的数据,研究也应该保持一定的周期性和延续性。
最后,在我查阅资料的过程中,发现行业里还有很多的方法和工具,比如RETER模型、瑞典顾客满意指数模式(SCSB)、美国顾客满意指数模式(ACSI)等等,感兴趣的同学也可以多加了解。
本文来源:一条农设计(ID:yitiaolongsheji)