前面的文章谈到了很多数据挖掘的方法论,对于方法的应用都直接给出了问题的研究假设,而本文倾向于讲述如何提出问题假设。问题假设是数据分析整个链路的上游环节,可以说好的结论都是基于好的研究问题假设和合适的分析方法。问题假设需要有良好的商业敏感度,但实际我们经常会更容易以常识或主观的角度,将自己作为用户,从单一角度去看待业务。在用户体验分析中,分析师容易忽视用户研究团队的能力,忽视定性研究带来的业务启发。通常数据团队和用户研究团队的研究结论有一些尴尬处境,数据团队基于观测数据利用数据挖掘方法得出的研究结论,对于业务来说缺乏解释性和用户理解,导致业务无法基于问题结论找到突破点;而用户研究团队基于抽样样本得到的定性研究,又无法评估因素的影响重要度和用户比例,以至于业务无法重视该问题的严重性。因此数据团队和用户研究团队合作能相互解决各自的缺陷,这种心理学加数据科学的方法得到的结论更容易落地到业务中。
Spotify是全球最大的在线音乐流服务平台,为提升用户体验,将数据科学团队和用户研究团队合并,加大对洞察以及跨部门协作方面的投入。洞察实践中最重要的部分是确定研究问题,因为他们认为确定研究的问题这一步永远比问题如何被解决重要,然后依靠整个团队来寻求合作和研究方法。用户研究人员在评估性研究方法上比较擅长,数据分析师更偏向定量研究。一般合作的流程有两种,一是用研通过小样本的用户访谈,得到定性的研究假设,比如影响用户留存、复购的因素;然后分析师通过设定这些因素的数据指标,定量分析因素的重要度和各因素的用户比例。二是数据分析师已有一些数据结论,但苦于无法解释用户心理或感知的相关因素,需要用研进一步利用问卷调查,用户访谈等方法摸清用户感知的渠道和能力。
先定性,再定量;分析师为定性假设提供数据验证
用户研究员先使用定性研究分析得出相关结论,并大致提出问题的假设,然后分析师对其进行定量测试。任何互联网公司都不会在用户调研下投资开发新的产品或功能,更不会在没有样本测试下直接将新功能投入生产环境。用研基于研究目标,通过公司以往的用户研究结论和学术上的经典结论,提出定性研究的相关变量。进一步的,用研将这些变量转换成可询问的问题,客观的得到用户的感知程度和感知方式,基于用研结果可提出更具有解释性、说服力的假设。分析师为这些论点找到清晰合适的可衡量指标,推动数据进一步定量验证用户面对问题的影响程度。数据科学家和用户研究员不必只局限在自己的职能。他们可以改善彼此工作的任何想法,把这些idea分享给对方、甚至进行辩论,加深对研究不同角度的理解,合作得出更全面、稳健的结论。团队着重于讨论结果(如此功能是否会提高产品满意度?)而不是方法(如对该满意度数据进行逻辑回归)。
先定量,再定性;大量的定性分析为定量结论解释数据
分析师在数据探索中,发现一些有趣的数据现象,而无法再得到用户感知层面的数据,用户研究可以调查实际情况。比如,在探索性数据分析中发现部分用户的不同行径。这个时候产生一些关于为什么这个现象会发生的假设。然后用研定向找到有这些行为特征的用户,并对这些用户进行研究(比如,可用性测试、日志研究、问卷等方式定性研究)。最后的研究结果对团队决定如何使用该产品以及对产品表现的期望有很重要的影响。
最后报告,以用户故事代替直观数据
数据驱动业务决策,不仅需要收集有效的洞察,而且还必须以令人信服的方式展示这些洞察和量化对用户群的重要性。
在这里,团队的“跨领域”属性发挥了很重要的作用。当和设计、工程和产品管理岗位的同事一起工作时,他们会尽可能地先给出一个整体的背景信息,比如,除了看显示数据的图表,他们还会看用户访谈的视频录像,除了看A/B测试的结果,也会同时看问卷调查的结果。这样的话,一些关键结论就会根据多个角度的信息来源得出。这样的丰富的、立体的视角,对于让设计师、工程师和产品经理更深入地了解用户有着莫大的帮助。
定量和定性研究案例
诺贝尔经济学奖获得者丹尼尔·卡尼曼提出理论,因为我们的大脑无法记住每时每刻的经历,所以他们会使用思维捷径(称为启发法)来选择重要的东西。情感是最重要的启发式方法之一——越强烈和越新的感觉,体验就越令人难忘。这些发现是被称为“峰端法则(Peak-end Rule)”的心理学原理的基础。
什么是峰端法则?人们根据经验在最高峰和最近时的感受而不是每时每刻的平均水平来判断一种体验。对于品牌来说,这意味着客户将仅基于两个时刻来记住他们的整个体验-体验中最好的(或最差的)部分,以及最终的体验。
人们根据体验的高峰和最近时的感受,而不是每时每刻的平均值,来判断一种体验。要改变人们对品牌的记忆,只需要完善两个时刻-高峰和终点。那么,如何将峰端法则是否适合应用于自己的业务呢?这里以在线教育为例,想了解已付费用户的用户学习体验,并优化体验后促使用户再复购。
首先,定性研究探索以下两个问题:
客户在哪里感觉最好和最坏?从哪些维度或渠道感受到体验的好坏?想解决这个问题,建议用研创建一个客户体验旅程图(Customer Journey Mapping),以了解用户的情感体验。
客户路径最后的节点实际上在哪里结束?许多品牌都犯了过早“终止”其体验的错误。例如,在电子商务中,购买体验或产品拆箱被视为客户的“目标”。但是,如果他们需要退回物品,或者您的送货伙伴丢失了包裹怎么办?同样,客户旅程图对于确定体验的实际结束点至关重要。
通过用户访谈了解到用户复购时最关心学习意愿和学习效果,并通过问卷的李克特量表得到用户对整个体验的打分值,而用户在购买课程后学习到每个等级结束和复购活动前夕最容易影响其对学习意愿和学习效果的体验的判断,这一结论直接打破原始根据经验——以用户学习路径中的整个平均值来代替用户体验值。
分析师将用户体验指标修正后,通过后端数据得到较为客观的三个指标,体验平均值、体验高峰值、最近的体验平均值;并将其与定性量表中用户的主观评分进行相关性分析比较,得到体验高峰值>最近的体验平均值>体验平均值,因此验证得到峰端法则的经典心理学理论确实在自家的业务上适用。
因而业务根据这一结论,想到了一些业务策略,比如在用户体验评分高的时期推广复购活动,并且在复购前期增加一些销课激励活动。通过进行长期的 AB 测试比较发现,新策略使得转化率相对提升 10%。