现将定量的产品评估的通用方法总结如下,以帮助各位成功的完成自己产品的评估。定性的用户调研方面的内容将在后续再补充。
通用的定量产品评估方法主要分成4个步骤:1. 理解产品、设定目标2. 设计评估方案3. 设定实验方案4. 指标评估
其中1和2需要在产品启动之前就完成,接下来分别详细的描述5个步骤。
1.理解产品、设定目标这一步主要是决定产品是否需要启动的前提,需要调研产品的市场:包括产品的目标人群,产品的市场(目标人群的数量及产品的使用频率决定了整个产品的市场空间)、产品的目标(分阶段性的)具体如何调研产品的市场见之前的总结文章,如何做市场调研?http://blog.sina.com.cn/s/blog_647a6eee0101a8e3.html
在这个阶段,需要确定产品的目标;而目标需要通过各种指标来实现量化。如何设定出合理的评估指标呢?只需要遵从以下步骤:1.1设定关键指标:最能表现产品目标的指标,如商业产品可以设定为消费额的提升;如用户产品可以设定为活跃用户数等,具体的指标需要通过不同的产品来设定。1.2 评估目标人群:包括人群的数量、使用频率、人群特征、人群使用产品的流程1.3明确产品的需求满足情况:根据人群使用产品的流程确定产品的设计满足的需求,通过这些方式来达到整个产品的目标。1.4根据产品项目的预期进行量化目标的预估,以保证后期产品的评估。例:客户挽回类产品
2. 设计评估方案这一步主要是针对产品进行具体的评估路径细分,设定出具体的过程指标。过程指标:根据人群使用产品的流程确定过程指标,即通过过程指标可以达到关键指标。此过程指标是对关键指标的一种补充和支持,否则无法足够有力的证明关键指标。
评估方案包括:2.1评估路径:确定产品达到目标所要经过的路径,一般直接性的产品比较容易达到,间接性的产品不太容易直接进行监测。2.2 设定过程指标2.3 确定比较对象:A-BTEST,实验组和对照组,其中实验组进行产品的使用,对照组未进行产品的使用。通过比较实验组和对照组前后的差距以确定产品的效果。2.4 评估方法(实验组实验后/实验组实验前)-(对照组实验后/对照组实验前)根据统计学的同质规律——两足够大的集合在一段时间内某个指标增减一致,那么之后他们的趋势也将一致
例:
3. 设计实验方案
3.1 小流量实验:
STEP1,选取实验组代表整体
STEP2,选择对照组与实验组同质
3.2 全流量实验:
STEP1,选取对照组代表整体,其余为实验组
STEP2,选部分实验组与对照组同质进行评估
3.3 样本抽取:抽样样本的指标与整体样本的指标之间的抽样误差要显著小于预期产品可产生的指标变化量。3.3 实验周期:检索策略即时生效,交互类策略需较长时间等待用户(客户)感知并反馈。4. 指标评估
按照A-B TEST的公式进行指标结果的计算,并且与开始的时候做的产品进行对比,以确定最终实际的产品效果。并且评估具体的指标情况,以进一步针对各种指标进行对应的产品不断优化。