文/Lee Markowitz 翻译/周蓓 宫尚君
无论是研发新产品还是管理现有的产品,产品测试都至关重要。如果产品不能准确表达预期的概念,再好的创意理念和品牌定位都注定要失败。产品测试能够为很多关键的营销问题提供答案,包括:
在所有备选产品配方里,哪个配方是最佳选择?最佳配方面对竞争对手孰胜孰负?我的产品是否和该产品的概念吻合?该产品能够带来多少销售收入?现有产品改用低成本配方,其市场表现是否会受到影响?产品配方改进能否在留住现有顾客的同时吸引新顾客?如何优化我的产品配方?这些关键问题的答案引导了产品研发的方向,也决定了产品在市场上的成败。要最大限度地从产品测试过程中获取信息,最好的办法是设计一套行之有效的产品测试体系。将产品测试体系化有三个优势:其一,有助于保持每次产品测试的协调统一,具体体现在样本量、置信区间、测试方法、问卷设计、数据分析和报告格式等方面。其二,能够利用大量的测试数据建立产品测试数据库,并为关键指标提供参考标准(NORM)。其三,积累的测试数据可以结合多种分析工具进行复杂分析,以了解到底是哪些产品因素在影响消费者对产品的评价和喜好。设计产品测试的时候必须考虑周到、谨慎而行。测试方法应当服务于研究目的。确定测试方法,首先要考虑的是选择具体的测试类型,包括:简单型单一产品测试;顺序型单一产品测试;配对比较产品测试;组合型单一产品测试;多项产品测试(Multi-Product)。此外,是否展示测试产品的品牌也是一个重要的考虑因素。在过去的几十年里,益普索营销研究和多家“世界500强”家用消费品公司密切合作,在实践中总结了一整套指导原则,依据这些原则设计产品测试,可以确保测试适用、可靠。
单一产品测试大类VS 配对测试大类
产品测试主要有两大类型:单一产品测试和配对测试。具体包括:配对比较测试、组合型单一产品测试和顺序型单一产品测试。除上述两大类型之外,还有另外一种测试类型—多项产品测试(一般包括三个以上产品)。多项产品测试的适用场合是:当产品测试的目的是通过了解哪些产品因素在驱动产品表现,进而对产品进行相应优化的时候。进行多项产品测试,被测配方是产品要素的试验性组合,因此,相对于单一产品测试和配对测试,多项产品测试的设计有很大不同。我们接下来的讨论仅限于前两大类。简单型单一产品测试每个被访者试用一种产品,并对该产品在一组问题上逐一打分。(译注:例如,您对该产品口感甜度的整体评价是:1.非常不满意。2.比较不满意。3.一般。4.比较满意。5.非常满意。)配对比较测试每个被访者试用两种产品,并回答一组问题,这些问题以对比的方式请被访者对两种产品进行评价。(译注:例如,您认为在试用的两个产品中,口感甜度方面更胜一筹的是:A.甲产品。B.乙产品。C.两者没有区别。)组合型单一产品测试每个被访者试用两种产品,并回答两组问题。具体而言,每个被访者试用一种产品,并对该产品逐一打分,就像简单型单一产品测试;然后该被访者试用第二种产品,并就两种产品回答一组比较性问题,就像配对比较测试。两种产品的试用顺序可以在被访者间轮换。通过比较两种产品的打分结果(译注:即简单型单一产品测试的结果),我们可以了解产品间的差异是否有意义;通过配对比较的结果,我们可以了解哪种受测产品更受青睐。顺序型单一产品测试每个被访者试用两种产品,对两种产品分别打分,这种方法就是顺序型单一产品测试。具体来说,每位被访者试用第一种产品并对该产品打分;接着,同一位被访者试用第二种产品并对第二种产品打分;最后,被访者回答哪种产品更受喜爱。被访者对第一种产品打分的时候,应当没有预料到会有接下来的第二种产品测试。利用顺序型单一产品测试,我们可以同时利用单一产品测试得到两种产品各自的打分结果,利用配对比较测试得到两种产品的对比结果。然而,一旦被访者试用了第一种产品,其对第二种产品的打分结果就不再是真正意义上的单一产品测试,因此看起来可能难以理解(译注:保持单一产品测试结果有效的前提是:同批次产品测试中,单一产品测试前不应该有同类型测试)。基于这个原因,相对于顺序型单一产品测试,我们尽可能推荐组合型单一产品测试。单一产品测试和配对测试作为产品测试的两大类别,其区别主要在于有效性和敏感性:前者的有效性更好,因为这种测试方式让每个被访者每次试用一个产品,符合现实生活;后者的敏感性更好,因为这种测试方式让被访者接触并依次使用两种产品,能够着重体现产品差异。这样看来,我们在两大测试类型之间应该如何选择呢?一般来说,当被测产品之间的差别易于分辨的时候,可以选择单一产品测试,典型场景是产品研发阶段,其时的重点问题是辨明消费者对该产品的喜恶态度。单一产品测试对于革命性型新产品的评估也很适合,因为这些产品没有现存标准或竞争对手进行对照。同样适用的还有购买周期较长的产品,漫长的使用周期导致产品对比困难。当产品备选配方之间差异不大的时候,单一产品测试很难分清其差别—除非有极大的样本量,和随之而来的极高的成本。在这种情况下,相对于单一产品测试,我们更推荐配对比较测试、组合型单一产品测试或顺序型单一产品测试,因为这三种类型在辨别产品差异方面更胜一筹。一个可能的场景是测试调整后的产品配方的时候,备选配方之间(或者自有产品和竞争者产品之间)很可能仅仅有微小的差异。最后,当产品使用周期短或者不同产品几乎经常被同时使用的时候(译注:这里的“不同产品”指的是同类型不同产品),配对测试更加可靠。很多客户偏向使用组合型单一产品测试或顺序型单一产品测试,原因是:在一个测试项目下,其中任意一个测试类型都既能保证有效性又能保证敏感性。虽然这两种测试类型需-爱华网-要的操作时间更长,但是相对简单型单一产品测试成本更低。盲性测试VS贴牌测试
被访者参加的产品测试,可以是盲性测试,也可以是贴牌测试。在盲性测试中,被测产品的品牌被隐藏,因此试用者(通常是该品牌用户)无法直接识别被测产品。选择盲性测试还是贴牌测试,取决于产品研发所处的阶段以及如何使用产品测试的数据结果。何时采用盲性测试如果测试的目的是在产品配方之间进行比较、选择,那么就应该采用盲性测试。进行盲性测试的时候,消费者看不到品牌,他们不会因为品牌效应对测试产品有先入为主的看法。所以,被测配方之间的性质差异得到了有效关注。盲性测试可以在产品研发的早期阶段使用,也可以在产品重新定位时使用。当厂商进行产品测试的目的涉及以下问题时,应该使用盲性测试:|!---page split---|消费者认为哪种配方最佳?各个产品要素之间的相互影响是怎样的?不同要素之间是否存在协同作用?产品的哪些属性在驱动产品的整体表现和消费者满意度?仅仅从配方来说,我的被测产品和现有产品相比表现如何?如果换用高成本配方,消费者能否识别并认可这种变化?如果换用低成本配方,消费者能否识别并认可这种变化?被访者参加盲性测试前,应确保被测产品的标签使用中性字母和数字。极为重要的一点是不要使用A、B或10、100之类的标签,因为它们暗示了被测产品之间存在一定的优劣排序。标签可以类似于J38和K23。分析盲性测试的结果时,必须注意,被测产品之间的差别经常被放大。这种放大是可以接受的,因为测试的目的通常是最大限度地了解差别。如果这些差别在盲性测试中没有被观察到,在贴牌测试(或者真实市场)中就更不可能被观察到。即便是盲性测试中已经被观察到的差别,在现实世界中也有可能不被察觉到。基于这个原因,我们建议:在每个盲性测试后追加一个贴牌测试。何时采用贴牌测试在产品测试过程中,将被测产品的品牌展示给被访者,被访者会因为品牌效应对被测产品产生一定的预期,如同真实环境中一样。由此,贴牌测试反映了被访者在真实环境中对产品表现的评价。如果产品测试的目的是在品牌作用影响下衡量产品的表现,应该采用贴牌测试。譬如,厂商改变产品配方的时候,经常同时对品牌重新定位。要确定新的配方是否和新的品牌定位相吻合,可以使用产品测试或概念测试。厂商一般会采用单一产品测试方法测试贴牌产品。要和现实场景保持一致,被访者家中是贴牌测试实施地点的天然之选,试用时间应该足够长,给予被访者重复使用被测产品的机会。对于那些革命性的新型消费品,如果不能确定产品是否、如何被重复使用,试用期应当延长至较长时间。例如,一些产品在被用完丢弃之前,可以使用数次。同样重要的是,在试用期长的时候,应对测试保持关注,以及时了解产品表现何时下滑。对于其他产品,可能有必要直接了解被访者的具体试用过程,具体问题包括使用频率、使用场合和各个场合的使用数量—这些可以通过入户测试实现。分析贴牌测试被访者对产品属性的评价,必须注意品牌作用的影响。在总体人口样本中,受欢迎的品牌,相对于不受欢迎的品牌和认知度低的品牌,表现会更好。这种差别在各个品牌的用户群内可能会缩小。特别重要的是,在贴牌测试里要关注、比较自有品牌用户组和竞争者品牌用户组的结果,这样可以判定新配方能否吸引新用户或丢失现有的用户。存在品牌作用的时候,更难分辨哪些产品属性在驱动产品表现。在这种情况下,我们推荐使用更高级的数学工具进行分析,如岭回归或沙普利值分析。即便如此,贴牌测试仍然能对产品进行有效的整体评价。总结
实施产品测试必须考虑周到。至关重要的是要正确认识产品测试的目的,这样才能在测试设计中对有效性和敏感性做出取舍或两者兼顾。同样重要的是决定测试是否应该受到品牌效应的影响,当品牌效应确实影响测试的时候,需要对数据进行谨慎、深入的分析。总体来说,盲性测试用于评价产品本身的表现(译注:即产品的性能表现),因此盲性测试经常结合配对测试进行(例如,将被测产品与现有产品或竞争者产品进行比较)。贴牌测试和营销目的关系更大(译注:指营销策略、产品定位等),一般以单一产品测试的方式进行。例如,通过概念/产品测试了解概念和产品是否吻合。 (本文作者为益普索营销研究消费品行业全球首席研究官。)