数字会说话,但也可能会说谎。要透视调查数字背后的真义,必须先对调查方法、调查地区、研究对象、样本数、抽样方法及访问执行,在数字的产出的每一个环节有所了解,才不会上数字的当。
「调查显示,本报阅报率全国第一!」
「调查显示,本服务满意度高达70%!」「调查显示,某候选人领先对手10个百分点!」每到选举或产品促销季节,媒体就充斥着各种民调数字,许多品牌也会引用市调数据做为营销手法,试图以「不是我自夸!这是有公信力的调查机构说的!」,争取消费者的认同。
数字会说话,但也可能会说谎。这些常见的耸动宣传标语背后,隐藏着什么不为人知的真相?
解读数字前,先问「为什么?」
笃信营销研究顾问公司董事长符玉梅指出,要知道公布数字的机构或单位是否避重就轻,只揭露部分对自己有利的讯息,就要先了解「研究设计」。
「如果不追问数字是怎么来的,就很容易落入陷阱,」符玉梅随手拿起桌上连锁咖啡店的咖啡说道,「如果某项调查告诉我,80%的人喝过这个品牌的咖啡,我第一个就会问:『为什么要公布这个讯息?』『这项调查是谁做的?』『样本又是哪些人?』」
因为,数字背后的真相可能是:这家咖啡店为了加速展店,委托调查机构做调查以为宣传,而且首访者就是在同一栋大楼工作的100名上班族,大楼楼下还正好就有这家咖啡店。这样的调查所得到的数字,当然不客观。
「调查方法、调查地区、研究对象、样本数、抽样方法及访问执行,都是在解读数字前就一定要知道的,」符玉梅叮咛,在数字的产出过程中,每一个环节都可能因为调查的设计或执行不当,而产生误差。
仰赖调查结果做决策的营销人员,或是参考调查数字做采买的消费者,都要特别注意以下7个检核点,才不会上数字的当。评估调查数据的7个检核点
1.目标母体定义是否明确?
母群体若定义不明确,就很可能会在调查中纳入不该被包含在内的首访者,或是排除了应该接受调查的受访者。
许多报纸经常争相宣称,自己才是台湾第一大报,读者却往往一头雾水。问题很可能就在于,两报的调查母群体不同。B报的母群体可能是「过去1个月内、读过报纸、18岁以上」的人,而C报的母群体却是「过去1星期内、买过报纸、18岁以上」的人。两报各自挑选对自己有利的母群体来调查,得到的数据当然会大大不同。
要注意的是,研究母体的范围,通常只会用一行小字,标明在研究结果的下方,只有眼尖的读者才会注意到。
2.抽样样本是否能代表目标母体?
好的调查,要有一份最新且完整包含母体的名单。
美国某次总统大选时,某调查机构采用的民调母体是「上届有投过票的选民」。然而,先进国家的投票率通常低至50%左右,若上届投票率只有半数选民投了票,调查就无法了解另外50%选民的意向。再加上上一届选举,许多乡村地区的选民都没去投票,这次却被特定候选人的乡村经济政策打动而踊跃投票,最后造成预测失败。3.抽样过程是否随机?
母群体中的每位成员被抽到的机率必须相等。
1948年美国总统大选时,访员要在特定项目中访问特定数目的配额(如特定的住宅区、性别、年龄、种族和经济地位),但他们却能自由选择受访者。当时,共和党员通常比民主党员富有、教育水平较高,多半有电话与固定住所,也住在较好的小区,使得共和党员较易接受访问,结果导致共和党的受访者过多,造成民调预测失灵。台湾的大楼小区愈来愈多,管理员会管制民调访员进入,导致某个社会阶层的民众无法被抽到,也可能造成偏差。
4.样本数是否充分?
样本数愈大,准确性愈高。
碍于时间及经费限制,企业会用抽样调查,来预测整个母体的意向。不过,只要样本数超过1000,误差率就可以降低至3%以下;但若样本数只有100,误差率就会高达10%。若企业在打算推出重要商品时,经调查发现100位消费者中,有70位对新产品有兴趣,但由于样本数仅100人,因此加上误差值后,调查结果就会变成「有60%~80%消费者有兴趣」,公信力自然显得相当薄弱。
必须注意的是,就算样本足够,但取样不随机,结果仍会有误差。电视节目call-in、手机和网络投票,就是最明显的例子,因为投票者是自愿参予调查,代表的是最主动、积极的意见,得到的结果当然会显得较为极端。
5.回复率是否理想?
回复率过低,可能会使调查低估了「沉默受访者」的意见。
由于电话诈骗泛滥,使电话访问的拒访率高达90%,访员平均要打10通电话,才能找到一位受访者。拒访率的升高,难免使得调查结果的代表性启人疑虑。1936年,美国《文学文摘》(Literary Digest)与某车厂合作,以订户与车主为抽样清册,寄出上千万份问券,得到超过200万人回函。分析结果预测共和党候选人蓝登(Alf Landon)将以57%的支持率,胜过现任总统罗斯福(Franklin Roosevelt)的43%。但最后,罗斯福却以61%的压倒性胜利当选。
造成预测失误的原因可能有两个。第一,回复率只有22%;第二,抽样清册为杂志订户及车主。当时美国正值经济萧条末期,这样的抽样设计,等于是抽出了选民母体中较为富裕的样本,将穷人排除在外。由于穷人特别支持罗斯福提出的经济复苏计划,但这群人却遭到遗漏,致使调查无法反映所有母体的投票意图。
6.受访者是否准确无误地回答问题?
受访者可能会因为听错问题而答错、因访问太长而敷衍回答,甚至为了面子,而说出自认为访员希望听到的答案。为减少这些误差,测试单位必须进行「前测」,来修正问卷或调查方式。
7.研究结果是否说明抽样本的变化性?
一份负责的调查,会主动说明可能影响抽样准确度的变因,例如回复率偏低、样本数不足等