爱华网这是参家台湾与新加坡高阶人资论坛中，我觉得田冠钧提出这一部份经由讨论后的观点是值得拿出来与大家分享的—打破检验训练成效ROI分析的迷思。
近几年来，在数字学习推广单位的呼吁下，ROI分析(Return on Investment)已经成为训练单位以及计划审查单位相当重视的一项评鉴数据。虽然这是相当值得肯定的现象，然而根据我的经验，许多训练人员对ROI分析存有许多迷思，所以我特别将这些迷思提出来，一起讨论分享。
一、 ROI 高，代表教材质量也高？其实，质量优异的教材，ROI不见得高，而质量普通的教材，却可能也有不错的ROI。举例而言，某组织的员工们觉得主管的绩效考核方式不公平而情绪低落，无心工作，结果主管采购了一门「热爱工作」的数字课程，想要激励士气。可想而知，无论这门课程质量多好，士气低落的问题还是无法解决，ROI 自然不高。相反地，如果某组织的业务人员因为不熟悉产品性能而导致业绩不佳，结果主管就制作了一份清楚的产品型录给业务人员随身携带，由于对症下药，即使该型录无法通过教材质量认证，也会因为成本低，效益高，而产生很高的ROI。所以，要提升训练的ROI，最重要的是改善绩效评估的决策质量，而不是教材质量。
二、 采购产品时，应该要了解该产品过去的ROI记录作为选择标准？由于计算ROI时，必须把大量的组织特质（使用人数，实施方式，现有离职率…）纳入公式中，使得ROI 与组织特质高度相关。同样的教材，运用在不同组织，会得到截然不同的结果。一般而言，当课程使用人数多，或者所针对的绩效问题改善空间幅度大时，较容易得到令人满意的ROI。由于每个组织的特性不一，在没有清楚了解ROI 的计算过程以前，不宜以别组织的计算成果作为选择产品的标准。
三、 分析ROI的目的，是要算出一个精准的数字用来代表训练成效？投资大众习惯以「每股获利(EPS)」来评估企业经营成效，并据以作为选购股票的参考指标。然而EPS这个数字之所以有价值，是因为企业背后有一套法律所规范的会计流程在持续运作，再加上会计师的签证稽核，才让我们对这个数字产生信赖。对训练人员而言，我们虽然也希望算出精准的ROI，但由于训练效益往往是无形的，所以必须以「推估」的方式，才能将无形效益换算成货币价值，这个推估的过程就是很大的误差来源。而另一方面，ROI的计算方式至今尚未有一套共享的规范，一旦选用的参数不同，结果也差之千里。这些种种限制，使得训练项目的ROI数值，其参考价值无法媲美「每股盈余」这种数值。面对这种困境，训练人员应该退一步，不要投入过多心力在「计算最终数值」，而应该更关心ROI分析时「原始数据的正确性」、「推估逻辑的合理性」、「分析过程的一致性」以及「项目之间的比较性」。而当有机会呈报数据给决策主管时，不要只呈报结果，而应该把这些过程中所使用的参数与公式一起列出来，才能让数据有足够的说服力。
四、 ROI 分析做得愈频繁，代表训练做得愈好？偶尔会听到训练人员自豪地说「我们单位的训练课程都有做到第五级评鉴的ROI分析」，这句话好像把Kirkpatrick的评鉴模型当作爬楼梯一样，爬得越高代表越厉害。其实「有没有计算ROI」不是那么重要，重要的是「有没有善用ROI的分析技术作为决策参考」。当训练单位声称某课程产生「高达600％的ROI」可是第二年却没有加码投资这项课程时，这结果就令人玩味了。一般投资大众，如果在某项投资获得600％的ROI (其实120％的ROI 就已经相当高了)，一定会加码投资，如果训练单位算出这么高的ROI 却不愿投资，那就代表这个数字有问题，虽然「做出ROI」了，可是却「无法成为决策的参考」，这就失去分析ROI 的意义了。
虽然分析ROI 有如此多的挑战，我还是认为这是训练人员必须坚持走下去的路，只是在前进的路途中，我有几个建议：
一、 ROI 要做就要将所有的训练项目一起分析，不要只分析一两个项目：人类对于数字的认知，经常必须透过比较才能产生意义。举例而言，某个学生数学考80分，是好还是不好？其实不知道，只有在先了解全班其它同学的分数之后，我们才能帮这个分数找到定位。如果全班平均是60分，那80分显然相当高，如果全班平均90分，那80分显然有待加强了。训练项目也是如此，一个得到「150％ ROI」的训练项目，是好还是不好？在没有比较别的训练项目的ROI时，我们无从判断。
二、 ROI 的评鉴流程与评鉴项目必须标准化：一旦我们决定把所有训练项目都一起做ROI分析，就要把评鉴的流程与项目都保持公平一致，才能让结果有价值。如果每个项目采用的计算方式各自为政，就无从比较其结果了。保持评鉴流程与项目的一致性，还有个特别的优点：它让「推估」过程所产生的误差也保持一致，所以当项目之间进行比较时，这些误差可以互相抵销，而让真实的价值自然浮现。举例而言，如果你帮一个学生的成绩加了10分，这个学生的排名会往前移动，这是不公平的，可是如果你帮全班的学生都加了10分，他的排名是不会移动的，就变得公平了。透过标准化，我们可以减少误差所造成的影响，让结果更令人信服。
三、 把ROI 分析当作是一种「训练中心提升效率的自我诊断工具」：当训练中心把所有项目都透过一致的评鉴流程与项目加以比较分析时，就会有足够的数据，来诊断出每个项目的弱点或者强项，作为未来改善的依据或者决策的参考。先前我提过，不同组织之间的ROI是难以比较的，但如果相同组织内的训练成效ROI, 由于情境接近，比较的结果就更有说服力。在某些情况下，即使同一个组织，不同类型的训练，其ROI 也难以比较，这时候如果我们把焦点聚焦在「同组织同类型的训练项目」，一样可以获得许多宝贵的信息，做为决策与改进的参考。
四、 善用工具：要「建立标准评鉴流程与项目」以及「比较项目间的各项指标」并不需要启动一个庞大的计划，而是可以利用Excel 或者Access所提供的数据管理以及数据分析功能来完成。只要策略清楚，流程正确，数据翔实，持之以恒，假以时日，就会累积足够的数据，成为评鉴新项目时最重要的参考数据。ROI 的分析就会越来越轻松，也会越来越精准！
