爱华网——《大数据时代》作者维克托 · 迈尔- 舍恩伯格和肯尼思 · 库克耶专访 大数据话题方兴未艾，其重要性在于它“开启了一个新的时代”。作为一本管理类杂志，我们非常关注大数据对组织管理，尤其是组织决策会产生什么影响。维克托·麦而-舍恩伯格是《大数据时代：生活、工作与思维的大变革》的第一作者，被誉为“大数据时代的预言者”，是最早洞见大数据时代发展趋势的数据科学家之一。《经济学人》说，在大数据领域，他是最受人尊敬的权威发言人之一；《科学》说，若要发起一场关于大数据问题的深入讨论，没有比他更好的发起者了；二十多年来，他一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理的研究，经历丰富、见解独特。其合著者肯尼思 · 库克耶是《经济学人》数据编辑，曾任职于《华尔街日报》（亚洲版）和《国际先驱论坛》。本刊就“大数据时代的组织决策”这一话题对两人进行了专访。 《管理学家》：很多人认为，所谓的“大数据”就是“大”，您认为的大数据是指什么？ Viktor and Kenneth：问题的核心在于，大数据是人们思维和生活的一次变革。在大数据时代，我们能够获取关于我们所处世界的更多信息，而很多信息是混乱的、无序的、不精确的。通过大数据分析了解到的事物间的相关关系，我们能够比以往更好地预测世界、面向未来，比如在发动机引擎实际发生故障之前做出预测，或者在两个星期之前预测出飞机票价的涨落。因此，大数据并不是指要有很多的数据，而是在于如何分析这些数据，从而获得我们以往任何时候都不曾获得的大量的有价值的见解。 大数据中的“大”不是绝对意义上的大，而是说要尽可能多地掌握数据，利用所掌握的数据进行分析、论证假设。另外，大数据时代，我们需要与各种各样的混乱做斗争，收集和处理各种各样、参差不齐的海量数据，整合来源不同的各类信息。想要回答的问题，在收集和整理数据的过程中会逐渐知道。所谓“大数据”，全在于发现和理解信息与信息之间的关系，知道是什么就够了，没必要知道为什么。建立在相关关系基础上的预测是大数据的核心。 《管理学家》：为什么说大数据时代已经来临？ Viktor and Kenneth：直到最近，获取数据都是困难和昂贵的，更不用说分析数据了。因此，我们仅收集到了很少的信息。此外，在小数据时代，因为拥有的数据很少，我们只能通过驳斥或证实预先设定的假想，诸如像今年红色的鞋子是否会卖得好，或者某种特定的药物似乎能够改善病人的健康状况。但是，如今互联网和数字技术采集数据比以往任何时候都更加容易，也更便宜——数据存储和分析也变得非常非常的便宜。越来越多的企业想要开发大数据，因为他们明白，获取更多的数据并进行数据分析将会产生更多的洞见，远超出我们已经确认的（或矛盾的）假设。伴随着大数据时代的到来，我们不仅可以预测今年红色鞋子是否可以卖得好，而是能够预测所有颜色和种类的鞋子是否能卖好。由于技术和人们的思维到位了，所以大数据时代也就真的来临了。就像望远镜能够让我们感受宇宙，显微镜能够让我们观测微生物，这种能够收集和分析海量数据的新技术将帮助我们更好地理解世界，只是这种理解世界的新方法我们现在才意识到。 尽管我们仍处于大数据时代来临的前夕，但我们的日常生活已经离不开它了。垃圾邮件过滤器可以自动过滤垃圾邮件，尽管它并不知道“发# 票#销# 售”是“发票销售”的一种变体。交友网站根据个人的性格与之前成功配对的情侣之间的关联来进行新的配对。具有“自动改正”功能的智能手机通过分析我们以前的输入，将个性化的新单词添加到手机词典里。然而，对于这些数据的利用还仅仅只是一个开始。从可以自动转弯和刹车的汽车，到IBM 沃特森超级电脑在游戏节目《危险边缘》（Jeopardy）中打败人类来看，这项技术终将会改变我们所居住的星球的许多东西。 《管理学家》：大数据对组织决策有何影响？ Viktor and Kenneth：组织管理者依据掌握的信息做决策由来已久，但由于掌握的数据资料非常有限，他们也依赖直觉和感觉做决策——当然这有时候是非常准确的。大数据改变了这一切。越来越多的决策将会是数据驱动的，而依靠人的直觉或自诩为专家的人的决策将会变得越来越少。因此，拥有大数据思维的组织不仅能够使得正在做的事情变得更好，而且能够获取更多的机会，这些机会原本隐藏在数据背后不易发觉。 这一转变也开启了新的价值。回望整个人类历史，我们一直生活在信息匮乏的世界中；相比之下，大数据时代信息过量。由于大多数企业、大多数组织都建立于信息匮乏之时，在大数据时代如果想要获得成功，他们就不得不做出改变。欣喜的是，我们看到各种改变正在发生：谷歌获取尽可能多的数据，并且发掘其隐藏的价值用于多种用途。例如，谷歌不仅提供搜索结果，还通过旧的搜索查询数据训练计算机，以便了解哪些词语经常以及为何出现打印错误。像谷歌一样，将来会有更多的公司建立在数据信息的基础之上。 《管理学家》：大数据时代，组织决策会遭遇哪些挑战?组织决策有何特点？组织应该如何决策？ Viktor and Kenneth：当前，组织依据内部专家的意见做出理性决策，而这些专家是根据数量有限的事实做出判断的。大数据时代，我们会发现很多这样的例子，即行业专家们更依赖直觉和偏见而非知识做出判断，这经常被证明是错误的。在大数据时代，我们有更多的信息，能够“让数据说话”。随着管理决策越来越受预测性分析和大数据分析的影响和控制，由直觉做决定的情况将会被彻底改变。由此，组织决策将变为数据驱动，行业专家们的意见将不再那么重要。这将提高组织决策的效率，达成更好的结果。 但是这并不意味着行业专家会消亡，只是他们的主导地位会发生改变，大数据人才会与他们一样身居高位。这改变了我们怎样看待知识的价值。“小数据”时代，人们掌握的数据不够多也不够准确，所以需要依赖直觉和经验指导。但是，海量数据时代，人们能够通过挖掘数据而得到更多。在电子游戏领域，大数据的普通人才已经和高级专家站在了一起，一同改变整个行业。麻省理工学院商学院教授埃里克·布伦乔尔森和他的同事一起进行了一项研究，发现决策依赖数据的公司的运营情况比不重视数据的公司出色很多——这些公司的生产率比不使用数据进行决策的公司高6%。 《管理学家》：大数据时代组织应该如何平衡“数据”和“人”在决策中的作用？ Viktor and Kenneth：在大数据时代，数据是有价值的，因而需要高度重视。大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织结构的方法。如今，一个新的转变正在进行，那就是电脑存储和分析数据的方法取代电脑硬件成为了价值的源泉。数据成为了有价值的公司资产、重要的经济投入和新型商业模式的基石。在企业决策中，数据也要“发声”，但是这并不意味着人的价值和作用减少了。 相反，在大数据时代，人们更需要想出应用和分析数据的有创意的点子。例如，一个英国物理学家设计了一个算法系统来预测保险索赔和发现二手车的质量问题，这个系统差点就获胜了；一个新加坡的精算师在一个预测人体对化合物的生理反应项目中取得了胜利。没有这种有创意的点子——在《大数据时代》一书中我们称为“大数据思维”——就没有公司能够生存下去。因此，拥有具有这种创意思维的人才很重要。实际上，大数据的先锋们通常并不来自于他们做出了极大贡献的领域。他们是数据分析家、人工智能专家、数学家或者统计学家，但是他们把所掌握的技能运用到了各个领域。 《管理学家》：组织领导者和管理者如何培养“大数据思维”？ Viktor and Kenneth：所谓“大数据思维”， 是指一种意识，认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。有大数据思维的公司和个人，其优势在于，他们能先人一步发现机遇，尽管他们本身并不拥有数据也不具备专业技能。他们思考的只有可能，而不考虑所谓的可行。布拉德福德·克罗斯用拟人的手法解释了什么是有大数据思维。2009年8月，在他20多岁的时候，他和四个朋友一起创办了FlightCaster.com，通过分析过去十年里每个航班的情况，然后将其与过去和现实的天气情况进行匹配来预测航班是否晚点。 组织领导者和管理者要想培养大数据思维，首先，他们应当理解数据拥有的巨大价值，从而确保尽可能多的数据被获取和分析；其次，他们应该确保他们的公司有能力收集、存储和分析数据；第三，他们应该在公司内部支持和鼓励大数据思维，奖励那些对于如何挖掘数据潜在的价值有创意的想法和个人。（感谢湛庐文化对本文的贡献） 链接：大数据史
今天，技术专家都默认大数据的发展和计算机的变革是同步的。但事实并非如此。毫无疑问，是现代信息系统让大数据成为可能，但是大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。 计量和记录:“数据化”最早的根基 为了得到可量化的信息，我们要知道如何计量；为了数据化量化了的信息，我们要知道怎么记录计量的结果。这需要我们拥有正确的工具。计量和记录的需求也是数据化的前提，而我们在数字化时代来临的几个世纪前就已经奠定好了数据化的基础。 “数据化”：历史性的转变 和阿拉伯数字一样，复式记账法也没有立即取得成功。直到200 年之后（公元16世纪），一个数学家和一个商业家族才让它大受欢迎，他们也改变了数据化的历史。 这个数学家就是方济各会的修士卢卡·帕西奥利（Luca Pacioli）。1494年，他出版了一本为普通读者和商人所写的数学教材。这本书大获成功，成为盛行一时的数学教科书。这是第一本全书都使用阿拉伯数字的书籍，因此也促进了阿拉伯数字在欧洲的传播。当然，这本书最大的贡献在于它对复式记账法的详尽论述。接下来的几十年间，这个论述复式记账法的部分被分别译成了6 种语言，并且成为几个世纪的通用范本。 而所谓的一个商业家族，就是指美第齐家族——威尼斯商人和艺术资助人。16 世纪，这个家族能成为欧洲最有影响力的银行家族，很大一部分要归功于他们使用的一种高级数据记录方法——复式记账法。帕西奥利的著作和美第齐家族的成功奠定了复式记账法成为标准数据记录法的基础，也奠定了阿拉伯数字在此之后不可取代的地位。 模拟时代的“数据化” 伴随着数据记录的发展，人类探索世界的想法一直在膨胀，我们渴望能更精准地记录时间、距离、地点、体积和重量，等等。到了19 世纪，随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象，科学已经离不开定量化了。那是一个一切事物都需要被测量、划分和记录的时代，人们理解自然的热情甚至高涨到通过分析测量人的颅骨来试图分析人的心智能力。好在，对颅相学这类伪科学的热情最终淡去了，但是人类对于量化一切的热情却始终没有减退。 新工具和开放的思维促进了测量事物和记录数据的繁荣，而现代数据化就诞生于这片沃土之中。数据化的基础已经奠定完好，只是在模拟时代这依然是费时费力的。有时候似乎需要无穷无尽的激情和耐心，或者起码也要有奉献一生的准备，比如16 世纪的第谷·布拉赫（Tycho Brahe）就夜夜细心观察天体运动。 数据化在模拟时代成功的例子并不多，因为这需要很好的运气——一大串的偶然巧妙地结合在一起。庞大的数据库有着小数据库所没有的价值。莫里中校是最早发现这一点的人之一。他因伤坐进了办公室，但是却在那里发现了珍贵的航海日志，重要的是他深知，只要相关信息能够提取和绘制出来，这些脏乱的航海日志就可以变成有用的数据。通过这样的方式，他重复利用了别人眼里完全没有意义的数据信息。从这个意义上讲，莫里就是数据化的先驱。 总之，数据化的实现有一点必不可少，那就是要从潜在的数据中挖掘出巨大的价值，然后揭示出新的深刻洞见。 大数据时代的“数据化” 计算机的出现带来了数字测量和存储设备，这样就大大提高了数据化的效率。计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。简而言之，数字化带来了数据化，但是数字化无法取代数据化。数字化是把模拟数据变成计算机可读的数据，和数据化有本质上的不同。 从科学研究到医疗保险，从银行业到互联网，各个不同的领域都在讲述着一个类似的故事，那就是爆发式增长的数据量。这种增长超过了我们创造机器的速度，甚至超过了我们的想象。只有考虑到社会各个方面的变化趋势，我们才能真正意识到信息爆炸已经到来，我们的数字世界一直在扩张。 到2013年，世界上存储的数据预计能达到约1.2泽字节（等于270字节），其中非数字数据只占不到2%。这样大的数据量意味着什么？如果把这些数据全部记在书中，这些书可以覆盖整个美国52 次。如果将之存储在只读光盘上，这些光盘可以堆成五堆，每一堆都可以伸到月球。 人类存储信息量的增长速度比世界经济的增长速度快4倍，而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。 量变导致质变，大数据也是一样。当数据规模扩大到一定程度时，我们就可以做很多在小数据量的基础上无法完成的事情。一方面，对大数据的掌握程度可以转化为经济价值的来源。另一方面，大数据已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。 大数据标志着人类在寻求量化和认识世界的道路上前进了一大步。大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。 ◎ 首先，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。 ◎ 其次，我们乐于接受数据的纷繁复杂，而不再追求精确性。 ◎ 最后，我们的思想发生了转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。 未来，让“量化一切”成为与生俱来的能力 今天，我们生活在一个计算型的社会，因为我们相信世界可以通过数字和数学而获得解释。我们也相信知识可以跨越时空。事实上，我们对书写还存在着一种根深蒂固的敬畏。明天，我们的下一代，一群被“大数据观念”陶冶长大的家伙，会发自肺腑地认为“量化一切”并从中学习对于社会是至关重要的。把各种各样的现实转化为数据，对今天的我们而言也许是新奇而有趣的，但在不久的将来，这将变成如同吃饭睡觉一样与生俱来的能力——这不禁让我们想起“数据”这个词语的拉丁语原意 & & 链接：大数据专家谈大数据 克里斯·安德森（ Chris Anderson） 《连线》(WIRED) 杂志主编 2008年，安德森就指出，“数据爆炸使得科学的研究方法都落伍了”。后来，他又在一个叫“PB时代”（The Petabyte Age）的封面故事中说道，大量的数据从某种程度上意味着“理论的终结”。他也声称，用一系列的因果联系来验证各种猜想的传统的科学研究范式已经不实用了，如今已经被无需理论指导的纯粹的相关关系研究取代了。 为了支撑他的观点，安德森阐述了量子物理学变成了一门纯理论学科的原因，就是因为实验复杂、耗费多而且不可行。他潜在的观点就是说，量子物理学的理论已经脱离实际了。为了解释这种新方法，他提到了谷歌的搜索引擎和基因排序工程。他指出，“现在已经是一个有海量数据的时代，应用数学已经取代了其他的所有学科工具。而且只要有足够的数据，数据就能说明问题了。如果你有一拍字节的数据，只要掌握了这些数据之间的相关关系，一切就都迎刃而解了。” 哈尔·瓦里安（Hal Varian） 谷歌首席经济学家 瓦里安认为统计学家是世界上最棒的职业，他的这种说法很著名。“如果你想成功，你不应该成为一个普通的可随意被替代的人，你应该成为稀缺而不可替代的那类人。”他还说，“数据非常之多而且具有战略重要性，但是真正缺少的是从数据中提取价值的能力。这也就是为什么统计学家，数据库管理者和掌握机器学习理论的人是真正了不起的人。 他曾多次强调，下一个十年将出现一类新的专业人才：数据科学家。数据可视化工程师是其中一种，他们既懂得数据分析的科学，又精通构图的艺术，集讲故事的能力和艺术家的特质于一身，是大数据时代的导航员。 杰夫·乔纳斯（Jeff Jonas） IBM的资深“大数据”专家 乔纳斯提出，我们要让数据“发声”。 彼得·诺维格（Peter Norvig） 谷歌公司人工智能专家 诺维格和他的同事在一篇题为《数据的不合理效用》（The Unreasonable Effectiveness of Data）的文章中写道，“大数据基础上的简单算法比小数据基础上的复杂算法更有效。” 帕特·埃兰（Pat Helland） 微软的数据库设计专家 埃兰是微软的世界上最著名的数据库设计专家之一，在一篇题为《如果你有足够多的数据，那么‘足够好’真的足够好》（If You Have Too Much Data, then‘Good Enough’Is Good Enough）的论文中，把新的数据库设计的诞生称为一个重大转变。通过分析被各种各样质量参差不齐的数据所侵蚀的传统数据库设计的核心原则，他得出了“我们再也不能假装我们活在一个齐整的世界”的结论。他认为处理海量数据不可避免的会导致部分信息的缺失。他说，虽然这本来就是有“损耗性”的，但是能快速得到想要的结果弥补了这个缺陷；我们得到不完整的答案并没有大影响，商家需要的是高频率。
