爱华网系列专题：大数据营销
大数据的概念目前尚无定论，不同厂商、不同用户站的角度不同，对大数据的理解也不一样。我认为大数据是指信息技术大量应用于各行各业，使得后者拥有快速获取、高效存储、精准分析、智慧处理大量化、多样化、快速化、价值化的各种类型的数据的能力。大数据的挖掘及分析能给企业科学决策提供帮助。 大数据管理提升组织能力 美国奥巴马政府宣布推出的“大数据的研究和发展倡议”（Big Data Research and Development Initiative）是大数据从商业行为上升到国家战略的标志，这表明大数据的研究正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。如今，大数据影响着各行业、企业、部门的发展，各行各业对大数据需求与日俱增，如图1所示。 国际与国内知名企业充分认识到大数据管理的重要性，开始实施大数据管理策略来应对大数据发展带来的机会和挑战，如表1所示。 从数据资料整理的过程中发现，国内在大数据领域起步较晚，但互联网/IT公司由于累积的用户较多，信息量大，所以在大数据的预见性上比其他行业强。行业领先的企业都在为大数据的到来做着准备。 大数据管理是重要的企业竞争力。如今，大数据已经深入全球经济的各个部门，与影响传统生产中的重要因素硬件设施和人力资源一样，影响着现代企业经济活动。而且作为一种普遍需求，它不再局限应用于某些特殊行业。企业中所有部门都在整合、比较越来越多的数据集合，致力于降低成本、提升品质、增强生产能力以及开发新产品。例如，通过分析直接从产品测试现场收集的数据能够帮助企业改进设计。此外，还可以通过深入分析客户行为，对比大量的市场数据超越竞争对手。麻省理工学院斯隆管理学院的教授Erik Brynjolfsson表示：基于数据分析的决策实现的生产率增长，要比任何其他因素高5%到6%。这种生产率增长能够决定大多数行业的胜负。对于那些能够战略性地利用大数据的企业，他们的创新能力、业务灵活性和利润都将得到极大的提高。 大数据管理拥有多种创造价值的方式。丰富的数据来源配上先进的大数据分析、挖掘技术可以在多方面给我们带来巨大的价值。第一，可以使决策更为多样、有效：大数据信息区别于以往单一信息包括用户上网信息、终端信息等，可以更有效地实现决策支持，为公司自有业务优化提供有力依据。第二，可以通过大数据分析提升商业信息服务的精准：引入大数据技术使得基于大数据分析的信息服务成为可能。第三方企业可以实现更精准化的广告投放、信息咨询服务等其他商业智能活动。 大数据管理的问题和挑战 问题 人才短缺。数据的快速积累和发展，越来越凸显的问题就是数据人才的缺失，特别是在统计方法和大数据上有深厚专业知识的管理员和分析员。将来一企业需要通过数据分析结果做决策，所以分析人员的水平决定企业的竞争力。麦肯锡咨询公司在2011年公布的研究报告中预计：按照目前的趋势，美国需要14万到19万具有深度分析数据的专业知识人才和150万有数据管理经验的管理者，但是这种类型的人才具有培养难度大，需经过多年的培训等特点。虽然他们的定量分析是采用美国作为例证，但这种类型的人才上的短缺将是全球性的。SAS软件总经理刘政认为：大数据严重人才短缺，欧美公司也在中国寻找人才，但他们不知道中国本身大数据人才更匮乏。解决这种短缺，不能简单地通过改变毕业要求并等着学生毕业时拥有更多的技能或者仅仅通过引进外国人才来填补了这一短缺。因此需要加强专门培训数据方面专业人才的力度，为立足大时代打下坚实后盾。
数据存储的安全问题。企业过去信息化建设都是较分散的进行，互相之间信息不流通，业务不能顺畅有效的执行和控制，形成了许多“信息孤岛”，既影响了现有系统的继续运行，也影响了新系统的实施。只有进行和加强数字资源的整合才能有效地消除“信息孤岛”，整合让数据从分散变得集中，大大降低信息的管理难度，实现资源共享，降低运营成本，并更加有利于对大数据的利用。但结果是数据将变得更大，一旦数据遭受入侵，遭受的损失也要大得多。因此数字资源整合也带来了数据存储的安全问题不能被忽视。安全问题主要来自于两个方面：第一、隐私问题，整合数据必然带来了个人信息被多个数据库共享，个人隐私面临着极大的风险。第二、数据量的急剧增加和数据类型的多样化，一旦数据库被破坏，按传统关系数据库的数据恢复过程将相当的漫长。 挑战 如何实现高效、智能的存储和获取。大数据在传统数据库的存取状态是：输入比输出容易。大多数数据库管理系统设计用于高效的事务处理：一个大型数据库里主要以添加、更新为主，搜索和检索为辅。大量的数据被毫不费力地添加到一个数据库，如果该数据库是一个运行了一段时间的大站点，则很有可能已经构成大数据。随着数据量和各种类型数据的不断增加，数据的存储和访问速度成瓶颈，解决速度，是大数据面临的一个巨大的挑战。 如何进行有效的数据管理。数据从产生、传播、存储、保护、归档到安全维护的各个环节都有可能产生错误，数据管理与数据质量管理也逐渐被人们重视。2008年，IBM首次提出“智慧地球”概念，希望“互联地球的人、机器和数据”，形成所谓“物联网”，然后将物联网与现有的互联网结合，实现人类社会与物理系统的整合。这样，在数据量快速增长的同时也增加了数据之间的相互联系，让原本管理与维护的难度加大、成本增高，原来的数据管理思想也要随之革新，此外优秀管理也提高了应用的合理性。管理与应用数据两种行为是不可分离、相辅相成的关系。管理能力的提高带动着应用数据的质量提高，管理和维护的目的是应用，应用的基础是好的管理维护。例如：我国铁道部正在研究实施多网运作减压应对网购拥堵问题，但多网运作的共享数据数量巨大，如何有效管理成为首先要考虑的问题。 如何利用数据分析结果掘 “金”。大数据本身并没有什么价值，基于大数据的处理和分析才能为企业带来巨大的商业附加值。面对激烈的市场竞争，越来越多的企业逐渐意识到数据已经成为新的生产资料，拥有数据并正确使用数据将会成为企业成功的核心竞争力。但在发掘数据里“金子”的时候，同时存在挖到“垃圾”的可能，这种“垃圾”严重误导企业的决策。犹如斯坦福大学的教授Trevor Hastie说的：在大量的干草堆中寻找针是很麻烦的，因为有很多长得像针一样的稻草。大数据统计也为错误的调查提供了很多初始资料。乔治·梅森大学的数学家Rebecca Goldin认为这是使用数据最有害的方式之一。越来越多的企业意识到了这种挑战：IT 负责人和职员无法有效地对海量数据进行有效地收集、处理和分析；另一方面，企业CEO以及高层管理人员因不能及时获得所需的信息，而无法预测出潜在的业务机遇，坐等商业机会的流失。 如何应对非结构化数据的海量增长趋势。数据分为结构化数据和非结构化数据，两类数据区别在于：前者一般采用数据记录存储，而后者普遍采用文件系统存储。非结构化数据包括：全文文本、图像、声音、影视、超媒体等信息。这类数据的特征体现在：体积大、增长快、多样化。Autonomy创始人兼CEO林奇认为：非结构化数据是大数据的主旋律，接下来的15年，非结构化数据将成为信息的主体，将来90%的信息将是非结构化的，我们必须掌握未来科技的发展趋势，必须要让计算机了解人类想要什么样的信息。据凯捷咨询与《经济学人》信息部最近联合进行的研究显示，大部分高管人员（58%）依赖非结构化数据分析做出业务决策。企业分析的数据越多，就越能获得有价值的见解。综上可以知，非结构化数据作用巨大，但现有存储技术在吞吐能力、可扩展性、易管理性等方面并跟不上非结构化数据增长的速度，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因此探索新一代存储技术是对企业来说非常大的挑战。 如果处理不好，大数据也会给企业带来巨大的麻烦。2011 年的《IBM - 麻省理工斯隆管理学院评论》显示：在过去一个对全世界100个国家中的3000名高级管理人员进行调查，他们分别来自30多个行业，结果显示60%的高级管理人员表示无法有效利用所有数据。而近期IBM对来自64个国家及地区的1700名首席营销官展开调查，进一步体现出这个问题的严峻性：71%的首席营销官表示他们的企业没有做好充分准备来应对数据的大爆炸。企业高层管理人员因不能及时获得所需的信息，而无法预测出潜在的业务风险，只会让商机流失，因此如何去调整技术、管理去适应这种趋势是亟待思考的问题。
