爱华网网络舆情监测系统评价标准
陈兴跃 博士 201205
随着互联网的快速增长，网络舆情监测软件及其服务市场也迅速地发展起来，保守地估计，在中国大陆地区这个市场的总量已经逼近10亿元人民币规模。
市场参与者主要包括四种类型的公司：第一类是拥有网络信息搜索或（中文）文字信息处理等相关技术的软件公司；第二类是公关、广告公司，这类公司是在传统媒体监测业务基础上发展出网络新媒体监测业务；第三类是网络营销服务公司，近几年这类公司增长迅猛，网络社会化媒体的飞速发展是其发展的催化剂；第四类是依托传统媒体延伸出的增值服务。随着网络的发展，不少传统媒体也开始“触网”，并逐步发展出针对网络媒体的新业务，而网络舆情监测是其中的一个方面。例如，人民网舆情监测室。除了以上四类公司之外，还有一类进行网络舆情监测业务的参与者，他们是主管部门或行业机构所属的网络舆情监测机构，但严格意义上讲，此类机构和参与完全市场竞争的公司是不同的，因此，单独另归为一类。
社会化网络媒体的兴起，正在改变传统的信息传播机制。网络传播具有匿名性、速度快、范围大、持续力强、传播渠道多元化、传播效果可测量等特点。一条负面信息从出现到形成舆论热点的周期，从原来的24小时（传统新闻媒体比较典型的更新周期）缩短到现在的4小时（微博热点话题达到第一个传播峰值比较典型的时间周期）。如果不能在这4小时内做出解释、反馈、制定应对策略，就可能出现舆论一边倒的局面，甚至可能发生极具品牌杀伤力的公共危机。由此，也就有了网络舆情监测响应“黄金4小时”的说法。
做出及时、准确应对的前提是，要能够在第一时间了解网络舆情的内容、发生源、关键传播途径等相关信息数据。由此，对于网络舆情监测软件的性能提出相应要求。
如何来评价网络舆情监测软件（系统）的性能呢？个人认为主要着眼于以下三个方面。
评价标准之一：对网络内容监测的准确性。
对于内容的判断是一个关键技术，目前的监测系统还不能做到对内容信息的完全自动判断和处理，在不能保证内容识别百分之百准确率的情况下，往往需要对监测分析的中间产物或不能识别的信息进行一定程度的人工校验和清洗。
中文信息在处理上具有一定特殊性和技术难点。英文每个单词之间用空格或标点符号进行分隔，与英文不同，中文字之间没有空格，由字组成词存在多种可能情况，中文分词是识别的一个难点。
分词难点：一是分词的歧义识别，歧义是指同样的一句话，可能有两种或者更多的切分方法。主要有“交叉歧义”、“组合歧义”、“真歧义”（相关定义参见附录）三类情形。“真歧义”必须要联系上下文才能够确定在文中的具体涵义；二是新词识别，随着时代的发展，中文新词不断涌现，如果没有被收录而要进行自动识别是非常困难的。与之相似的还有专业术语、名称（包括，人名、商标、简称、机构名、缩略语等）等的识别问题。新词识别准确率已经成为评价一个分词系统好坏的重要标志之一。
在分词基础上，中文内容监测还需要对信息自动进行聚类、情感分析、提取摘要，特别是自动根据上下文内容判断情感倾向与危机度、区分正负面。而这正是网络舆情监测的核心工作之一。
为了提高内容识别的准确性，大部分网络舆情监测系统采取了专业化发展的策略，通过面向特定领域的知识、经验和基础数据的积累与不断更新，逐步建立起舆情监测系统在特定领域内的服务特长和功能优势。由此，也就有了舆情监测服务市场的细分化，有的专注于民生与社会动向、有的专注于消费品牌、有的专注于特定行业……
也有一些监测系统提供全方位的监测服务，这些系统有较好的业务包容性，能够满足网络舆情监测的主要需求，或者能够根据客户需要做到定制化的服务，这类系统通常都会针对新客户有一个系统部署阶段，在部署过程中完成一些定制化的工作。
“专用型系统”与“通用型系统”各有特色，客户在选择时主要评估是否能够充分满足自身需求，同时拥有较好的性价比。两类系统相比较，我个人更看好“专用型系统”未来的发展。主要根据是，网络媒体和内容形式的发展非常迅速，一个好的舆情监测系统必须有一个持续而专业化的服务保障体系为支撑，而“专用型系统”在此方面会有比较明显的优势。另外，“专用型系统”还可以根据特定行业或其他特定领域的特殊需求事先预置一些特色功能，如果设计得当，这些功能会对目标客户有很大帮助和价值，也会成为营销中的主要卖点之一。
准确性方面不同系统的表现差异很大。从市场反馈的情况看，在商用领域，需要分行业进行监测服务的业务积累，在某个行业或细分领域有的系统监测得好、有的系统就不行；同样，在政府管理服务领域，也有数个细分领域，不同系统的表现也是参差不齐。
评价标准之二：网络内容监测时效性。
时效性的高低与软硬件技术和运营设备资源都有密切关系，其中涉及到的专业技术不是本文关注的范畴。这里要指出的是，时效性与前面提到的准确性是紧密相关的。如果系统对内容的判断准确性高，需要的人工干预就少（当然，理想状态是完全不需要人工干预），监测信息处理的时滞就少，监测的时效性自然就会有保障。如果系统需要一定的人工干预，通常情况下，会平均滞后0.5~3天左右。这个时间已经远远超出了前文提到的网络舆情监测及响应“黄金4小时”周期。如果系统的时效性低，就不能对网络突发舆情进行及时监测和应急处理，而这对危机公关服务是非常关键的。
有一些监测系统的结果是依赖于baidu、google等搜索引擎的搜索结果进行再分析（所谓的元数据抓取），而这些大型搜索引擎的数据抓取更新是有自己的特定规律和周期。对于排名靠后的网站，搜索引擎爬虫软件会隔几天，甚至更长时间，才会光顾一次。这种情况下，时效性自然不会有保障。
当然，对于时效性，不同的客户会有不同的要求。有的客户会要求做到“实时监测”，例如提供危机公关服务的公关公司、广告公司和一些关注于民生与社会动向的机构等；也有的客户对时效性要求不是这么高，例如对品牌价值进行评估的服务需求，对特定事件做事后评估的服务需求等等。
通常情况下，时效性高低是网络舆情检测系统定价的一个重要基础，从节约经费的角度出发，客户还是应当选择满足自身业务时效性需求前提下性价比较高的系统和服务，不一定非要求做到“实时监测”。
评价标准之三：网络内容监测全面性。
网络内容监测全面性的概念很好理解，就是系统所监测网站的类别及总量。通常情况下，监测系统不会做全网监测，先不说技术上的困难，仅在运营费用和投入上就是中小规模公司难以承受的。性能优越的监测系统会有选择地进行网络监测，客户关注领域的相关网站、排名靠前的大网站、热点网站是监测的主要对象。
绝大多数号称能够做到“全网监测”的系统都是依赖对搜索引擎的搜索结果进行再分析——元数据抓取。前文已经指出，这种方式可以达到了大覆盖，但牺牲了时效性。
不过在全面性方面也有一些技术问题需要处理，一些主要的内容服务网站、社会化网络媒体和电商网站对于爬虫软件已经做了限制。限制的原因有所不同，内容服务网站、社会化网络媒体（SNS网站、微博等）主要是出于对信息及用户数据的保护和主管部门的特定要求，电商网站（自主平台类）主要为了防范网络商品比价。
综合地看，相对于“准确性”与“时效性”而言“全面性”问题更容易解决，技术因素是一方面，通过加大服务器和带宽等运营资源的投入也能够取得显著地改善。
网络舆情监测软件及其服务市场的发展趋势
网络舆情监测软件及其服务市场具有很大的发展潜力，个人观点在今后5年内这个市场都会保持快速发展势头，年复合增长率在30%以上。
我很赞同计世资讯研究（CCWResearch）的观点——“舆情监测分析软件市场未来的发展方向是行业化与服务化”。行业化主要是指软件及服务要与各行业的特点紧密结合，服务化是指舆情监测软件将采用软件运营服务SaaS模式，舆情监测运营服务将成为一种新的发展模式，在降低投入门槛的同时将受到更多客户的青睐。
目前，市场格局还很分散，还没有上规模的运营服务商，这是一个市场空白。近几年云计算技术的快速发展将创造新的发展机会，在通过云计算大幅度提升软件系统效能和服务品质的同时，也有利于催生在这个细分领域内上规模的运营服务提供商。
从服务对象角度看，专业网络舆情监测软件及服务公司主要服务于政府部门、专业服务公司（主要是，公共公司、广告公司、网络营销服务公司）和互联网公司。然而，随着互联网对社会经济发展的快速渗透和融合，越来越多的企业和机构认识到了网络营销、网络舆情的重要性，他们中的一小部分已经开始尝试使用网络舆情监测软件及服务。虽然他们在客户市场中目前所占的比重还不到10%，但是到2018年很有可能占到30%以上的比重。
从商业服务角度，网络舆情监测软件及服务与网络营销服务之间存在着密切的联系。对于能够提供品牌监测的软件系统，如果能够把营销评估（营销决策支持）和营销管理工具结合起来，把系统服务延伸到营销管理与营销作业流程中，将具有更大的市场潜力。在这方面市场参与者还较少，做得好的系统很少，未来应该有不错的发展空间。
附录：中文分词的歧义类型
（此附录的相关内容来自互联网）
歧义是指同样的一句话，可能有两种或者更多的切分方法。例如：“表面的”，因为“表面”和“面的”都是词，那么这个短语就可以分成“表面▁的”和“表面的”。这种称为交叉歧义。像这种交叉歧义十分常见，前面举的“和服”的例子，其实就是因为交叉歧义引起的错误。“化妆和服装”可以分成“化妆▁和服装”或者“化妆▁和服▁装”。由于没有人的知识去理解，计算机很难知道到底哪个方案正确。
交叉歧义相对组合歧义来说是还算比较容易处理，组合歧义就必需根据整个句子来判断了。例如，在句子“这个门把手坏了”中，“把手”是个词，但在句子“请把手拿开”中，“把手”就不是一个词；在句子“将军任命了一名中将”中，“中将”是个词，但在句子“产量三年中将增长两倍”中，“中将”就不再是词。这些词计算机又如何去识别？
如果交叉歧义和组合歧义计算机都能解决的话，在歧义中还有一个难题，是真歧义。真歧义意思是给出一句话，由人去判断也不知道哪个应该是词，哪个应该不是词。例如：“乒乓球拍卖完了”，可以切分成“乒乓▁球拍▁卖▁完▁了”、也可切分成“乒乓球拍卖▁完▁了”，如果没有上下文其他的句子，恐怕谁也不知道“拍卖”在这里算不算一个词。
