Sphinx和Coreseek:强大的开源全文检索引擎

简介
  Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如PHP,Python,Perl,Ruby等,同时为MySQL也设计了一个存储引擎插件。
  Sphinx单一索引最大可包含1亿条记录,在1千万条记录情况下的查询速度为0.x秒(毫秒级)。Sphinx创建索引的速度为:创建100万条记录的索引只需3~4分钟,创建1000万条记录的索引可以在50分钟内完成,而只包含最新10万条记录的增量索引,重建一次只需几十秒。


特性
  Sphinx的主要特性包括:
  高速索引 (在新款CPU上,近10 MB/秒);
  高速搜索 (2-4G的文本量中平均查询速度不到0.1秒);
  高可用性 (单CPU上最大可支持100 GB的文本,100M文档);
  提供良好的相关性排名
  支持分布式搜索;
  提供文档摘要生成;
  提供从MySQL内部的插件式存储引擎上搜索
  支持布尔,短语,和近义词查询;
  支持每个文档多个全文检索域(默认最大32个);
  支持每个文档多属性;
  支持断词;
  支持单字节编码与UTF-8编码。

Coreseek
  Coreseek的开发工作类似Sphinx(起始于2001年),可以上溯到2006年,当时试图为一个数据库驱动的网站寻找一个可接受的中文搜索的解决方案,但是当时没有任何方案能够完全而又直接的满足要求。事实上,主要是如下问题:
· 搜索质量(例如:类似Google的有效的相关度算法)单纯的统计学方法的效果非常糟糕,特别是在大量的短篇文档的集合上,例如:论坛、博客等等
· 搜索速度 特别是当搜索的短语包括"停止词"时,表现的尤其明显,例如:"to be or not to be"
· 建立索引时,可控的磁盘和CPU消耗 在现有硬件的环境下,这一点的重要性要超过对索引构造速度的要求。
· 中文搜索的准确性和效率 因为众所周知的原因,只有准确的中文分词才能提高中文搜索的准确性,并大大降低计算量。
  通过网络,我们了解到有无数的人存在类似的需求,尔后我们进行了不同途径的探索,尝试了不同的走法,经过了反复的实践,最终选择基于Sphinx、结合MMSeg,开发出Coreseek中文全文检索引擎,并按照GPLv2协议发行,以供企业和个人解决中文搜索问题。
  年复一年,其他的解决方案有了很多改进,新的方案也不断涌现,但是,我们一致认为仍然没有一种解决方案足够的好,能让我们抛弃Sphinx将搜索平台迁移过去。近年来,Sphinx/Coreseek的用户给了我们很多正面的反馈和建议,我们也不断改进和提高,并增加了Python数据源,将Sphinx/Coreseek的应用范围从已知世界扩展到未知世界,其应用场景也达到无限种可能;因此,显而易见的,Sphinx/Coreseek的开发过程将会继续(也许将持续到世界末日)。

下载
  Sphinx原始版本可以从Sphinx官方网站 http://www.sphinxsearch.com/ 下载。
  Coreseek可以从Coreseek官方网站 http://www.coreseek.cn/ 下载。

扩展
  Sphinx 0.9.9/Coreseek 3.2 中文参考手册
  Sphinx的使用资料也可以参考这里

备注
  这仅仅是一个引子(备忘录),详细应该看手册,并实际搭建一下实验环境。

  

爱华网本文地址 » http://www.aihuau.com/a/25101018/372704.html

更多阅读

变革型领导:强大的捍卫者

变革型领导:强大的捍卫者许多经验性的研究都集中于交易型领导行为的研究,这是非常遗憾的,其实真正的原动力和撼动者是变革型领导  有一个关于石匠的老故事,五个正在盖房子的石匠被问道:“你们在做什么?”  第一个石匠说:“我在想怎么报

解放你的心灵:生命的重建(全文)

导言(1)我写好了这本书,希望同你一起分享。这本书与我的另一本蓝皮小书《治愈你的身体》有一部分内容是重合的,那本书已经作为心理模式导致身体疾病的权威著作被广泛接受。在这本书里我安排了一个“会谈”(见第一章),就好像你作为一个

莫言:透明的胡萝卜(全文阅读)

共六章一秋天的一个早晨,潮气很重,杂草上,瓦片上都凝结着一层透明的露水。槐树上已经有了浅黄色的叶片,挂在槐树上的红锈斑斑的铁钟也被露水打得湿漉漉的。队长披着夹袄,一手里拤着一块高粱面饼子,一手里捏着一棵剥皮的大葱,慢吞吞地朝着钟

三字经全文带拼音和图画版 带拼音的三字经全文

三字经全文带拼音和图画版(1)2009-06-26 15:04三字经初:开始的意思,这里说人刚出生的时候。性:性质个性的意思,指人的本性(个人先天具有素质和性情)。善:善良。习:指学习,也指受社会环境影响。苟:如果、假如。乃:于是。迁:变化。

商品和服务:黑色的衣服夏天为何会变红(黄)?解决办法。

黑色衣服夏天变红是因为汗液含碱性,导致衣服褪色,通常是没有办法补救的吧。不过,也有一些民间的偏方,据说可以解决黑色衣服变红的问题。小编没有亲自试过,不能鉴定真假,仅供参考!用菠菜煮出的水浸泡黑色的T的衣服据说就会变回原来的颜色。

声明:《Sphinx和Coreseek:强大的开源全文检索引擎》为网友对你我已过敏了分享!如侵犯到您的合法权益请联系我们删除