爱华网1.引言 随着多媒体技术和网组的迅速发展，以及3G、4G移动通信系统的发展，移动通信从语音业务过渡到移动宽带业务的发展出现了移动多媒体广播业务。多媒体信息的数据从以前的紧缺飞速的增，并随着人们日益需求的不断增加而迅速增加。图像信息的应用日益广泛，人们对图像数据的查询需要日益增长，对规模越来越大的图像数据库进行有效的管理就成为迫切需要解决的问题了。 2.基于多媒体融合的图像检索的概念 A.基于多媒体融合的图像检索 多媒体信息是指以文字、图像、影像、声音和动画等为表现形式的媒体信息。所谓的基于多媒体融合的图像检索是对图像对象的内容及上下文语义环境精心检索，如图像的颜色、纹理、形状、符号，描述图像的语音等语义特征来实现与图像内容信息相关的检索。 B.基于内容的图像检索技术的概念 基于内容的图像检索是依靠图像特征进行标引和检索。所谓图像特征的画面内容特征（图像颜色和纹理等），以及图像的主题对象特征。基于内容的图像检索主要技术着重于图像的画面内容特征和主题对象特征来进行检索。它直接对图像内容进行分析，抽取特征和语义，利用这些内容特征建立索引进行检索，还融合了模式识别、计算机视觉及图像理解等技术。 图1 基于内容的图像检索技术的概念模型 a.基于颜色特征的检索 颜色特征是图像检索中所使用的最直观的视觉特征。在基于颜色检索中除了采用颜色直方图外，还引用了空域信息，它确保检索的精度。在引用空域信息的时候要兼顾不变性的问题。同样，为了更好的保存图像色彩空间的信息，PASS提出了图像的色彩聚合向量（CCV）来做图像的索引。 b.基于形状特征的检索 形状特征也称为轮廓特征，是指整个图像或图像中子对象的边缘特征。采用形状特征进行检索时，用户可以通过勾勒图像的形状或轮廓，从图像库中检索出形状相似的图像。基于形状的检索更多的用于当用户粗略的画出一个轮廓进行检索的情况。用户可以选择某一形状或勾画一副草图，利用形状特征或匹配主要边界进行检索。基于形状特征的检索方法主要有两种： 针对轮廓线进行的形状特征检索，也就是分割图像进行边缘提取后，得到目标的轮廓线。 直接针对图形寻找适当的向量特征进行检索。 c．基于纹理特征的检索 纹理检索与纹理分类技术有着密不可分的关系，包括有两种方法：一种是统计方法，人们提出以图像像素的颜色的分布统计信息和轮廓点的位置分布统计信息作为图像的特征量，并使用该特征量实现图像的检索。另一种是结构方法，通过对纹理颜色的定性描述，把检索空间缩小到某个颜色范围，然后再以示例查询的方法为基础，调整粗糙度、方向性和对比度三个特征值，逐步逼近要检索的目标。 d.基于对象特征的检索 基于对象特征的检索就是对图像中所包含的静态子对象进行查询，检索条件可以利用综合颜色、纹理、形状特征、逻辑特征及客观属性等，例如综合利用颜色和纹理特征。基于对象特征的检索首先要对图像进行预处理，将原始像素信息分割成一些颜色和纹理在空间上连贯分布的区域，计算出每个区域的颜色、纹理和空间特征。这种方法用于检索图像对象或子对象，所以出来对图像要做预处理外，还需要进行图像分割，在难度和复杂度上，比基于颜色和纹理的检索技术更进一步。对于分割后的每个区域，用一个多维向量来表示其颜色、纹理、形状及空间关系等特征，这样对于一个给定的区域，所得到的多维向量是确定的。检索的时候，根据用户所提供的信息或草图，利用高效的检索算法进行匹配，再根据相似性测度函数进行过滤，将相似度高的图像提供给用户。 3.基于语音识别的图像检索方法与实践 基于多媒体融合的图像检索技术主要分为两大模块：语音识别模块和图像检索模块。在文献中采用的是手动图像标注的方式进行语音识别对数字图像进行检索，这种方法有一定的创造性，但是运用起来工作量繁重尤其是对海量的图像数据。针对此问题本文介绍一种图像语义自动标注的图像检索系统，如图2所示为本文将介绍的基于多媒体融合的图像检索系统流程图。
图2 系统流程图 基于语音识别的图像检索系统的用户查询与基于文本的图像检索、基于内容的图像检索系统不同的是用户是说出查询关键词，算法通过分析将查询要求转化为计算机内部描述，从而获得查询图的特征，然后借助特征库中的特征匹配从图像数据库提取出用户需要图像。 在语音识别模块中包括语音库的建立、端点检测、特征提取、特征匹配。在语音识别模块中，首先要建立一个语音库作为参考模板，以便与用户读入查询词形成的测试模板进行匹配，识别出用户要检索的关键词。在语音录制存储后，对语音信号分帧，然后对分帧后的语音信号进行语音增强，然后对增强后的语音信号进行端点检测。特征提取部分的作用是从语音信号波形中提取一组或几组能够描述语音信号特征的参数,如平均能量、过零率、共振峰、倒谱、线性预测系数等，特征提取是模式识别的关键。最后是特征匹配。 基于多媒体融合的图像检索是个新兴的研究领域，在国内外仍处于研究探索的阶段。随着Internet的技术发展，移动通信从模拟语音时代发展到数字系统，语音与少量数据的传输发展到今天已是宽带业务的需要，更加需要语音识别检索取代的手写输入的检索方式的系统。本文在最后简单的介绍了基于语音识别的图像检索系统与实践，但这只能用于简单的检索测试，距离实际应用还需要不断的改进。 参考文献 [1]朱学芳.多媒体信息处理与检索技术【M】北京：电子工业出版社.2002 [2]章毓晋.基于内容的视觉信息检索【M]北京:科学出版社.2003.58 [3]刘菁华，夏定元. 基于多媒体融合的图像检索系统的实现[J]电视技术.2006
