摘 要:以媒体信息服务的应用需求为牵引,研制开发了支持基于内容检索的媒体语义特征分析平台。该平台重点研究数字媒体语义对象的提取与检索、分类与标注和语义关联分析等关键技术,对平台的实施方案及其涉及到的关键技术进行了详细阐述,并对平台进行了具体实现。
关键词:基于内容检索;媒体语义;特征分析;平台
edia seanti feature analysis platfr supprting ntent-based retrieval
xie yu-xiang1,luan xi-da 1,2,u ling-da1,hen dan-en1,deng li-qing1
(1.llege f infratin syste ≈ anageent, natinal university f defense tehnlgy, hangsha 410073, hina;2.dept. f infratin ≈ puting siene, hangsha university, hangsha 410003, hina)
abstrat:n the deand f ntent-based retrieval, this paper intrdued a edia seanti feature analysis platfr supprting ntent-based retrieval.it investigated se key tehniques, suh as digital edia seanti bjet extratin and retrieval,lassifiatin and anntatin,and seanti assiatin analysis,et.it als illustrated the ipleentatin shee abut the platfr in detail, and then realized the platfr.
key rds:ntent-based retrieval; edia seanti; feature analysis; platfr
0 引言
随着信息技术的发展和应用,图像、音频、视频等数字媒体信息呈现出海量增长的趋势。如何根据用户的应用需求,从海量信息中快速找到用户感兴趣的信息,是目前信息领域迫切需要解决的重要问题之一。解决这类问题的基本方法是:根据用户的应用需求从海量数字媒体信息中提取出相应的媒体特征,并对这些特征进行合理有效的组织和管理,进而根据特征实现对用户感兴趣信息的基于内容检索,其中媒体特征的有效提取和组织是实现基于内容检索的关键问题之一。目前媒体特征的提取和组织,研究较多且相对成熟的是对媒体底层特征(如图像的颜色、形状等)的提取和利用。媒体特征提取和组织的新的研究前沿是,关注媒体的高层特征(如事件、人物、时间、地点等语义信息),通过分析提取媒体语义特征,同时通过建立不同类型媒体之间的语义关联,实现相对快速、高效的基于内容的检索。
目前,国外经典的多媒体信息处理系统包括:美国加州大学圣迭戈分校研究开发的信息透镜infspe项目、ib艾玛登(aladen)研究中心开发的qbi系统、美国哥伦比亚大学电子工程系和电信研究中心研究的visualseek与ebseek、virage公司的vir图像工程系统、exalibur公司的exalibur视觉检索产品、普林斯顿大学研究的aeti il系统、it媒体实验室研究的phtbk系统、意大利巴勒莫大学研究的jab系统等。这些系统都具备依据媒体底层物理特征进行基于内容检索的能力[1]。近年来,国内外研究机构对于多媒体信息处理技术的研究已经由底层特征向高层语义转变,研究重心开始集中于多媒体语义对象提取与检索、多媒体数据自动分类与标注、关联分析、组织与表现等方面。
卡内基梅隆大学在数字图书馆项目第二阶段infredia-ⅱ[2,3]研究中,将单个视频文件的摘要技术扩展到多个视频文件的摘要及视频数据库信息可视化研究。主要研究能够自动探测和识别特定语义实体和视觉特性的技术,例如:视频中出现的特定人物、特定事件的具体场景镜头等,通过语义实体与视觉特性的分析,能够有效提取并分类信息,更加易于分析和发现有内在联系的个体动作、群组活动与事件。此外,爱尔兰都柏林城市大学开发的fishlar系统[4]也具有重要的影响力,该系统通过对新闻视频进行镜头探测、故事单元分割等处理,结合闭路字幕信息,实现了对新闻视频的管理和检索等应用。
国内清华大学、微软亚洲研究院、北京大学、国防科技大学、
未完...点击下方链接下载完整文档
