• 1.摘要
  • 2.基本信息
  • 3.工作流程
  • 4.技术概述
  • 5.特征提取
  • 5.1.颜色
  • 5.2.纹理
  • 5.3.形状
  • 6.特征匹配
  • 7.语义鸿沟
  • 8.应用和研究

基于内容的图像检索

基于内容的图像检索,即CBIR(Content-based image retrieval),是计算机视觉领域中关注大规模数字图像内容检索的研究分支。典型的CBIR系统,允许用户输入一张图片,以查找具有相同或相似内容的其他图片。而传统的图像检索是基于文本的,即通过图片的名称、文字信息和索引关系来实现查询功能。

这一概念于1992年由T.Kato提出的。他在论文中构建了一个基于色彩与形状的图像数据库,并提供了一定的检索功能进行实验。此后,基于图像特征提取以实现图像检索的过程以及CBIR这一概念,被广泛应用于各种研究领域,如统计学、模式识别、信号处理和计算机视觉。

相关研究已发展近20年,传统的搜索引擎公司包括Google、百度、Bing都已提供一定的基于内容的图像搜索产品。如:Google Similar Images,百度识图。

基本信息

  • 中文名

    基于内容的图像检索

  • 外文名

    Content-based image retrieval

  • 类别

    技术

  • 时间

    1992年

工作流程

基于CBIR 技术的图像检索系统,在建立图像数据库时, 系统对输入的图像进行分析并分类统一建模, 然后根据各种图像模型提取图像特征存入特征库, 同时对特征库建立索引以提高查找效率。而用户在通过用户接口设置查询条件时,可以采用一种或几种的特征组合来表示, 然后系统采用相似性匹配算法计算关键图像特征与特征库中图像特征的相似度, 然后按照相似度从大到小的顺序将匹配图像反馈给用户。用户可根据自己的满意程度,选择是否修改查询条件,继续查询,以达到令人满意的查询结果。

技术概述

CBIR的核心是使用图像的可视特征对图像进行检索。本质上讲,它是一种近似匹配技术,融合了计算机视觉、图像处理、图像理解和数据库等多个领域的技术成果,其中的特征提取和索引的建立可由计算机自动完成,避免了人工描述的主观性。用户检索的过程一般是提供一个样例图像(Queryby Example) 或描绘一幅草图(Queryby Sketch) ,系统抽取该查询图像的特征,然后与数据库中的特征进行比较,并将与查询特征相似的图像返回给用户。

CBIR 的实现依赖于两个关键技术的解决:图像特征提取和匹配。

图像特征提取分为两类:①低层视觉,其内容主要包括颜色、形状、纹理等;②语义内容,它包含高层的概念级反应(如“海上生明月”),需要对物体进行识别和解释,往往要借助人类的知识推理。由于计算机视觉和图像理解的发展水平所限,使得CBIR还无法真正支持基于语义的图像检索,所以研究得较多也比较成熟的检索算法大部分是基于图像的低层特征的,即利用图像的颜色、纹理、形状等特征来检索。提取后的图像特征数据需要经过索引、降维等处理。首先,图像由特征向量表示,而这些特征向量一般都是高维向量, 在庞大的图像数据库中,对高维向量进行顺序比较的过程是相当费时的。在实际应用过程中, 为了让基于CBIR的图像检索系统能够真正适合大型的图像数据库, 提高检索效率,尽可能减少查询时的特征矢量比较时间,往往将降维技术和多维索引技术结合起来。

图像相似度是指人类对图像内容认识上(即语义)的差异,导致通过计算查询样图和候选图像之间在视觉特征上存在距离。如果这个距离满足一定条件,我们则可以说这两图像相似度匹配。当然,如果能将语义特征和视觉特征结合起来, 相似度匹配程度会更高,检索结果会更让人满意,但这是研究的一大难题。

特征提取

底层图像特征包含颜色、纹理、平面空间对应关系、外形,或者其他统计特征。 图像特征的提取与表达是基于内容的图像检索技术的基础。从广义上讲,图像的特征包括基于文本的特征(如关键字、注释等)和视觉特征(如色彩、纹理、形状、对象表面等)两类。视觉特征又可分为通用的视觉特征和领域相关的视觉特征。前者用于描述所有图像共有的特征,与图像的具体类型或内容无关,主要包括色彩、纹理和形状;后者则建立在对所描述图像内容的某些先验知识(或假设)的基础上,与具体的应用紧密有关,例如人的面部特征或指纹特征等。

颜色

颜色是彩色图像最底层、最直观的物理特征,通常对噪声,图像质量的退化,尺寸、分辨率和方向等的变化具有很强的鲁棒性,是绝大多数基于内容的图像和视频检索的多媒体数据库中使用的特征之一。颜色特征的描述方法主要有以下四种:

颜色直方图(ColorHistogram)

它是最简单也是最常用的颜色特征,描述了图像颜色的统计分布特性,具有平移、尺度、旋转不变性。其核心思想是在颜色空间中采用一定的量化方法对颜色进行量化,然后统计每一个量化通道在整幅图像中所占的比重。

常用的颜色空间有RGB,CIE,HSI,HSV空间等,主要的量化方法有最重要信息位、颜色空间划分、颜色空间聚类、参考颜色、图像分割等,文献中讨论了对这些方法进行了讨论和总结。由于颜色直方图缺乏颜色的空间分布信息,改进的方法包括在颜色索引时加入空间位置信息和基于区域的颜色查询。最简单的方法是子窗口直方图法,即将图像分割成子图像,一一建立索引。另一文献中将图像分成了大小相等的九个子图像,然后统计每个子图像中的颜色直方图。

颜色相关图(ColorCorrelogram)

其主要思想是用颜色对相对于距离的分布来描述信息,它反映了像素对的空间相关性,以及局部像素分布和总体像素分布的相关性,并且容易计算,特征范围小,效果好。

颜色矩(ColorMoment)

其基本思想是在颜色直方图的基础上计算出每个颜色通的均值、方差、偏差,用这些统计量替代颜色的分布来表示颜色特征。它具有特征量少,处理简单的特点。

颜色一致性矢量(Color Coherence Vectors, CCV)