图像序列分析
图像序列分析利用计算机视觉技术从图像序列中检测运动及运动物体并对其进行运动分析、跟踪或识别。图像序列分析在国民经济和军事领域的许多方面有着广泛的应用。
基本信息
- 中文名
图像序列分析
- 外文名
image sequence analysis
- 技术
计算机视觉技术
- 目的
进行运动分析、跟踪或识别
- 应用
国民经济和军事领域
- 所属领域
图像处理与计算机视觉领域
简介
世界是变化的,序列图像为我们提供了比单一静止图像更丰富的信息。序列图像分析的意义是将图像处理从静止图像转移到序列图像上,通过对多帧连续图像分析,可获得从单一图像中不可能得到的信息。只有在序列图像中我们才有可能认识和分析动态过程。硬件技术的迅猛发展使计算机对图像的存储量和处理速度有巨大的进步,为序列图像分析提供了有力支持,使得实时的序列图像分析成为可能。
序列图像分析的基本任务是从图像序列中检测出运动信息或目标,识别或跟踪运动目标,估计运动物体的三维运动及结构参数。它是图像处理与计算机视觉领域中的一个非常活跃的分支,由于在国民经济和军事领城的许多方面有着广泛的应用,对它的研究受到各国科学家的普通关注。
研究重点
图像序列分析主要是针对序列图像进行分析处理,根据分析与处理的目的不同,它通常涉及到运动目标检侧、运动参数估计、运动景物分割、目标跟璐以及识别几部分内容。其中,运动检侧、运动今数估计、目标分割、目标跟踪属于视觉中的低级和中级处理部分,而目标识别则属于高级处理。当然,它们之间也可能存在交又( 比如先检侧,再识别,然后跟踪等)。下面将重点从处理方法入手回顾这几个方面国内外的发展现状。
运动检测
运动检测的目的是从序列图像中将变化区域从背最图像中提取出来。运动区域的有效检侧对于目标分割、跟踪和目标识别等后期处理是非常重要的,因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而,由于背景图像的动态变化,如天气、光照、阴影及混乱干扰等的影响,使得运动检测成为一项相当困难的工作。下面归纳出目前几种常用的方法。
1、背景减除
背景减除方法是目前运动分割中最常用的一种方法。它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据,但对于动态场景的变化,如光照和外来无关事件的干扰等特别敏感。
2、时间差分
时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阅值化来提取出圈像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性,但一般不能完全提取出所有相关的特征像素点,在运动实体内部容易产生空洞现象。
3、光流
基于光流方法的运动检侧采用了运动目标随时间变化的光流特性,该方法的优点是在摄像机运动存在的煎提下也能检侧出独立的运动目标。然而,大多数的光流计算方法相当复杂,且抗噪性能差,如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。
运动估计
在随时间变化的图像序列中,核与帧之间存在着很大的空间冗余,通过运动估算可以有效的去除冗余,保留帧间的有效信息,这对于图像序列数据压缩和传输是非常重要的。如果景物和摄像设备都是静止的,其在当前帧中的位里与在下一帧中的位里应当是相同的;如果在静止景物中还有运动的物体,则对当前帧中运动物体上某一像素点,在未来时刻的最佳运动位置估计,应为该像素点在下一帧中的位里。常用的运动估计方法有:
1、基于光流方程的方法
它依据时空图像的亮度梯度得到一个光流场的估算。对于灰度图象,光流方程要与合适的时空平滑约束条件联合使用,要求位移矢量在附近区域缓慢变化。对于彩色图像,光流方程可分别施加于每个颜色带上,约束三个方向的位移矢量。
2、基于块的方法
假设图像是由运动的块构成的。相位相关法中,两个相邻帧之间的傅立叶相位差决定了运动估计的结果。块匹配算法是使用“ 距离准则” 搜索出相邻帧间的固定大小的最佳匹配块的位置。