第十四章 二维运动估计

第十四章 二维运动估计图像动态变化可能由摄象机运动、物体运动或光照改变引起，也可能由物体结构、大小或形状变化引起 .

为了简化分析，通常我们假设场景变化是由摄象机运动和物体运动引起的，并假设物体是刚性的．

摄象机和场景是否运动将运动分析划分为四种模式： 摄象机静止 / 物体静止：简单的静态场景分析．摄像机静止 / 场景运动—：一类非常重要的动态场景分析，包括运动目标检测、目标运动特性估计等，主要用于预警、监视、目标跟踪等场合。摄象机运动 / 物体静止：一类非常重要的动态场景分析，包括基于运动的场景分析、理解，三维运动分析等，主要用于视觉导航、目标自动锁定与识别等．摄象机运动 / 物体运动：最一般的情况，也是最难的问题，目前对该问题研究的还很少．

14.1 图像运动特征检测• 物体在平行于图像平面的一个平面上运动；• 基于对图像序列变化的检测；• 检测图像变化可以在不同的层次上进行，如像素、边缘或区域．在像素层次上要对所有可能的变化进行检测，以便在后处理阶段或更高层次上使用．

（ 1 ）差分图像f(x,y,j) 帧与帧 f(x,y,k) 之间的变化可用一个二值差分图像表示：

其它

如果

0

),,(),,(1),(

TkyxfjyxfyxfDPjk

式中 T 是阈值尺度滤波器滤掉小于某一尺度的连通成分，因为这些像素常常是由噪声产生的，留下大于某一尺度阈值的 4- 连通或 8- 连通成分，以便作进一步的分析．

目标运动差分图象

滤波图象

光变化差分图象

滤波图象

（ 2 ）累积差分图像 缓慢运动物体在图像中的变化量是一个很小的量，尺度滤波器？ 累积差分图像方法的基本思想是通过分析整个图像序列的变化来检测小位移或缓慢运动物体．

其它),(),(00

),(11 yxDPyxFADP

kyxFADP

kkk

其它01),(),(1

),( 1 kyxSADPyxSADPyxSADP kk

k

二阶累积差分

一阶累积差分

（ 3 ）特征检测（ Feature detection ）：What ？图象亮度（灰度）显著变化（点、线等）Why ？描述、表示、跟踪、识别、信息恢复等

How ？1 ） Moravec 兴趣算子　　这个算子可以检测那些至少在一个方向上光强值迅速改变的点．算子执行的步骤如下：

. 用一个 5× 5 的窗口计算四个方向 ( 水平、垂直和两个对角线方向 ) 上像素差平方和．

. 计算出这些方差的最大值．

. 抑制所有非局部最大值的点．

. 用一个阈值来去除弱特征点．

2 ） Plessy 角点检测器 已知灰度图像或，则双梯度矩阵定义为：T

RX XI

XIXwG

)(

其中 R 是一个正方形区域（窗函数）， 是偏微分一阶差分逼近，w(X) 是权重系数，用来强调某些重要的像素． Tomasi-Kanade 可跟踪性的一个测度 : 如果矩阵的两个特征向量值为 1 和 2 ，则当 :min(1, 2)>T 时，该特征可跟踪。

Tyx II

XI ),(

练习：

1 3 2 1 21 2 3 2 1

2 3 3 2 3

2 1 2 1 2

1 2 1 2 3

1 1 1 1 2

2 1 1 3 1

1 1 4 1 1

1 3 1 1 1

2 1 1 1 2

1 1 1 1 2

1 3 2 3 41 3 1 1 1

2 4 1 1 12 5 2 1 1

1 5

2 5

1 20

2 5

1 20

2 10

Harris 所用的特征点判据：)/()()(/)( 2121 GDetGTraceC p

如果 Cp<T ，则特征点为角点

)/()(),min( 212121 tR

混合判据：

如果 Rt<T ，则为可跟踪的角点

（ 3 ）对应性问题立体视觉使用的约束主要是外极线约束 ;

运动图像 ? 对应问题使用的是其它类型的约束 :•离散性：各点之间明显区别的测度．•相似性：两个点之间相似程度的测度．•一致性：一个匹配点与邻近其它匹配点变化一致程度的测度．

宏观运动，一致性测度，特征点之间的拓扑关系等

14.2 光流法

Po

pi

图象面

三维物体运动与在图像平面投影之间的关系 给图像中的每一像素点赋予一个速度向量，就形成了图像运动场 (motion field) ，对应于物体三维运动． 光流 (optical flow) 是指图像亮度模式的表观（或视在）运动 (apparent motion)[Horn 1986] ．在图象处理领域称为图像流

光流在任意地方都等于零，然而，运动场却不等于零明暗模式运动将随着光源运动．此时光流不等于零，但运动场为零。

光流约束方程运动时照度保持不变

),,(),,( tyxItttvytuxI

u v 是光流分量亮度随 x 、 y 、 t 光滑变化 , Taylor 级数展开 :

),,(),,( tyxIetIt

yIy

xIxtyxI

e 是二阶或二阶以上的项，0

tI

dtdy

yI

dtdx

xI0t两边同除于

0

tI

dtdy

yI

dtdx

xI

光流约束方程（续）

xII x

yII y

tII t

dtdxu

dtdyv

0 tyx IvIuI

图像中的每一点上有两个未知数 u 和 v ，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的．人们将这种不确定问题称为孔径问题 (aperture problem) ．运动场处处连续等约束

孔径 1 无法确定图像是沿着边缘方向还是垂直边缘方向运动，孔径 2有可能确定正确的运动，这是由于图像在孔径 2中的两个垂直边缘方向上都有梯度变化．

1

2

14.3 光流计算(1) Horn-Schunck 法使用光流在整个图像上光滑变化的假设来求解光流，即运动场既满足光流约束方程又满足全局平滑性．

22 )( tyx IvIuIe x

dxdyyvv

ys

22222

xu

xu)(

x

dxdyseE )()( 22 xx

Horn-Schunck 法 ( 续 )

当上两式为零时， E 取极小值 . 用有限差分方法将每个方程中的拉普拉斯算子换成局部邻域图像流矢量的加权和，并使用迭代方法求解这两个差分方程．

221

221

yx

tn

yn

ynn

yx

tn

yn

xx

nn

II

IvIuxIIvv

II

IvIuIIuu

i j

jisjieE )),(),(( 22 离散表示

)(2)(2

)(2)(2

vvIIvIuIvE

uuIIvIuIuE

ytyx

xtyx

14.4 基于块的运动分析基于块 (Block-based)) 的运动分析在图像运动估计和其它图像处理和分析中得到了广泛的应用，比如在数字视频压缩技术中，国际标准MPEG1-2采用了基于块的运动分析和补偿算法．块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似．

仿射变换

透视变换

二次线性变换

块运动模型

第 k 帧 第 k+1 帧

r B B 搜索窗口

块匹配方法

各种块匹配算法的差异主要体现在如下几个方面：匹配准则搜索策略块尺寸选择方法

典型的匹配准则有：最大互相关准则，最小均方差准则，最小平均绝对值差，最大匹配像素数量准则等．

搜索策略－－－ n 步搜索或对数搜索．

作业：思考题： 14.3, 14.4.

计算机练习题： 14.3