近年来,人体运动视觉分析成为计算机视觉领域备受关注的前沿方向。人体运动视觉分析是从包含人体的图像序列中检测、识别、跟踪人体以及获取运动参数,进一步对人的行为解释和描述。它属于图像分析和理解的范畴,其研究内容涉及计算机视觉、模式识别、图像处理、人工智能和人体运动学等方面,是一个跨多学科的研究课题。
運動人體檢測和跟蹤是人體運動視覺分析的一個重要組成部分,有著廣泛的前景和經濟價值。它在視頻監控、虛擬會議、人機交互、臨床診斷、教育訓練、虛擬現實等方面的應用都引起了廣大科研人員和相關商家的濃厚興趣,例如在銀行、商場、軍事基地等對安防要求較高的場合,實時的視覺監控將有重要意義;在智能控制方面,可以通過對人臉識別和表情分析以及手勢識別等更好的實現人機交互。另一方面,運動人體檢測與跟蹤算法的實現可以節它是從圖像序列中提取並描述人體輪廓的運動,然後進行跟蹤,更高級的處理是對人的行爲進行識別和理解。
人體運動目標檢測是在輸入圖像中確定運動人體的過程,是整個人體運動分析系統的第一部分,運動目標檢測的目的是將運動人體部分從圖像中提取出來,能否正確地分離運動人體是整個系統成敗的關鍵。運動目標檢測由運動物體分割和運動物體分類兩部分組成。
运动物体的分割
运动物体的分割就是把图像中的运动部分,比如汽车、行人等分离出来,因为只有运动的部分才是能够跟踪的部分。运动部分的分割常常受到光线变化、影子和遮挡等因素的影响。因此选用一种稳定可靠的分割方法是很重要的。常用的分割方法有以下几种。
(1)背景减法。在运动检测中,背景减法(Background Subtraction)是一种常用的技术,尤其是对于静态场景。它首先建立背景模型作为参考图像,通过将含有运动物体的图像与事先通过背景模型得到的背景图像相减得到运动部分。
(2)统计方法。统计学方法是基于像素的统计特性从背景中提取运动信息。它首先计算背景像素的统计信息(颜色、灰度、边界等),使用个体的像素或一组像素的特征来建立一个较为高级的背景模型,而且背景的统计值可以动态地更新。通过对比当前背景模型的统计值,图像中每一个像素被分成前景或是背景。由于统计学方法在噪声,影子光线改变等于扰条件下具有较好的鲁棒性,已经成为研究热点。
(3)帧间差分法。帧间差分法(Temporal Differencing)是在图像序列中通过相邻两帧或者三帧图像像素差,提取运动区域的运动目标检测方法。帧间差分对光线等变化不太敏感,对动态环境具有很强的自适应性,检测有效稳定。该方法的不足之处是一般不能提取所有相关的特征像素点,在运动实体内部可能会产生空洞现象。特别是当目标移动缓慢时,相邻两帧之间的差异很小,很难提取出整个运动区域,即使提取的区域也难以完整精确地描述运动目标。
(4)光流法。光流是图像中各像素点运动的速度分布,它是一种瞬时速度场,即向量场, 每一个向量表示了景物中一个点在图像中位置的瞬时变化。光流法
(Optical Flow)是利用运动目标在序列图像中的位置随时间变化的光流特性,用来描述相邻帧之间某像素点的运动,通过计算运动物体在帧间的运动向量来检测运动区域。在比较理想的情况下,光流法在摄像机运动的条件下能检测到独立的运动目标,不需要预先知道场景的任何信息,可以很精确地计算出运动物体的速度。但计算方法复杂,对硬件要求比较高,可靠性差,对噪声敏感,难于应用在实时的视频流处理中。
运动物体分类
由運動分割得到的不同運動部分可能屬于不同種類的運動物體,比如人體視頻監控系統得到的運動部分就可能包括飛行的鳥、飄動的雲和晃動的樹等,要從中提取人體就要進行運動物體分類,把人從運動物體中識別出來。只有正確地識別出人體才能進行下一步的運動跟蹤工作,以及後續的人體行爲理解,所以運動物體的分類是非常必要的。一般可用形態學方法進行處理,考慮運動目標的分散度、面積、輪廓、高寬比等有關形態方面的參數,來區分人以外的運動目標,通過這些方法甚至可以去除部分噪聲的影響。目前分類有兩種:
(1)基于人体特征分类。人不管外形特征还是皮肤颜色都是明显的,所以人的分类可以采取多种方法。基于形状的分类是利用检测出来的运动区域的形状特征信息来进行物体分类的。通过检测模块得到一个二值化的前景图像,对这个前景图像进行横向和纵向的投影可以得到横向和纵向的长度比,通常称之为“宽高比”。通过多个人的样本训练可以得到一般人体的“宽高比",这个“宽高比"作为人体特有的特征,可以用于確定检测出的运动目标是否为人体。这个人体特有的特征也可以是人体的“面积",它指的是在通过检测模块得到二值化的图像中人体所占像素的多少,通过面积的比较,可以除去一般情况下面积较大的运动的汽车、动物、以及摆动的树叶。另外的一些属于人体特有的特征还可以是人的皮肤颜色,因此可以通过识别人脸裸露的皮肤来確定是否有人的存在,这通常需要在色彩空间如RGB空间、HIS空间或YUV空间来进行检测与识别。
(2)基于運動的分類。人體運動是非剛體運動,並呈現一定的周期性,這種周期性可以作爲區分運動人體的重要依據。一種方案對于這種周期性的運動進行時頻分析,利用人體運動周期性出現的自相似性來實現分類;還有方案將此方法與光流法結合,根據殘留的大小來實現分類。
运动目标跟踪
運動目標跟蹤也是計算機視覺領域的重要內容,它利用運動目標分割的結果,又爲運動的分析理解等高級內容提供基礎。跟蹤的目的是在幀與幀之間建立人體運動目標的某些特征,若位置、速度、形狀、紋理和顔色等之間的聯系。目前常用的跟蹤方案有以下4種.
(1)基于模型的跟踪。基于模型的人运动跟踪方法首先预定义一个模型,然后再将实际运动与该模型匹配。模型通常由关节和线条骨架组成,用轴来表示状态空间中的关节自由度,用状态空间来描述姿态。其原理是先预测下一图像的姿态再将这一预测模型分析、合成、抽象然后与真实图像数据比较,直到找到最匹配的模型,并且更新系统模型。人体的几何模型有简单到复杂可以建立为棍状模型,二维边界模型和三维立体模型,建立模型之后就可以通过将运动物体与模型对比从而实现跟踪。由棍状模型到二维边界模型,再到三维立体模型,所实现的跟踪精度越来越高,但计算量也在增大。
(2)基于区域的跟踪。区域跟踪思想是把每个运动物体与某个运动区域联系起来,然后对该区域进行跟踪。区域跟踪实现较为简单,在许多系统中有广泛应用,但在两种情况下有很大困难,一是人体存在较长影子,二是人体有重叠交错现象。
(3)基于动态边界跟踪。动态边界模型又叫snake,能够表示不断变化的运动人体的边界。该方案计算量小,但是要求独立准确的初始化边界,实际中很难实现。
(4)基于特征的跟踪。 它包括特征提取和特征匹配两个基本过程。该方法通过跟踪目标的特征点、特征线来实现对人的跟踪,通常还需要结合纹理、色彩及形状 特征来提高跟踪的鲁棒性。尽管对目标跟踪的算法可以粗略地分为上述几类,但是这些方法并不是孤立没有联系的。在进行目标跟踪时,为了保证跟踪的可靠性和准确性,往往几种算法混合才能得到更好的跟踪效果。这种方法在被跟踪目标出现遮挡交错等现象时仍能实现较为准确的跟踪。