2017年11月
计算机科学COMPUTER SCIENCE
Vol. 44 No. 11ANov. 2017
自适应HLBP纹理特征的Meanshift目标跟踪算法
杜静雯
1
黄山
2
杨双祥
1
(四川大学电气信息学院成都610065)1 (四川大学计算机学院成都610065)2
摘要结合Haar型特性局部二元模式（HLBP)的图像纹理特征提取方法，提出一种新的目标跟踪算法，并将其运 用到Meanshift框架中。将Visual Studio 2010和opencv2. 4. 9作为实验平台，将所提算法的实验结果与传统Mean-
shift跟踪算法、基于局部二元模式(LBP)纹理特征的Meanshift跟踪算法进行对比分析。实验结果表明，所提算法在
背景复杂或背景简单的情况下都表现出了稳健而准确的跟踪特性，且在部分遮挡的情况下仍可以正确地跟踪目标。关键词局部二元模式，Haar特征，Meanshift跟踪算法，部分遮挡 中图法分类号TP391
文献标识码A
Meanshift Target Tracking Algorithm of Adaptive HLBP Texture Feature
DU Jing-wen1 HUANG Shan2 YANG Shuang-xiang1
(School of Electrical Engineering and Information,Sichuan University,Chengdu 610065,China)1
(College of Computer Science,Sichuan University,Chengdu 610065,China)2
Abstract
In combination of the image texture feature extraction method, which is based on Haar local binary pattern
(HLBP), a new target tracking algorithm was proposed, and applied to Meanshift tracking framework. Visual Studio 2010 and the opencv2. 4. 9 were the experimental platforms. We compared the results of the new algorithm with the re
sults of other two kinds of algorithms, which are traditional Meanshift target tracking algorithm and the target tracking algorithm based on local binary pattern texture feature (LBP). Experimental results show that,in the case of simple or complicated background, the proposed tracking approach always shows steady and accurate tracking features, and in the event of partial occlusions ? it can correctly track the target.
Keywords
Local binary pattern, Haar feature,Meanshift tracking algorithm,Partial occlusions
1
不仅使跟踪更为准确，而且使抗遮挡能力也有所提高;文献
引言
[7]提出了一种基于Haar特性的LBP纹理特征的提取方法，
传统Meanshift理论很早就被运用于目标跟踪领域，由 于其具有计算量小、容易实现、实时性好等优点，逐渐引起了 人们的关注，对Meanshift目标跟踪算法的研究也逐渐成为 热点。此算法最初是以颜色特征来表征目标，进而通过模板 匹配进行跟踪，后来发现其应用范围有局限性，比如无法适用 于背景与目标颜色相近的情况。为了寻求一种适用范围更加 广泛的跟踪算法，人们提出了很多改进算法。文献[1]为了适 应目标的尺度和旋转变化，把直方图分块理论以及目标旋转 和缩放矩阵融入了 Meanshift跟踪算法中，并取得了良好的 效果。文献[2]在文献[1]的基础上进行了改进，提出了自适 应分块方法，相应的权值根据巴士系数来确定，其不仅提高了 目标形变的适应能力，同时具有一定的遮挡能力。文献[3]利 用分块方法来抗遮挡，并且实现了核函数带宽的自适应，但耗 时比较长。Meanshift[4]跟踪算法的框架结合了三帧差分法 与卡尔曼滤波，可以对目标进行实时准确的跟踪。针对目标 特征描述的单一性，一系列改进算法被提出。文献[5]把颜色 与边缘特征进行融合来共同描述目标，并且通过特征对目标 和背景的区分能力来实现特征选择的自适应，提高了跟踪的 鲁棒性。文献[6]融合了纹理特征，同时运用了分块的方法，
与LBP相比，它能更好地适应图像的放大与旋转，说明
HLBP
比LBP有更好的纹理表达能力。
在文献[7]的研究基础上，本文提出了一种基于HLBP 纹理特征的Meanshift目标跟踪算法，实验结果表明，所提算 法有较好的鲁棒性，而且跟踪准确性较高。
2
特征提取
2. 1
LBP纹理直方图
LBP纹理特征[8]在图像处理上反映了图像内部的结构
信息，由于LBP对光照变化不敏感，很多学者对其进行了大 量研究，并且把它运用到了 Meanshift跟踪框架中，比如以纹 理特征来代替颜色特征，将纹理和颜色特征相融合等，都是它 在传统Meanshift跟踪算法中的具体应用，并且在跟踪性能 方面取得了良好的效果，其中抗光照性能的增强尤为显著。
传统LBP算子的计算方法如图1所示，其模板大小为 3*3,若要求出图像上某一点的LBP值，就要以这一点为
LBP算子的模板中心，从左上角的像素开始，顺时针方向依
次与中心像素值进行比较，大于中心像素值则对应位置赋予 1，反之则赋予〇，直到8个方向均比较完毕，所得的数据按先
杜静雯(1993 —），女，硕士生，主要研究方向为图像识别与处理;黄山（1969 —），男，教授，博士生导师，主要研究方向为智能交通领域的图像 识别与处理;杨双祥(1991 —)，男，硕士生，主要研究方向为图像识别与处理。
218
计算机科学
2017 年
后顺序排列形成二进制数，然后转化为十进制数，即为该点的
LBP 值。
图1 LBP算子计算过程
通过以上方法提取的特征是用直方图来表征的，LBP纹 理直方图如图2所示。
图2示例图片及其LBP纹理直方图
2.2
HLBP直方图
2. 2. 1 Haar 特征
Haar特征是由Viola等[9]提出的，之后Lienhart R等对
其模板进行了扩展。扩展后的特征模板如图3所示，由边缘 特征、线特征环、中心环绕特征和对角线特征4部分组成。每 个特征模板中白色部分像素和减去黑色部分像素和即为该模 板特征值，该值是图像灰度变化的表征。
圓
SS
边缘特征线性特征
■
<^>
圆心环绕特征
特定方向的特征
图3 HLBP特征模板
2. 2.2
自适应阈值的HLBP特征
HLBP特征[7]就是把Haar特征融入到LBP特征的计算
中。Haar型特征计算简单且快速，能够很好地描述边缘信 息，而且LBP特征恰好可以弥补Haar特征无法描述目标内 部结构信息的局限性，因此HLBP特征充分结合了二者的优 势，提高了目标特征描述的准确性。
HLBP特征是在8
组Haar型特征编码模式下进行计算
的，从图4可以看出，其共有8个方向，模板大小均为5 * 5, 若要求出待处理图像中某一点的HLBP值，就以该点为模板 中心，并与其周围24个像素构成5 *5模板。以图4所示进 行计算，每个方向上深色部分对应的灰度值减去浅色部分相 对应的灰度值，就是这个方向的灰度变化情况;8个方向计算 完毕后，将所得值相加之和除以8 (即均值），将此均值作为阈 值，由此可以实现阈值自适应，而不必手动设置。从135°方向 对应的计算值开始，依次与阈值做对比，按照LBP的计算方 法，大于阈值的用二进制码1来表示，反之则用〇来表示，最 后得到一组二进制编码，再转化为十进制，即为模板中心点对 应的实际位置的HLBP特征值。
图4 HLBP的8种编码模式
所提取的特征通常通过直方图来表征，HLBP纹理直方 图的示例如图5所示。相比于同一幅图片，HLBP纹理直方图 有着更为明显的波峰与波谷，更加有利于模板匹配，鉴于此，本 文将HLBP纹理特征运用到Meanshift目标跟踪算法中。
图5示例图片及其HLBP纹理直方图
3 Meanshift
跟踪算法
3. 1传统Meanshift跟踪算法的相关理论
传统Meanshift[1°]跟踪算法是通过特征模板匹配来进行
跟踪的，初始目标需要在初始帧手动选择。
(1) 目标模型特征描述
(m八
U =T 1^qu = l ^<
qu=C±kE( ||
te)-u]
c=*=i
n || 2)^>
(1)
-----------
^
-------其中，初始帧中跟踪框内的位置信息用来表示，〃为框内 总体像素数，工。为中心位置，“为某个特征值u=l，…，肌)。
为Epa-nechikov函数，h为带宽。
表示直方图的索
引函数，其值为目标框中各个像素对应的RGB值。S为Delta 函数，用来判断所对应的值是否属于特征值C是归 一化系数。
(2) 候选模型特征描述
(^m八
u =p lu = l
〕
pu(y)=Ch±k( ||
|| 2)^te)-u]
,、
与目标模型描述方法相同，式（2)中:y为候选模板的中 心，当前帧中跟踪框里的位置信息用U }«...，《来表示为 候选模板中总体像素数，Ck是归一化系数，
为Epa-
nechikov 函数。
第11A期
杜静雯，等：自适应HLBP纹理特征的Meanshift目标跟踪算法219
(3)相似性度量函数
采用巴氏相关系数[7]来衡量两个模板之间的相似度，其 定义如式(3)所示。
p{p八 {y),qA
)=Ymj\\/ pu(y) qu
j~T\\
A~
(3)
其中，p的值即为巴氏系数，范围为〇〜1^值越大则意味着两 个模型越相似。
(4)目标定位
，p(y八
(4)
〇)
d\\_bixi)—u]XiVOig (
1 'Wigi
(5)
h
ir
其中，z为每次搜索得到的新的位置，@为权值，m为特征值 总数，g(d = —，(工)。在每帧的迭代过程中，用z不断更新 候选模板的中心位置：y，直到巴氏系数取得最大值。3.2本文跟踪算法的流程
(1)
读取初始帧，手动框出要跟踪的目标，把彩色图转化
为灰度图，并计算其HLBP特征值，根据式(1)计算得到初始目标特征模型^
(2) 读取下一帧，同样在处理之前转化为灰度图，以前一 帧中跟踪框的中心位置来初始化当前帧跟踪框的中心:V。；
(3) 根据式⑵计算〇。）}„=“，…一
(4) 根据式⑶计算巴氏相关系数），&)，并根据式(4)计算此时的权值站；
(5)
根据式(5)计算出Meanshift算法搜索的新位置时更新，并计算新的巴氏相关系数，^);
(6) 如果，{(^:)，，〇〇，贝I]使
(：y。+z)/2。
(7) 如果|| z—：y。|| 当循环体最终停止迭代时，此时的z即为目标在本帧 中的位置，然后返回步骤(2)。 4 实验结果与分析 4. 1 实验一 该实验是为了验证算法在简单背景下的性能，需要的测 试视频的帧宽度为352,帧高度为288,帧速率为每秒25帧， 总帧数为4750帧，跟踪目标为视频中草坪角正对且向135°行 走的行人。实验运行环境为Visual Studio 2010和opencv 2. 4. 9版本，使用的编程语言为C/C+ +。在程序中添加了保 存实验结果图的模块，可以每10帧保存一次结果图。 图6为传统Meanshift目标跟踪结果图（为了便于描述， 以下统称为算法1)，图7为基于LBP纹理特征的Meanshift 目标跟踪结果图（以下统称为算法2)，图8为本文所提算法 的跟踪结果图，图底所标数字为每幅图像所对应的帧数，3个 算法都是从第1帧开始手动选择目标的。我们选择第60帧、 第120帧、第180帧、第240帧、第300帧、第360帧、第420 帧、第480帧的实验图来进行分析，从图6—图8中可以清楚 地看出，算法1在第60,120帧可以稳定跟踪，但之后出现跟 踪不稳定的情况，甚至在360帧之后就已跟丢目标。而在第 60，120，180帧时算法2和本文所提算法均可以顺利跟踪，从 第240帧开始，算法2开始出现跟不上甚至跟丢的情况，而本 文算法仍然可以稳健地跟踪目标，从跟踪框与目标的位置可 以看出，目标基本处于跟踪框中心，偏差较小。通过以上实验 可以看出，本文算法可以更好地跟踪目标，而且稳健性更强。 图6传统Meanshift目标跟踪结果图 1L ：：1 ，麵臂m t 、Frame 300 Frame 360 Frame 420 图7基于LBP纹理特征的Meanshift目标跟踪结果图 图8 基于HLBP纹理特征的Meanshift目标跟踪结果图 为了进一步证明本文算法的跟踪性能，对实验结果进行 定量分析。记录两个算法在不同帧中跟踪框的中心位置与目 标的实际位置，使用欧氏距离[11]来计算两个位置之间的距 离，欧氏距离越小，说明跟踪误差越小，以此来衡量算法跟踪 性能的好坏。图9给出了3种算法的欧氏距离的曲线图。 图9 3个算法的欧氏距离的曲线图 z，同且返 220 计算机科学 2017 年 从图中可以看出，本文算法的欧氏距离比较小且比较稳 定，说明跟踪误差较小，跟踪更加准确。4.2实验二 该实验是为了验证算法在背景复杂情况下的性能，需要 的测试视频的帧宽度为720,帧高度为576,帧速率为每秒5 侦，总侦数为1200帧，跟踪目标为视频中火车旁边穿黑色风 衣并且向右行走的女人。实验运行环境和编程语言均与实验 一相同，由于视频帧数较少，保存方式改为逐帧保存。 图1〇为传统Meanshift目标跟踪结果图，图11为基于 LBP纹理特征的Meanshift目标跟踪结果图，图 12为本文所 提算法的跟踪结果图，图底所标数字为每幅图像所对应的巾贞 数，两个实验都是从第110帧开始手动选择目标的。 ，於& 5 廬L Frnme 119 Frame 124 Frame 130 Frame 139 图10传统Meanshift目标跟踪结果图 I i 11“ f i mu 1 *4 I i .n 1 i0 [ i m* 1 ^ .i 靡 ..I Frame 144 Frame 150 Frame 160 Frame 166 图11基于LBP纹理特征的Meanshift目标跟踪结果图• J i \\ 备Frame 130 Frame 139 歷 : i 144 Frame 150 5 160 Frame 166 图12基于HLBP纹理特征的Meanshift目标跟踪结果图 我们选取第119帧、第124帧、第130帧、第139帧、第 144帧、第150帧、第160帧、第166帧的实验图来进行分析， 从图10—图12中可以清楚地看出，在第119，124，130，139巾贞 时3种算法均可以顺利跟踪，从第144帧开始，算法2出现跟 不上甚至跟丢的情况，而本文算法和算法1仍然可以稳健地 跟踪目标，可以注意到，在第139帧时，一名背书包的男子靠 近目标周围，并且在第150帧时遮挡了目标的下半身，算法1 在遮挡后跟错了目标，但是本文算法依然可以准确跟踪目标， 不被干扰;从跟踪框与目标的位置来看，本文算法的实验结果 图中，目标基本处于跟踪框中心，偏差不是太大。由此可以说 明，在背景复杂的情况下，本文算法可以更好地跟踪目标，而 且稳健性更强，具有一定的抗遮挡能力。 与实验一相同，对实验二的结果进行定量分析。记录两 个算法在不同帧中跟踪框的中心位置与目标的实际位置，使 用欧氏距离来计算两个位置之间的距离。图13给出了 3种 算法的欧氏距离的曲线图，从图中可以看出，本文算法的跟踪 误差整体较小，而且上下浮动范围不是很大，相对于基于LBP 算法和传统Meanshift目标跟踪算法的欧氏距离，本文算法的 欧氏距离比较稳定，可以更直观地看出本文算法的跟踪更为准 确且更为稳健。 160 —h•»—传率Meanshift服踪算法 1斗•…未文算法 基于LBP的跟踪算法 14— 120 008060400 20- A ** / „'u ~ rU0 rr\"n^T115 ^\"T\"r120 125 T'^r T\"n 勒林::炉..象偏^130 135 140 Tr T rr A145 r150 155 ；r T r rr|r 160 165 f :170 i * 帧数 图13 3个算法的欧氏距离的曲线图 结束语文中提出了一种基于HLBP纹理特征的Mean- shift跟踪算法，在LBP算子中融入了 Haar型特征，不仅包含 内部的纹理信息，还包含了外部的结构信息，结合了二者的优 势，使所跟踪目标的特征描述更为细致。实验结果表明，本文 算法在背景简单和背景复杂的情况下，仍可以实现准确而稳 健的跟踪，而且在出现部分遮挡的情况下，也可以稳定跟踪。 今后可以在尺度方面做一些改进，使其可以随目标自适应地 变化，进一步完善该算法。 参考文献 [1] 胡铟，杨静宇.基于分块颜色直方图的MeanShift跟踪算法[J]. 系统仿真学报，2009，30(8) : 66-70. [2] 杜凯，巨永锋，靳引利，等.自适应分块颜色直方图的MeanShift 跟踪算法[J].武汉理工大学学报，2012，34(6) : 141-143. [3] 徐海明，黄山，李云彤.基于改进的MeanShift鲁棒跟踪算法 [J].计算机工程与科学，2015，37(6) : 1161-1167. [4] 张英，车进，牟晓凯，等.改进的MeanShift运动目标跟踪算法 [J].电视技术，2016,40(10): 97-100. [5] 史宝明，贺元香，邢玉娟.融合边缘特征的MeanShift跟踪算法 [J].兰州文理学院学报，2015，29(6) : 49-52. [6] 李冠彬，吴贺丰.基于颜色纹理直方图的带权分块均值漂移目标 跟踪算法[J].计算机辅助设计和图形学学报，2011，22 (8): 1232-1235. [7]周 书仁，殷建平.基于Haar特性的LBP纹理特征[J].软件学 报，2013,24(8):1909-1926. [8] 袁瑜键.基于纹理特征的目标识别与跟踪技术研究[D].北京: 北京理工大学，2016. [9] OJALA T,PIETIKAINEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996,29(1) ： 51-59.[10] 李洋.基于Meanshift的运动目标跟踪算法研究[D].沈阳:沈阳 理工大学，2015. [11] 姜明新.智能视频监控中的目标跟踪技术研究[D].大连:大连 理工大学，2013. 因篇幅问题不能全部显示，请点此查看更多更全内容