２０１９年４月１０日现代信息科技第３卷第７期Modern Information Technology Apr.2019 Vol.3 No.7基于深度学习的教室人体行为识别模型设计郑士基，李观胜（江门职业技术学院，广东 江门 529090）摘 要：人体行为识别和分析是计算机视觉领域的研究热点，考虑到环境的复杂性和人体行为的多样性，行为识别在处理速度、识别准确率等方面还有很大的提升空间。近年来，深度学习技术的发展和在人工智能领域的成功应用，为人体行为识别提供了全新的解决方法。本文主要研究将深度学习中的卷积神经网络技术应用于人体行为识别，结合具体的教室应用场景，设计能够主动学习的智能化人体行为识别模型，对量化分析教室的学生的学习情况和教学情况具有重要的现实意义。关键词：计算机视觉；行为识别；深度学习；卷积神经网络中图分类号：TP391.41 文献标识码：A 文章编号：2096-4706（2019）07-0087-03Ｄｅｓｉｇｎ ｏｆ Ｃｌａｓｓｒｏｏｍ Ｈｕｍａｎ Ｂｅｈａｖｉｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ ｏｎ Ｄｅｅｐ ＬｅａｒｎｉｎｇZHENG Shiji，LI Guansheng（Jiangmen Polytechnic，Jiangmen 529090，China）of the environment and the diversity of human behaviorAbstract：Human behavior recognition and analysis is a research hotspot in the field of computer vision. Considering the complexity ，there is still much room to improve the processing speed and recognition accuracy of human behavior recognition. In recent years，the development of in-depth learning technology and its successful application in the field of artificial intelligence have provided a new solution for human behavior recognition. This paper mainly studies the application of convolutional neural network technology in deep learning to human behavior recognition，and combines with specific classroom application scenarios，designs an intelligent human behavior recognition model that can actively learn，which has important practical significance for quantitative analysis of classroom students’learning and teaching situation.Keywords：computer vision；behavior recognition；in-depth learning；convolutional neural network0 引 言法，它与全局特征不同的是无需进行前景背景分离，可以直人体行为识别是指通过人工智能、模式识别等方法，从接从图像相关的兴趣点中进行特征的采集。视频、图像中提取与行为有关的有效特征信息，通过算法和深度学习技术近年来在图像识别、分类等方面取得了迅分类器模型完成识别判定的过程。近年来，利用信息化技术猛的发展，结合深度学习的研究和应用也越来越多。常用的智能地对实际场景中的人体行为进行识别已成为社会的新兴深度学习模型有深度置信网络（DBN）、卷积神经网络（CNN）需求和研究热点。本文设计了一个应用于教室的人体行为识和循环神经网络（RNN）等。研究表明，基于深度神经网别模型，使用安装在教室的高清摄像机，捕获学生在课堂上络的图像识别技术，具有卓越的非线性映射能力、自学习能的实时画面，研究利用深度学习中的卷积神经网络技术，智力和并行处理能力，无须人为干预就可以对学习到的特征行能地识别出学生在教室中的行为和动作，能够量化、有效地为进行表征和分类。反映出学生在课堂上的学习状态，监控和评估课堂的教学情通过以上的分析可以看到，在传统的基于机器学习的方况，具有非常重要的现实意义。法中，特征计算是由人工设计的，而在深度学习中，则是通过设计的模型和标签，让网络自适应地学习不同行为的特征。1 行为识别的方法因此，相比于传统的机器学习识别方法，深度学习在人体行人体行为识别的研究目前主要有两个方向：基于机器学为识别方面明显具有更大的优势。习和基于深度学习。2 卷积神经网络机器学习需要人为地先设计好相关特征的充分表征行为，然后采用机器学习中的分类方法对图像显示的行为进行卷积神经网络是应用最为广泛的深度学习模型，它能分类。机器学习所设计的特征可分为局部特征和全局特征。够通过训练，自主地对输入特征进行全面有效的学习。与全局特征需先对人体进行前景背景分离，再对以人体为核心传统的神经网络相比，卷积神经网络利用了卷积算法的特的关键区域进行整体描述。局部特征是一种更广泛使用的方性，通过稀疏连接、局部感受野、权值共享和池化等手段，极大地降低了网络结构的复杂度和运算量。目前，卷积神经网络在自然语言处理、气候预测、人工智能等领域都有收稿日期：2019-03-11广泛的应用。由于卷积神经网络能从大量数据中学习到不2019.487现代信息科技4月7期.indd 872019/5/9 14:57:19第7期现代信息科技同层级的特征，因此其在人体行为识别领域必然也有着非分组成：输入层、卷积层、池化层、全连接层和分类层，常广阔的应用前景。经典的卷积神经网络模型主要由五部如图1所示。W输入输出卷积池化卷积全连接图1 经典卷积神经网络模型2.1 卷积层如下：卷积层是卷积神经网络中最重要的组成部分，特征图（ （ ））（ ）输入到卷积层后会与卷积核进行卷积操作，卷积操作公式（ （ ））（ ）（ ）如下：（ ）（5）∈ （1）（ （ ））（ ）其中， ∈是tanh函数，pj为局部感函数的输出结果为1个k维的向量（各向量元素的和为受野，是第l-1层的特征在第i个窗户上的值，是第l层1），用其来表示这k个估计的概率值。即对于给定的k维上位置为（i，j）对应的卷积核的权重，是特征的偏置。输入x向量，对每一个类别j计算出其概率p（y=i|x），达卷积层在进行卷积运算时，卷积核按照设置好的步长到估算输入x的每一种分类输出结果的概率值的目的。在整个输入特征上滑动，并同时与局部感受野相对应的部分相乘、求和进行卷积操作，一直重复到卷积核滑出输入特征3 行为识别模型为止。3.1 模型结构2.2 池化层本文所设计的人体行为识别模型主要由图像输入模块、池化层的作用主要是降低特征的维度和筛选掉冗余的特图像处理模块、特征学习模块和行为识别模块四部分组成，征，从而减少网络的运算量和提高网络的泛化能力。池化层如图2所示。通过池化窗口在输入特征上的滑动进行采样，根据采样方式图像输入图像处理建立模型行为识别结果的不同，可分为最大池化和均值池化两种方式。池化过程可表示公式如下：（ ） （2）训练集训练测试集验证其中，表示第l-1层输入特征中第i个窗口的值，图2 人体行为识别模型是第l层第j个窗口的偏置，pool表示采样函数。图像输入模块负责图像的捕获和传输；图像处理模块负2.3 全连接层责图像的灰度化和压缩，将图片转换为卷积神经网络善于处卷积神经网络在卷积层和池化层之后，一般都会配置一理的灰度图，实现人体行为识别问题向图像识别问题的转化，个全连接层。全连接层的神经元与前一层的每一个神经元都利用图像中的纹理特征对人体行为进行判别。特征学习模块相互连接，运算过程公式如下：通过卷积神经网络对人体行为的特征进行提取和学习。行为xl=f（ul） （3）识别模块则是使用卷积神经网络、Softmax算法等对输入图ul=Wlxl-1+bl （4）像的特征进行判别，从而识别分类出不同的人体行为。其中，f（ul）为激活函数，Wl是第l-1层至1层的权重，bl3.2 教室人体行为分类为第l层的偏置，xl-1是第l-1层的输出特征。为了方便对教室中的人体行为进行识别、量化和统计，2.4 分类层本文在参考了相关的文献资料和经过分析后，将教室中的人卷积神经网络模型对人体行为识别的效果在很大程度上体行为分成了以下6种类别，如表1所示。取决于特征的选取以及分类层分类器的选择。一般情况下，表1 教室人体行为分类如果拥有好的特征，即使选择简单的分类器，如支持向量机编号人体行为类别编号人体行为类别SVM（Support Vector Machine）等也能够获得不错的效果，但SVM在大规模的识别应用时，通常会受到时间和空间复1正常4侧身杂度的约束，其识别分类的效率不高。本文采用Softmax2举手5趴在桌子上作为分类器，Softmax适用于多分类的情况，它的表达函数3低头6站立882019.4现代信息科技4月7期.indd 882019/5/9 14:57:19郑士基，等：基于深度学习的教室人体行为识别模型设计第7期3.3 模型参数选择识别模型，并与教室的实际应用场景相结合。提出了模型的模型参数的选择需考虑以下几方面的问题：卷积神经设计结构、参数的选择与图像的分类方法，为教室人体行为网络的层数，即网络的深度；每层网络神经元的数量；激识别研究提供了一种新的设计理念和思路。在接下来的工作活函数的选择；损失函数的确定。在具体的设计中，以先中，主要的工作一是研究将本模型在实际应用中进行测试；简单后复杂为原则，先从3层卷积神经网络开始，其中包二是研究如何在增加模型卷积神经网络层数的同时，减少模含1个输入层、3个卷积层、3个池化层、1个全连接层和型训练和运算的时间，并进一步提高模型分类的精度和模型1个分类层，在这个基础上再根据实际的效果调整模型的深泛化的能力。度和容量。参考文献：（1）卷积层参数。主要涉及到卷积核大小、个数和卷[1] 陆霖霖.基于改进ISA深度网络的人体行为识别研究与实积步长。可采用5×5卷积核，步长设置为1，卷积核的个现 [D].成都：电子科技大学，2016.数设置为64。[2] BOUZOUANE A，BOUCHARD B，GIROU XS.Action （2）池化层参数。与卷积层相似，池化层可采用3×3Description Logic for Smart Ho me Agent Recognition [J].Journal of 的池化核，步长设置为1。the American Society of Echocardiography Official Publication of the A （3）其他参数设置。学习率的设定，一个理想的学习merican Society of Echocardiography，2005，22（11）：1269-74.率能够使模型收敛得更快，可以从0.001开始，适当增大学[3] 惠通.基于轨迹和卷积神经网络的人体行为识别方法 [D].西安：西安电子科技大学，2017.习率可以加快模型的收敛速度。迭代次数一般在操作过程中[4] 余兴.基于深度学习的视频行为识别技术研究 [D].成都：进行设置，卷积神经网络在训练的过程中，小批次会表现得电子科技大学，2018.更好，可以从小开始逐渐增大迭代的次数。为了防止模型拟[5] 王明.基于卷积神经网络的网络入侵检测系统 [D].北京：合过强，泛化能力不足，还需进行正则化的Dropout处理，北京邮电大学，2018.该参数一般设置为0.5。[6] 孔令爽.基于深度学习和迁移学习的入侵检测研究 [D].4 结 论济南：山东大学，2018.作者简介：郑士基（1979-），男，汉族，广东江门人，高级本文将目前最流行的深度卷积神经网络应用于人体行为工程师，学士，研究方向：计算机网络、物联网、人工智能。（上接86页）面进行设计的过程中，可采用电击按钮、异步（3）内存优化。可充分引用DLL等方式，对内存进行加载的方式，读取系统后台的数据，并从主界面进入到二级优化，进而对整个系统进行优化[5]。主界面。当返回到主界面的时候，则可以通过结束按钮的方式，将程序进行关闭。4 结 论（2）二级主界面设计。二级主界面主要包括船舶仿真综上所述，伴随着虚拟现实技术的进一步发展，通过该视景、舱室破损浸水仿真视景、舱室漫游视景的操作界面，技术构建一个虚拟现实系统，给用户操作者提供一个身临其并利用按钮切换、异步加载的方式，获得不同的视景。同时，境的环境，并使其在虚拟的环境中，掌握船舶机舱操作要点，在切换的过程中，必须要保证不会对其他场景的数据读取产不断提升其操作水平。生影响。参考文献：另外，当系统设计完成之后，在进行场景切换的过程中，[1] 徐慧.船舶机舱虚拟场景三维模型的建立及优化 [J].舰船极有可能会出现卡顿的现象，进而对用户的体验效果产生科学技术，2018，40（2）：123-125.影响。基于此，可充分利用相应的技术，从系统的CPU、[2] 于祥.3D技术在船舶机舱仿真软件开发中的应用 [J].天GPU和内存三个方面进行优化：津航海，2016（2）：38+41.（1）CPU优化。在虚拟系统中，每一次都要经过系统[3] 沈浩生，张均东，曹辉，等.船舶机舱三维视景仿真系统的应用与发展 [J].中国水运（下半月），2016，16（6）：66-70.CPU的渲染，进而导致系统中CPU负荷严重，直接降低了[4] 赵岩.船舶机舱虚拟现实仿真系统研究 [J].科技展望，系统的运行速度。因此，可将大量的Draw Call对CPU进2015，25（14）：174.行优化，以减少其工作量。[5] 李雯文.虚拟船舶机舱设备的运行操纵仿真研究 [D].镇（2）GPU优化。在虚拟现实系统中，GPU主要负责进江：江苏科技大学，2015.行图像渲染。因此，在对其进行优化的过程中，可充分利用作者简介：王海全（1992.07-），男，汉族，山东荣成人，减少绘制数目、优化显存带宽等方式，对其进行优化。助理实验师，本科，主要研究方向：船舶工程技术。2019.489现代信息科技4月7期.indd 892019/5/9 14:57:19