(12)发明专利申请
(10)申请公布号 CN 110045015 A(43)申请公布日 2019.07.23
(21)申请号 201910312681.8(22)申请日 2019.04.18
(71)申请人 河海大学
地址 210000 江苏省南京市江宁区佛城西
路8号(72)发明人 许军才 朱先祥 沈振中 舒连刚 (74)专利代理机构 南京经纬专利商标代理有限
公司 32200
代理人 许方(51)Int.Cl.
G01N 29/04(2006.01)G01N 29/44(2006.01)
权利要求书2页 说明书5页 附图2页
(54)发明名称
一种基于深度学习的混凝土结构内部缺陷检测方法(57)摘要
本发明公开一种基于深度学习的混凝土结构内部缺陷智能识别的方法，该方法不同于常规的智能识别方法，该方法将深度学习中的卷积神经网络引入混凝土结构内部缺陷诊断中，解决了传统识别方法需要提取特征量的缺陷，采用小波时频分析将检测信号转换为二维时频图像，通过建立的深度学习网络对混凝土结构质量进行智能识别，方法具有识别准确率高、性能稳定等优点。
CN 110045015 ACN 110045015 A
权 利 要 求 书
1/2页
1.一种基于深度学习的混凝土结构缺陷识别方法，其特征在于，该方法包括如下步骤：(1)制作含有不同缺陷和无缺陷的混凝土模型试件；(2)根据混凝土模型试件的厚度选择激振源和传感器，并设定采样频率和时窗，使用激振源振动不同缺陷的试件，对不同缺陷状态下的混凝土结构试件采集振动信号；
(3)将采集到的不同试件的振动信号和混凝土结构试件缺陷状态的标签对应；(4)利用小波变换将一维的振动信号转换变成小波能量谱，再由尺度与频率的对应关系将小波能量谱图转化为二维时频图像信息；
(5)将二维时频图像信息转换成符合卷积神经网络规格大小的图像，并与混凝土缺陷特征标签对应，建立出不同缺陷状态下的数据集；
(6)利用数据集的二维时频图像作为输入量，混凝土缺陷状态的标签值作为输出量，训练符合要求的卷积神经网络；
(7)重新采集混凝土模型试件的振动信号，根据采集的振动信号重复步骤4将振动信号转化为二维时频图像；
(8)将二维时频图像转换成符合卷积神经网络规格大小的图像，输入步骤6中训练后的卷积神经网络，输出识别缺陷结果。
2.根据权利要求1所述的一种基于深度学习的混凝土结构缺陷识别方法，其特征在于，步骤(4)得到二维时频图像信息方法如下：
(4.1)首先采用小波变换是将振动信号f(t)在小波基下展开，将f(t)向小波基上投影，用小波基函数逼近信号，其变换的表达式为：
*
式中，a为尺度因子，b为平移量，ψ(t)为小波基函数ψ(t)的复共轭，公式(1)得到的就是振动信号f(t)能量谱，振动信号经过小波变换，将一个振动信号f(t)投影到时间-尺度平面上；
(4.2)尺度因子a与频率ω没有直接关系，要将尺度因子a转换为实际频率ω，尺度因子a对应的实际频率ω可按下列公式得出：
式中，ωc为小波的中心频率，ωs为振动信号采样频率，通过公式(19)将振动信号的小波能量谱变换为时频谱，即二维时频图像信息。
3.根据权利要求2所述的一种基于深度学习的混凝土结构缺陷识别方法，其特征在于，在小波变换中，采用Morlet小波进行变换，其表达式为：
式中，C为重构时的归一化常数。
4.根据权利要求1或2或3所述的一种基于深度学习的混凝土结构缺陷识别方法，其特征在于，步骤(6)中，训练符合要求的神经网络的方法如下：
卷积神经网络由特征提取网络和类别分类网络共同组成，其中特征提取网络由卷积层
2
CN 110045015 A
权 利 要 求 书
2/2页
和下采样层构成，分类网络则由全连接层和输出层采样层构成；
卷积层中第i层的特征图Hi，其产生过程表述为：
式中，Wi为第i层卷积核的权值向量，为特征图卷积运算，bi为第i层偏移向量，f为非线性激励函数；
下采样层在卷积层之后，依据下采样规则对特征图进行下采样，对特征图进行降维，产生过程表述为：
Hi＝f(β (5)isubsampling(Hi-1)+bi)式中，Subsampling(·)为下采样函数，βi为第i层乘性偏置；多个卷积层和下采样层交迭传递后，由全链接层针对提取的特征进行分类，得到标签类别的概率分布，数学模型表示为：
Y(i)＝P(L＝li|H0；(W,b)) (6)式中，Y(i)为第i类别的概率，li为第i类别标签，W为权值，b为偏置,H0为输入图像；卷积神经网络训练中，训练目标为寻找合适的W和b使得最小化网络的残差函数，采用梯度下降进行反向传播，逐层更新卷积神经网络各层修正参数W和b，当训练到残差满足要求E≤ε，停止训练，实现方法见下表达式：
式中，η为学习速率，E为残差函数，ε为阈值。
3
CN 110045015 A
说 明 书
一种基于深度学习的混凝土结构内部缺陷检测方法
1/5页
技术领域
[0001]本发明属于土木结构工程检测技术领域，尤其涉及一种基于深度学习的混凝土结构内部缺陷检测方法。
背景技术
[0002]随着数据信息处理技术和人工智能技术迅猛发展，人们尝试采用各种人工智能方法对混凝土缺陷类型进行识别与评价，诸如模糊聚类神经网络、小波神经网络、支持向量机及极限学习机等浅层学习算法。但上述浅层学习算法需要从复杂的冲击回波信号中提取出反映缺陷性质的特征信息，特征信息的代表性直接决定缺陷分类识别，信号特征信息需要通过各种复杂算法才能实现，这无疑降低了方法的通用性。深度学习通过对信号进行逐层特征变换，将样本原样本空间特征表示变换到新的特征空间，自动学习实现层次化的特征表示。深度学习是机器学习领域一个新的研究方向，卷积神经网络是深度学习的重要模型之一，其独特的网络结构对一定程度的平移、缩放、扭曲具有高度不变性。近年来在图像识别、语言识别及计算机视角等领域应用取得了突破性进展。但卷积神经网络只是针对二维图形信息的识别，显然无法对结构内部缺陷一维检测信号进行识别。[0003]基于上述原因，现有混凝土内部缺陷无损检测技术的不足，本发明采用先进的信息处理技术和深度学习技术，建立基于小波时频分析和卷积神经网络的混凝土缺陷智能分类识别方法，方法具有广阔的应用前景。发明内容
[0004]发明目的：针对以上问题，本发明提出一种基于深度学习的混凝土结构内部缺陷检测方法，用于压制噪声干扰，提高冲击回波检测信号的分辨率，增强方法的适用性和可靠性。
[0005]技术方案：为实现本发明的目的，本发明所采用的技术方案是：通过理论分析和模型试验，采用的信息处理技术和深度学习技术，建立基于小波时频分析和卷积神经网络的混凝土缺陷智能分类识别方法。
[0006]卷积神经网络是为识别图形设计的人工神经网络，因此卷积神经网络在对冲击回波的混凝土结构检测信号识别时，需要先将加速度信号转化为图形信息，作为卷积神经网络的输入信息。考虑到加速度信号时频图像可作为卷积神经网络标准输入信息，将加速度信号通过小波变换转换为时间尺度信息，根据尺度与频率关系可将时间-尺度信息转化为时间-频率信息，再时频信息转化为符合卷积神经网络的输入信息。由训练数据集训练卷积神经网络，建立出基于小波变换的卷积神经网络(WT-CNN)，训练后的卷积神经网络可以对测试集数据进行分类，对冲击回波信号识别WT-CNN架构如图二所示。[0007]本发明提出一种基于深度学习的混凝土结构缺陷识别方法，该方法包括如下步骤:[0008](1)首先根据实际工程中混凝土结构常见的缺陷特征，按照常规配合比、成型工
4
CN 110045015 A
说 明 书
2/5页
艺，制作含有缺陷和无缺陷的混凝土模型试件；[0009](2)根据混凝土结构的厚度选择激振源和检波器，并设定采样频率和时窗，使用激振源振动不同缺陷的试件，对不同缺陷状态下的混凝土结构试件采集振动信号；[0010](3)由不同缺陷状态下的混凝土结构试件上采集到的振动信号，将振动信号和混凝土结构试件缺陷状态的标签对应；[0011](4)对振动信号进行处理，首先将利用小波变换将一维的振动信号转换变成小波能量谱，再由尺度与频率的对应关系转化为二维时频图像信息；[0012]首先采用小波变换是将振动信号f(t)在小波基下展开，将f(t)向小波基上投影，用小波基函数逼近信号，其变换的表达式为：
[0013]
*
式中，a为尺度因子，b为平移量，ψ(t)为小波基函数ψ(t)的复共轭，公式(1)得到
的就是振动信号f(t)能量谱。[0015]在小波变换中，小波基函数并不是唯一，由于Morlet小波的时频局部性较好，若采用Morlet小波进行变换，其表达式为：
[0014]
[0016]
式中，C为重构时的归一化常数。[0018]振动信号经过小波变换，将一个时间函数f(t)投影到时间-尺度平面上，从而同时获得信号的时间和尺度分量，实现信号的时间尺度分析。但尺度因子a与频率ω没有直接关系，要将尺度因子a转换为实际频率ω。尺度因子a对应的实际频率ω可按下列公式得出：
[0019]
[0017]
式中，ωc为小波的中心频率，ωs为振动信号采样频率，这样通过公式(19)将振动信号的小波能量谱变换为时频谱，即二维时频图像信息。[0021](5)将二维时频图像信息转换成符合卷积神经网络规格大小的图像，并与混凝土缺陷状态标签对应，建立出不同缺陷状态下的数据集；[0022](6)利用数据集二维时频图像作为输入量，标签值混凝土缺陷状态作为输出量，训练卷积神经网络。卷积神经网络由卷积层和下采样层循环构成，输出层种类由缺陷种类决定。设定分批尺量、学习速率及迭代次数，训练建立的网络使得卷积神经网络性能达到要求，保存训练完成的卷积神经网络。[0023]卷积神经网络如图1所示，由特征提取网络和类别分类网络共同组成，其中特征提取网络由卷积层和下采样层构成，分类网络则由全连接层和输出层采样层构成。[0024]卷积层中第i层的特征图Hi，其产生过程表述为：
[0025][0026]
[0020]
式中，Wi为第i层卷积核的权值向量，为特征图卷积运算，bi为第i层偏移向量，f
为非线性激励函数。
[0027]下采样层通常在卷积层之后，依据下采样规则对特征图进行下采样，对特征图进
5
CN 110045015 A
说 明 书
3/5页
行降维，产生过程表述为：[0028]Hi＝f(β (13)isubsampling(Hi-1)+bi)[0029]式中，Subsampling(·)为下采样函数，βi为第i层乘性偏置。[0030]多个卷积层和下采样层交迭传递后，由全链接层针对提取的特征进行分类，得到标签类别的概率分布，数学模型表示为：[0031]Y(i)＝P(L＝li|H0；(W,b)) (14)[0032]式中，Y(i)为第i类别的概率，li为第i类别标签，W为权值，b为偏置,H0为输入图像。[0033]卷积神经网络训练中，训练目标为寻找合适的W和b使得最小化网络的残差函数，常采用梯度下降进行反向传播，逐层更新卷积神经网络各层修正参数W和b，当训练到残差满足要求E≤ε，停止训练，实现途径见下列表达式：
[0034]
[0035]
式中，η为学习速率，E为残差函数，ε为阈值。[0037](7)在混凝土结构振动检测信号识别过程中，根据采集的振动信号重复步骤4将振动信号转化为二维时频图像。[0038](8)将二维时频图像转换成符合卷积神经网络规格大小的图像，输入步骤6中训练后的卷积神经网络，输出识别结果。[0039]有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：[0040](1)小波-卷积神经网络不同与传统结构缺陷识别方法，规避了传统识别算法特征提取的过程，避免了人工特征选择的不确定性。[0041](2)小波-卷积神经网络在对振动检测信号样本数没有过高要求，即便在小规模的样本情况下，也能取得不错的识别准确性。[0042](3)小波-卷积神经网络对冲击回波振动时频图识别表现出良好的性能，具有较高的准确性和稳定性。
附图说明
[0043]图1、基于卷积神经网络的深度学习示意图；[0044]图2、基于卷积神经网络的混凝土内部缺陷识别架构图；[0045]图3、冲击回波信号识别的卷积神经网络结构图；[0046]图4、基于卷积神经网络分类结果；[0047]图5、基于卷积神经网络冲击回波检测结果混淆矩阵。
具体实施方式
[0048]本发明在具体的实施过程中，涉及小波变换原理：
[0049]首先采用小波变换是将振动信号f(t)在小波基下展开，将f(t)向一系列小波基上投影，用一系列的小波基函数逼近信号。其变换的表达式为：
6
[0036]
CN 110045015 A[0050][0051]
说 明 书
4/5页
*
式中，a为尺度因子，b为平移量，ψ(t)为小波基函数ψ(t)的复共轭。
[0052]在小波变换中，小波基函数并不是唯一，由于Morlet小波的时频局部性较好，若采用Morlet小波进行变换，其表达式为：
[0053]
式中，C为重构时的归一化常数。[0055]振动信号经过小波变换，将一个时间函数f(t)投影到时间-尺度平面上，从而同时获得信号的时间和尺度分量，实现信号的时间尺度分析。但尺度因子a与频率ω没有直接关系，需要将尺度因子a转换为实际频率ω。尺度因子a对应的实际频率ω可按下列公式得出：
[0056][0057]
[0054]
式中，ωc为小波的中心频率，ωs为采样频率，这样通过公式(19)将振动信号的小波能量谱变换为时频谱。
[0058]卷积神经网络如图1所示，由特征提取网络和类别分类网络共同组成，其中特征提取网络由卷积层和下采样层构成，分类网络则由全连接层和输出层采样层构成。[0059]卷积层中第i层的特征图Hi，其产生过程表述为：
[0060][0061]
式中，Wi为第i层卷积核的权值向量，为特征图卷积运算，bi为第i层偏移向量，f
为非线性激励函数。
[0062]下采样层通常在卷积层之后，依据下采样规则对特征图进行下采样，对特征图进行降维，产生过程表述为：
[0063]Hi＝subsampling(Hi-1) (21)[0064]式中，Subsampling为下采样运算。[0065]多个卷积层和下采样层交迭传递后，由全链接层针对提取的特征进行分类，得到标签类别的概率分布，数学模型表示为：[0066]Y(i)＝P(L＝li|H0；(W,b)) (22)[0067]式中，Y(i)为第i类别的概率，li为第i类别标签，w为权值，b为偏置。[0068]卷积神经网络训练中，训练目标为寻找合适的W和b使得最小化网络的残差函数，常采用梯度下降进行反向传播，逐层更新卷积神经网络各层修正参数(W和b)，当训练到残差足够小时便停止训练，实现途径见下列表达式：
[0069]
[0070][0071]
式中，η为学习速率，E为残差函数。
7
CN 110045015 A[0072]
说 明 书
5/5页
实施例
[0073]以冲击回波检测混凝土结构为例，针对工程中混凝土结构质量缺陷，按照常规C30混凝土配合比、成型工艺进行设计，制作含有缺陷性质及无缺陷的混凝土模型试件。试验现场采集的冲击回波测试信号的数量为168，其中具有孔洞缺陷和完整混凝土试件分别为96个和72个。
[0074]冲击回波信号并不能直接作为卷积神经网络的训练样本，需要采用小波变换将加速信号变换为时频图。将每个采样点的振动信号变换为对应的时频图，再将时频图调整为合适的尺寸，本发明为227×227像素，以适合卷积神经网络输入。经过尺寸调整后的时频图构成了卷积神经网络训练样本，从训练样本随机抽取70％样本作为训练集，本实施例中117个样本，剩余样本作为测试集，本实施例中卫51个样本。[0075]卷积神经网络中通常包括卷积核个数、卷积核尺寸、下采样区域大小及方法、全连接节点等因素，为研究卷积神经网络对冲击回波法检测分类效果，本文根据卷积神经网络架构设计了冲击回波法检测分类模型，如图3所示。网络中图像输入尺寸大小为227×227，特征提取网络为5层网络结构，由卷积层和下采样层循环构成，卷积核尺寸大小选择为3×3，下一层卷积核数为上一层2倍，下采样区域大小选择2×2，分类网络由2节点全链接层和输出层Softmax构成。
[0076]卷积神经网络需要设置合适的训练参数，训练集样本批量尺寸设为10，学习速率设为0.0001，迭代次数设为100，以
Core(TM)i5-6200 CPU双核2.3GHz,内存8.0GB，
耗时210.095秒。训练卷积神经网络过程中，随着迭代次数的增加，分类准确率逐渐增加。当迭代次数达到15次以后，分类准确率均超过96％；当迭代次数大于20时，分类准确率达到100％。
[0077]对训练后的卷积神经网络模型进行测试，该样本标签为Fault。振动信号通过WT-CNN模型测试，输出的Fault和Normal标签概率分别为98.97％和1.03％(图4)，输出结果为Fault，与实际的测试样本结果吻合，模型能正确识别试件的质量状况。[0078]以测试集全部样本进行试验，测试集中30个样本为缺陷试件，21个样本为完整试件。通过WT-CNN模型测试，计算机耗时2.419秒，测试结果如图5所示。[0079]根据图5混淆矩阵所示，混淆矩阵主对角线数字较大，几乎占据了全部的样本数，对正常试件的识别准确率为100％，而对缺陷试件的识别准确率为96.6％，总体准确率达到98％。因此，卷积神经网络对时频图识别表现出优良的性能，不仅分类准确率高，而且能提供高效率的预测结果，使得在实际应用中很方便。
8
CN 110045015 A
说 明 书 附 图
1/2页
图1
图2
图3
9
CN 110045015 A
说 明 书 附 图
2/2页
图4
图5
10
因篇幅问题不能全部显示，请点此查看更多更全内容