基于振动信号及深度学习的结构健康监测实验教学设计.pdf

实 验 技 术 与 管 理 第 40 卷 第 6 期 2023 年 6 月 Experimental Technology and Management Vol.40 No.6 Jun.2023 收稿日期:2023-01-31 基金项目:陕西省高等教育学会 2021 年高等教育科学研究项目（XGH21073、XGH21043）；中国交通教育研究会教育科学研究重点课题（JTZD20-20）；陕西省高等教育教学改革研究项目（21BY035）作者简介:王慧（1983），女，湖南常德，博士，讲师，主要研究方向为结构健康监测与可靠性，。通信作者:王乐（1984），男，陕西蓝田，博士，副教授，主要研究方向为结构健康监测与模型修正，。引文格式:王慧，王乐，郭宁.基于振动信号及深度学习的结构健康监测实验教学设计J.实验技术与管理,2023,40(6):192-198.Cite this article:WANG H,WANG L,GUO N.Experimental teaching design of structural health monitoring based on vibration signals and deep learningJ.Experimental Technology and Management,2023,40(6):192-198.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.06.030 基于振动信号及深度学习的结构 健康监测实验教学设计 王 慧1，王 乐2，郭 宁3（1.长安大学 理学院，陕西 西安 710064；2.西北工业大学 航空学院，陕西 西安 710072；3.西北工业大学 航天学院，陕西 西安 710072）摘 要：该文基于团队在振动力学应用领域的最新科研成果，构建了基于振动信号测试及深度学习的结构健康监测实验教学系统。通过振动力学基本理论知识与人工智能领域深度学习技术的拓展应用，旨在使学生在掌握课程基本知识的同时，培养处理复杂问题的综合能力和高阶思维，激发学习热情，增强科研创新能力。实践结果表明，该实验教学系统仅利用现有的振动测试设备及相对简单的教学模型，即可将学科领域最新的研究成果应用到振动力学实验教学中，实验结果演示度高、实验方法先进，有助于学生理解振动力学的基本知识，掌握振动测试的基本原理，弄清深度学习的基本方法，从而提升学生利用已学知识处理相关工程问题的能力。关键词：实验教学；振动力学；结构健康监测；深度学习；科教融合 中图分类号：O329；G642.0 文献标识码：A 文章编号：1002-4956(2023)06-0192-07 Experimental teaching design of structural health monitoring based on vibration signals and deep learning WANG Hui1,WANG Le2,GUO Ning3(1.School of Science,Changan University,Xian 710064,China;2.School of Aeronautics,Northwestern Polytechnical University,Xian 710072,China;3.School of Astronautics,Northwestern Polytechnical University,Xian 710072,China)Abstract:Based on our latest research achievements in the application of vibration mechanics,this paper constructs an experimental teaching system of structural health monitoring based on vibration signal testing and deep learning.By expanding the application of the basic theoretical knowledge in vibration mechanics with the deep learning technology in artificial intelligence,the experimental teaching system aims to enable students to master the basic knowledge of the course,and cultivates the comprehensive ability and higher-order thinking to deal with complex problems,as well as promotes students enthusiasm for learning and innovation ability for scientific research.The practice results show that the experimental teaching system can apply the latest research results in experimental teaching in vibration mechanics course by using the existing vibration testing equipments and relatively simple mechanical model.Meanwhile,the highly demonstrable experimental results and the advanced experimental method show that the experimental teaching system can help the students to understand the basic knowledge in vibration mechanics,master the basic principles in vibration testing and clarify the basic methods of deep learning.Consequently,the students ability of using the learned knowledge to deal with related engineering problems can be improved.Key words:experimental teaching;vibration mechanics;structural health monitoring;deep learning;research and education integration 王 慧，等：基于振动信号及深度学习的结构健康监测实验教学设计 193 力学是机械、土木、航空航天等工科专业的基础，具有基础性和应用性，其理论在解决高新科技领域发展中的突出问题时往往起着关键性作用1-2。力学课程可视为“新工科”的通识课程，振动力学是力学课程的重要组成部分，在工程领域有着广泛应用。随着我国向制造强国迈进，对各类结构设备的功能性能要求越来越高，结构设备的工作环境越来越恶劣，随之出现的振动相关问题更为凸显3。振动力学类课程是一门基础性、应用性很强的专业基础课程，单纯讲解诸如单自由度系统振动、多自由度系统振动、连续体振动以及振动测试等基础理论与方法已经难以满足当前工程领域对学生处理振动相关问题能力的需求，开展利用振动基本理论并结合学科前沿的综合性实验教学，将学生所学基本理论与工程前沿紧密结合非常必要4。实验教学内容的前瞻性和创新性是提升课程高阶性、激发学生学习兴趣的关键，而融合最新科研成果的实验教学内容则是达到这一目的的有效措施5-7。振动力学的工程应用遍布机械、土木、航空航天等领域，而基于振动测试的结构健康监测是这些领域共同关注的研究热点，笔者团队近十年以来在该领域开展了大量研究工作，获得了丰富的研究成果8-11。深度学习是目前人工智能领域的研究热点，在计算机视觉、语音识别、自然语言处理等领域取得了显著成效12，且在与特征提取相关的数据检测13、参数预测14以及结构健康监测15等多个领域逐步开始应用。本文将以提升振动力学类课程综合性实验的前瞻性和创新性为目标，结合振动力学基本理论在结构健康监测中的应用，并融合人工智能领域中的深度学习技术，将团队最新科研成果“基于内积矩阵及深度学习的结构健康监测研究11”设计为振动力学类课程教学中的创新型综合实验项目，旨在使学生在掌握课程基本知识的同时，培养处理复杂问题的综合能力和高阶思维，激发学习热情，提升科研创新能力。1 实验教学系统 面向振动力学类课程的结构健康监测实验教学系统如图 1 所示，包括振动测试单元、结构健康监测模型以及深度学习单元。振动测试单元由振动激励模块和振动响应测试模块组成。振动激励模块可选用锤击法激励、激振器法激励或振动台激励等三类常见激励的任何一种：当选用锤击法激励时，振动激励模块仅包含力锤；当选用激振器法激励时，振动激励模块包含信号发生器、功率放大器、激振器、力传感器等；当选用振动台激励时，振动激励模块包含振动台控制器、振动台功率放大器、振动台台体、加速度传感器等。振动响应测试模块主要由振动响应测试传感器及动态信号采集仪组成，其中振动响应测试传感器通常为加速度传感器，也可根据实验室条件选取位移传感器或应变传感器。图 1 结构健康监测实验系统的组成 结构健康监测模型为一典型加筋壁板，加筋壁板由 1 块 450 mm350 mmT1 mm 的铝板以及 3 根长度340 mm、截面宽度 25 mm、壁厚 T2 mm 的等边角铝组成，每根角铝与铝板均用 11 个 M5 螺栓连接（共计33 个螺栓），加筋壁板四边由宽度为 50 mm、厚度为20 mm、长度为 450 mm 或 350 mm 的 8 块钢制夹板加持，以模拟四边固支边界条件，如图 2 所示。为实现学生分组实验，壁板厚度 T1包括 1 mm、1.5 mm、2 mm194 实 验 技 术 与 管 理 以及 2.5 mm 四种，筋条壁厚 T2也包括 1 mm、1.5 mm、2 mm 以及 2.5 mm 四种，通过不同厚度之间的组合即可获得多种不同的结构健康监测模型。结构损伤模式可通过松动 33 个螺栓中的任何一个或多个来模拟，仅针对单螺栓松动损伤而言，采用任一个结构健康监测模型即可获得 34 种结构健康状态，即分别松动任一个螺栓的损伤状态以及所有螺栓都紧固的完好状态。图 2 结构健康监测模型示意图 深度学习单元采用基于 Python 语言的 Spyder 编译器及 Tensorflow 开源机器学习平台，包含振动信号读取模块、振动响应特征预处理模块、深度神经网络搭建模块以及深度神经网络训练模块等。振动信号读取模块用于读取振动测试系统采集的原始振动响应数据。振动响应特征预处理模块利用相关振动理论与方法对原始振动信号进行预处理，达到特征提取与数据降维的目的，并获得用于深度学习的样本数据。深度神经网络搭建模块用于构建深度神经网络的结构，根据团队最新研究成果，卷积神经网络（convolution neural network，CNN）、堆 栈 自 编 码 器（stacked autoencoder，AE）以及卷积自编码器（convolutional autoencoder，CAE）都可用于构建面向结构健康监测的深度神经网络。本实验教学系统采用目前最为流行的 卷 积 神 经 网 络，其 网 络 结 构 主 要 包 括 卷 积 层（convolution layer）、批归一化层（batch normalization layer）、池化层（pooling layer）、拉直层（flatten layer）、全 连 接 层（fully connected layer）以 及 分 类 层（classification layer）等16。深度神经网络训练模块分别用于深度神经网络的训练、验证与测试，对于识别结构健康状态（即螺栓松动位置）的相关分类问题，采用目前最常用的交叉熵作为损失函数，采用自适应矩估计（adaptive moment estimation，Adam）优化器来训练神经网络。2 实验原理 模态分析是振动力学类课程教学中的一项基本内容，结构的模态参数（固有频率、固有振型及模态阻尼）与结构的质量、刚度及阻尼等物理参数分布有关，当结构的物理参数分布发生变化时，结构的模态参数势必也会发生变化。结构的损伤通常会导致其物理参数的局部变化，如局部刚度下降、局部质量损失或局部阻尼变化等，其中以局部刚度下降最为普遍，本文用于结构健康监测的加筋壁板模型的螺栓松动就会导致螺栓松动部位的刚度下降。基于振动响应测试的结构健康监测的一个核心内容就是根据振动力学的基本原理与方法，利用可测量的结构振动响应构建能表征结构健康状态的结构损伤特征，同时为了实现结构健康监测的工程应用，结构损伤特征要便于获取。本实验系统采用了笔者团队提出的一种与结构模态参数直接相关且可通过时域振动响应直接计算的内积矩阵11作为结构损伤特征。利用振动力学类课程基本实验教学内容时域振动响应测试中学习的原理与方法，可以测试获得结构上 n 个测点的时域振动响应12()(),()nx t x tx t，利用这些时域响应两两相互做内积运算来定义内积矩阵，即：112111222212nnnnnnRRRRRRRRRM（1）其中，()()1,klkldRxtx tN（2）其中，,为内积运算符，()kxt与()lx t分别表示测点 k和测点 l 上采集的时域响应，dN为时域响应采样点数。研究表明，在环境激励下内积矩阵的任一行或任一列均是结构各阶模态振型的加权叠加，且各阶模态的加权系数与结构的模态参数有关8,11。根据基于深度学习的结构健康监测方法的基本要求，需要通过大量的振动响应测试获得各种结构健康状态下的多组内积矩阵，组成深度学习的样本数据库。假设针对某一种健康状态下的结构进行振动响应测试，获得其 n 个测点上的加速度响应信号，假设时域响应采样点个数为sdNN。取所有测点第1dN个采样点的时域信号，带入公式（1）及（2）即可获得当前结构健康状态的一个内积矩阵。按照同样的方法，逐次取后续dN个采样点的时域信号，则共获得当前结构健康状态的sN个内积矩阵，这sN个内积矩阵及其对应的结构健康状态就构成了sN个样本数据。假设待检测结构共有cN种结构健康状态，重复同样的工作，即可获得用于训练、验证及测试深度神经网络的csNN个样本数据。获得样本数据后，需要构建深度神经网络结构并完成网络的训练、验证及测试。本实验采用目前应用最为广泛的卷积神经网络，其构成示意图如图 3 所示。王 慧，等：基于振动信号及深度学习的结构健康监测实验教学设计 195 以内积矩阵为输入层，之后依次连接若干个卷积层、一个批归一化层、一个池化层、一个拉直层、若干个全连接层，最后连接一个分类层以给出结构健康状态类别。构建卷积神经网络后，需要将上述测试获得的csNN个样本数据分为训练集、验证集及测试集三部分，完成神经网络的训练，并给出训练后的神经网络在测试集上的损伤识别精度。图 3 卷积神经网络结构示意图 3 实验教学设计 结构健康监测实验教学系统是振动力学类课程的创新型综合实验项目，旨在使学生在理解振动力学基本原理的同时，学会利用相关振动测试方法，并采用以深度学习为代表的人工智能领域的热点技术，将理论、方法与工程实践相结合，促进对学生科学思维及创新能力的培养。实验教学内容包括结构振动响应测试、结构损伤特征提取以及深度神经网络的构建与训练三部分。首先，在结构振动响应测试中，通过复习振动测试的基本原理与方法，让学生针对结构健康监测这一特定工程问题，弄清振动响应测试所需的激励设备、传感器以及数据采集设备的使用方法，学会诸如测点布置、激励频带、采样参数等设置原则。其次，在结构损伤特征提取中，引导学生利用振动力学基本原理与相关数据处理方法，学会基于时域振动响应分析的结构损伤特征构建方法，并掌握结构健康监测中结构损伤特征构建的一般原则。最后，在深度神经网络的构建与训练部分，让学生利用 Spyder 编译器及 Tensorflow 开源机器学习平台，学会卷积神经网络的构建与训练方法，完成对结构健康状态的评估，并领会将先进人工智能算法与经典力学知识有机融合以解决实际工程问题的科学研究方法。通过上述教学设计及实践教学环节，要求学生弄清振动测试系统的使用方法与实验测试系统的搭建过程，学会基于振动响应测试的结构损伤特征构建原则，掌握 Tensorflow 开源机器学习平台下深度神经网络的构建与训练方法，培养学生利用已学知识处理复杂问题的综合能力和高阶思维，为学生后续的科学研究或工程实践奠定理论基础与方法基础。4 实验教学过程 根据实验内容，结构振动响应测试就是针对各种健康状态下的结构进行振动响应测试，结构损伤特征提取以及深度神经网络构建与训练则是根据实验原理，在 Spyder 编译器通过相关程序代码实现。实验的主要步骤如下：组装结构健康监测模型；搭建振动测试系统；逐次开展各种结构健康状态下的振动响应测试；获取深度学习的样本数据库；构建深度学习神经网络并完成网络的训练、验证与测试。下面通过一个典型示例说明该实验教学过程中的关键内容。4.1 实验系统搭建 根据图 1 所示的结构健康监测实验系统示意图，要求学生根据提供的振动测试设备及实验模型，分组自行组装结构健康监测模型并搭建振动测试单元，图 4 给出了采用振动台激励的一种实验系统搭建方式11，振动加速度响应采用均匀布置在壁板上的 15个加速度传感器来记录。在弄清相关实验设备的使用 图 4 一种典型的结构健康监测实验系统 196 实 验 技 术 与 管 理 方法及注意事项后，让学生在测试软件系统上进行激励方式、采样方式等数据采集设置。振动台激励采用功率谱密度为 0.000 1 g2/Hz、频带范围为 52 000 Hz的随机基础加速度激励，利用数据采集系统采集并记录所有测点的加速度响应信号。相关的采样设置包括：加速度计类型为 ICP 型，加速度计参考灵敏度为100 mV/g（实际输入参数以加速度计标定参数为准），采样频率 20 kHz，采样时长 5 min。4.2 实验工况 实验工况即结构健康状态，不同的实验工况对应不同的结构健康状态。本实验教学项目是通过不同加筋壁板不同位置的螺栓松动来模拟结构损伤的。针对本文第 1 节介绍的加筋壁板厚度 T1和筋条壁厚 T2可组合出多种实验模型，实验模型编号采用 M-T1-T2，如 M-1.5-2 表示采用壁板厚度 T1为 1.5 mm 和筋条壁厚 T2为 2 mm 组合而成的实验模型，每个实验小组可自行设计其结构健康监测模型。针对各实验小组设计的确定的实验模型，可分别松动 33 个螺栓中的任一个螺栓形成一种结构健康状态，结构健康状态采用 Ci 表示，i 表示松动的螺栓编号（具体编号见图 4(a)），例如 C15 表示仅 15 号螺栓松动的损伤结构，C0（即 i=0）表示所有螺栓都紧固时的完好结构。具体实验过程中，每个实验小组需针对本组的实验模型模拟不少于 8 种结构健康状态，并采用 4.1 节中的实验系统采集每一种结构健康状态下各测点的加速度响应信号。4.3 典型实验结果 以结构健康监测模型 M-2-2 为例，实验中模拟了9 种结构健康状态，即 C0、C1、C6、C10、C16、C18、C25、C30 及 C32，即9cN。图 5 给出了典型工况下测试获得的部分加速度响应信号，利用所有测点的加速度响应信号，设定512dN、1024sN（即每一个内积矩阵采用各测点 512 个采样点进行计算，每种结构健康状态可获得 1 024 个内积矩阵），采用本文第2 节中的公式即可获得各个工况下的样本数据，共计1 0249 个样本数据。图 5 典型工况下测试获得的部分加速度响应信号 获得样本数据后，需要构建卷积神经网络的结构。根据图 3 给出的卷积神经网络结构示意图，图 6 给出了本例所采用的卷积神经网络结构，包含输入层（conv2d_input）、2 层卷积层（conv2d、conv2d_1）、批归一化层（batch_normalization）、池化层（max_ pooling2d）、拉直层（flatten）、1 层全连接层（dense）以及分类层（dense_1）。网络的输入为 15 个测点计算获得的维度为 1515 的内积矩阵，网络的输出为 9 种结构健康状态的判断结果。将样本数据按照 811 的比例划分为训练集、验证集及测试集进行卷积神经网络训练。图 7 给出了网络训练过程中训练集与验证集的损失函数及准确率 王 慧，等：基于振动信号及深度学习的结构健康监测实验教学设计 197 图 6 采用的卷积神经网络结构 随训练迭代过程的变化曲线。可以看出，随着训练迭代次数的增加，训练集及验证集的损伤函数值都趋近于 0、准确率都趋近于 1，且训练集曲线与验证集曲线一致性较高，表明训练获得的卷积神经网络模型性能很好，不存在过拟合现象。图 8 给出了训练后的卷积神经网络针对测试集的混淆矩阵。可以清楚地发现，仅有个别结构健康状态预测错误（C0 状态有 1 个错误地预测为 C6 状态，C6 状态有 2 个错误地预测为 C0状态、1 个错误地预测为 C10 状态）。4.4 实验拓展 从上述实验过程可以看出，利用本文构建的结构健康监测实验教学系统，可以获得典型结构在若干健康状态下的振动响应数据，进而通过改变激励类型、响应信号类型以及结构健康监测方法，能够将该实验教学系统的应用范围进行进一步拓展。一方面，可将基于振动测试的结构健康监测领域的最新研究成果引入课程实验教学。例如，将内积矩阵与深度神经网络中的卷积自编码器结合的结构健康监测17；将基于振动响应相关性分析建立的相关函数矩阵作为结构损伤特征来进行结构健康监测18；通过增加激励点个数建立的增强内积矩阵作为结构损伤特征来进行结构健康监测19。另一方面，也可利用该实验教学系统开展结构健康监测的方法研究。例如，为降低深度学习过程中样本数据的获取成本，可结合仿真分析开展基于深度迁移学习20的结构健康监测研究；采用方波激励、冲击激励等其他类型激励或采用位移或应变信号，开展相关基于振动测试的结构健康监测新方法研究。图 7 卷积神经网络的训练过程 图 8 测试集的混淆矩阵 5 结语 针对振动力学这门基础性、应用性很强的专业基础课程，将最新科研成果转化为具有前瞻性、创新性的综合性实验教学内容，在提升课程高阶性、激发学生学习兴趣的同时，能够促进对学生处理复杂问题的综合能力及科研创新能力的培养。本文根据笔者团队在基于振动响应及深度学习的结构健康监测研究中的最新成果以及现有实验条件，开发了一套振动力学类课程综合实验教学系统，包括振动测试单元、结构健康监测模型以及深度学习单元。文中详细介绍了该教198 实 验 技 术 与 管 理 学系统各个单元的构成以及结构健康监测原理，并通过典型实验示例说明了该实验教学的一般过程，同时给出了结合该实验教学系统可进行的拓展性实验教学内容及研究方向。近三年的教学实践结果表明，该综合性实验教学系统的引入，在没有显著提升实验难度的情况下增强了教学实验的可设计性及创新探索性，有效提升了学生的主观能动性及学习兴趣，极大促进了学生对振动力学基本知识、振动测试基本原理的理解，培养了学生利用已学知识处理相关工程问题的科学研究能力。参考文献(References)1 龙驭球，崔京浩，袁驷，等.力学筑梦中国J.工程力学，2018,35(1):154.2 马宏伟，张伟伟.新工科力学课程体系的几点思考J.高等工程教育研究，2018(3):612.3 孙侠生.飞机结构强度新技术M.北京：航空工业出版社，2017.4 郭宁，王乐，曹善成，等.基于固有频率向量的结构健康监测实验教学设计J.实验技术与管理，2022,39(5):134137.5 董桂伟，赵国群，王桂龙，等.科研成果转化为实验教学资源的探索J.实验技术与管理，2019,36(4):114117,124.6 周一恒，严家明，吴新忠，等.融合科研成果的综合创新实验教学探讨J.实验技术与管理，2020,37(11):230234.7 沈利荣，沈蓉，李小平，等.将科研成果向本科生实验教学转换的具体实践J.实验技术与管理，2020,37(12):199204.8 WANG L,YANG Z C,WATERS T P.Structural damage detection using cross correlation functions of vibration responseJ.Journal of Sound and Vibration,2010,329(24):50705086.9 WANG L,GUO N,YANG Z C.Boundary condition identification of tapered beam with flexible supports using static flexibility measurementsJ.Mechanical Systems and Signal Processing,2016(75):138154.10 王慧，王乐，田润泽.基于时域响应相关性分析及数据融合的结构损伤检测研究J.工程力学，2020,37(9):3037,111.11 王慧，郭晨林，王乐，等.基于内积矩阵及深度学习的结构健康监测研究J.工程力学，2022,39(2):1422,75.12 GOODFELLOW I,BENGIO Y,COURVILLE A.Deep LearningM.USA:The MIT Press,2016:452477.13 丁建立，邹云开，王静，等.基于深度学习的 ADS-B 异常数据检测模型J.航空学报，2019,40(12):167177.14 韩小雷，冯润平，季静，等.基于深度学习的 RC 梁集中塑性铰模型参数研究J.工程力学,2021,38(11):160169.15 ZHAO R,YAN R Q,CHEN Z H,et al.Deep learning and its applications to machine health monitoringJ.Mechanical Systems and Signal Processing,2019,115(1):213237.16 CHA Y J,CHOI W,BYKZTRK O.Deep learning-based crack damage detection using convolutional neural networksJ.Computer-Aided Civil and Infrastructure Engineering,2017,32(5):361378.17 张敏照，王乐，田鑫海.基于内积矩阵及卷积自编码器的螺栓松动状态监测J.工程力学，2022,39(12):222231.18 王慧，王乐，田鑫海.基于相关函数矩阵及卷积神经网络的结构健康监测研究J/OL.工程力学：1-12(20221025)2023 0118.http:/ 田鑫海，王乐.基于增强内积矩阵的 PMI 泡沫夹层结构损伤检测J/OL.工程力学：1-13(20221025)20230118.http:/ 杨强，张宇，戴文渊，等.迁移学习M.庄福振，等译.北京：机械工业出版社，2020.（编辑：张文杰）（上接第 191 页）12 李光，王长元，薛鹏翔.基于手部关键点和肤色的手势识别J.计算机系统应用，2021,30(1):180185.13 EMGULYS J,RAUDONIS V,MASKELINAS,R.et al.Recognition of basketball referee signals from videos using Histogram of Oriented Gradients(HOG)and Support Vector Machine(SVM)J.Procedia Computer Science,2018(130):953960.14 鹿智，秦世引，李连伟，等.智能人机交互中第一视角手势表达的一次性学习分类识别J.自动化学报，2021,47(6):12841301.15 易靖国，程江华，库锡树.视觉手势识别综述J.计算机科学，2016,43（增刊 1）:103108.16 李为斌，刘佳.基于视觉的动态手势识别概述J.计算机应用与软件，2020,37(3):190197,208.17 孙进，张道周，张洋，等.基于双通道空洞卷积神经网络的手势识别J.传感器与微系统，2022,41(3):126128.18 张淑军，张群，李辉.基于深度学习的手语识别综述J.电子与信息学报，2020,42(4):10211032.19 HSU R L,ABDELMOTTALEB M,JAIN A K.Face detection in color imagesJ.IEEE Transactions on Pattern Analysis&Machine Intelligence,2002,1(5):696706.20 SOILLE P.Morphological image analysis:Principles and applicationsM.Berlin:Springer Press,2003.（编辑：张文杰）