基于边缘机器学习与云平台的压感地板室内检测系统设计_曹栢熙.pdf

|21智能应用0 引言 智能家居发展进程中，单品智能向场景智能再向全屋智能的过渡升级已经成为了产业共识1，各种家居设备的互联互通是发展必然趋势，作为能够覆盖全屋的地板也应具有更加智能化的功能。地板作为承载结构，能直接采集到屋内的压力数据，通过处理分析可以起到识别用户姿势及状态的功能，并智能控制屋内其他家居设备，以完善全屋智能体系。与基于图像识别处理的方案2相比，通过地板压力数据识别的方案具有一定的潜在优势，如：能够提供全屋的完整覆盖；减少了用户之间互相遮挡造成的干扰的可能性；减少侵犯用户隐私，容易被用户接受等。目前对大面积智能压感地板的研究较少，Alan Brnzel等3研发的 GravitySpace 智能地板系统可以跟踪和识别用户的轨迹，其团队使用了 FTIR 摄像头感知压力，并使用GPU 进行 SIFT 运算和压力数据集群分类，该系统智能化程度高，但系统复杂，成本高昂且后期难以维护。张杰团队4研发的多功能地板使用了压力传感器感知地板表面的压力，与其他智能传感器以及无线通信相结合，实现室内近距离定位监测功能。该系统将室内地板串联成有机整体，但功能性与智能化程度有待提升。针对上述情况与问题，本文设计了一种压感地板智能室内检测系统，使用地板下的压力传感器56构成阵列采集全屋压力数据，配合部署了边缘机器学习识别算法模型7的 MCU，在设备侧实现用户状态识别并智能控制其他家居设备，并通过 MQTT 协议将结果与数据上传至云平台8实现云端数据的可视化。该系统具有低成本低功耗，智能化程度高且交互性强的特点。1 整体设计方案系统主要由压力感知地板、数据分析与处理模块和云端数据可视化系统构成，如图 1 所示。（1）压力感知地板设计的压力感知地板模块由多个放置于地板下的压力传感器组成的传感器阵列与电阻电压转换电路构成，通过对阵列高速扫描，实现电压随地板所受压力变化而变化，并将采集的压力变化数据传至数据分析与处理模块。（2）数据分析与处理获得阵列压力数据后，MCU 主控通过提前构建好的边缘模型算法对数据进行建模分析，计算得到评估结果后，对全屋内相连接的各类智能家居外接设备进行控制调整与资源分配。（3）云端数据可视化主控 MCU 完成分析后，将得到的数据与结果通过基于边缘机器学习与云平台的压感地板室内检测系统设计曹栢熙，施景瀚，赵东阳，许浩天，蔡文郁（杭州电子科技大学 电子信息学院，浙江杭州，310018）基金项目：国家级大学生创新创业训练计划项目（202210336025）。摘要：随着我国智能家居产业的快速发展，前装性智能家居的概念也逐渐被人们认可，而将传感器大面积铺设作为智能地板的相关研究还比较缺乏。针对于此，设计了一种基于边缘机器学习与云平台的压感地板室内检测系统，通过铺设的压感地板采集表面压力变化情况，使用MCU上部署的边缘计算模型，将数据进行“类图像”的记录与智能分析，拟识别生物活动轨迹等，实现对室内环境的监测；并通过对外接口控制各种智能家居设备，同时通过MQTT协议将数据与结果上传至云平台实现数据可视化。实验结果表明，系统具有较高的识别准确率，较快的响应速度，同时减少了云端负担。关键词：智能家居；压力传感器；边缘机器学习；MQTT协议图 1 系统整体框图DOI:10.16589/11-3571/tn.2023.11.02822|电子制作 2023 年 6月智能应用MQTT 协议910与云平台对接，云平台进行数据的存储以及更新，并在家居控制终端上实现数据可视化，呈现屋内环境情况以及用户行为等。2 核心设计与实现 2.1 原理与硬件设计系统硬件由数据采集模块、MCU 控制器与WiFi 模块构成，如图 2 所示。其中在数据采集模块中，于地板底层位置放置压力传感器，在全屋范围内整体构成压力数据采集阵列。采集得到的地板压力数据矩阵传至MCU 控制器，进行数据处理与分析。WiFi 模块将处理后的数据与结果上传至上位机和云端。（1）数据采集模块数据采集模块中使用压阻式压力传感器采集压力感知数据。压阻式传感器根据压阻效应测量压力，因此需要设计电阻电压转换电路将原始输出电阻值的变化转化成电压信号，以实现电压随着压力变化而产生变化。电阻转换电压转换电路的输入端接到压力传感器两端，输出端直接接到单片机的 I/O 口，对压力值进行采集。每个感应点的输出电压 Uo 和电阻 Rij之间的关系表达式在公式(1)中进行了说明。,(,1,2,.,32)ijorefijIMRUVi jRR=+式(1)其中 Vref为 5V，阻抗匹配电阻 RIM 为 200k，因此它具有良好的线性度和相对较宽的电压范围。电阻 Rij的变化由相应感应点处的压力决定，实际测量可表示为式(2)。16903.379ijijPR=式(2)根据实验得出压力 Pij与电阻 Rij的关系如图 3 所示，实线表示压力直接与电阻1/R正比；虚线表示压力与R成反比。为了简化电路，提高资源的复用率，系统在压感地板与数据处理模块之间设置了多路模拟开关11，如图 4 所示，利用处理器芯片控制多路模拟开关的通路打开或闭合，保证每次采样过程中只有一个压力传感器连入电路，通过 GPIO的 I/O 控制可以实现对压感模块的高速扫描切换。（2）MCU 控制器在硬件逻辑控制方面上，MCU 控制器进行多路模拟开关驱动程序的执行与进行数模转换等工作。在软件实现方面上，通过部署经过训练后的算法模型对采集的压力数据进行分析得到识别结果。系统选择使用 STM32F4 处理器，该芯片性能满足实现要求且工作功耗较低。（3）WiFi 模块在本系统中 WiFi 模块通过 MQTT 协议用于通信和数据交互，将数据传至云端实现数据可视化并连接其他智能家居设备，共同构成全屋智能家居系统。2.2 数据处理分析与识别为提升系统的稳定性和准确性，本系统选择使用边缘机器学习算法处理分析压感数据。通 过 TensorFlow1213构 建、训练、评估机器学习模型，并使 用 TensorFlow Lite14将 训图 2 系统硬件设计结构图 3 压阻式阵列压力传感器特性图 4 多路模拟开关选通示意图|23智能应用练后的模型部署到主控 MCU 中15运行模型，该过程如图 5所示。图 5 系统搭建与程序运行过程系统搭建后，使用压感模块采集得到日常活动下的压力数据 P 和动作产生时间 t，构建动作向量111212122212(,.,.,.,.,)nnnnnnPP PPPPPPPPt=?，压感模块中第i 行第 j 列压力传感器输出的压力数据称为 Pij：111212122212(,.,.,.,.,)nnnnnnPP PPPPPPPPt=?式(3)样本数据的丰富度决定了识别模型本身的效果，为使模型的表现力更强，模型的准确率更高，使用范围更广，在收集样本数据时应考虑各类情况，因此采集了多个日常活动动作包括静止站立、摔倒、不同速度的走动、坐卧在不同家具上等对应的动作向量数据，构建训练数据集。系统使用 BP 神经网络1617进行识别算法的构建，算法具有较好的非线性映射能力和柔性可变的网络结构，在模式识别、分类和数据压缩方面有着广泛的应用和良好的性能。模型构建完成后，将动作向量训练数据集输入机器学习模型中，输出向量ri?作为控制指令。12(,.,)rrrrmiiii=?式(4)其 中，irm为 第 m 个智能家具设备的控制指令。将模型的输出向量ri?与期望输出向量ei?进行同或计算，计算机器学习模型的准确率，当机器学习模型的准确率大于要求准确率 1时进行移植。首先使用TensorFlow Lite 对该机器学习模型进行转换，生成体积小、效率高的模型(.tflite)，再通过TFLm C+库函数实现在 MCU上装载，模型的部署过程如图6 所示。使用训练数据输入到移植在数据处理模块上的机器学习模型中，计算其准确率，当移植后的机器学习模型的准确率大于要求准确率 2时，完成训练。数据处理模块对压感模块的输出数据进行采样，得到动作向量P?后通过训练后的机器学习模型进行处理，将机器学习模型的输出向量ri?通过通信电路传输到对外接口，用于对环境中的其他智能家居设备进行控制，实现基于边缘机器学习的压感地板室内监测。2.3 云端数据可视化云端数据可视化流程图如图 7 所示。为了实现系统数据的直观观测，本系统将压力感知电路采集室内压感地板的数据并完成分析后，通过 MQTT 协议与云平台对接，并利用云平台使用设备接入服务(IoT DA)将数据引入云平台，通过对象存储服务(OBS)实现对数据的存储与更新。对象存储服务(OBS)存储的数据作为数据可视化的数据源，实现数据的实时显示。3 测试结果与分析 3.1 系统模拟沙盘为了验证理论与分析的可靠性与正确性同时方便系统的调试与优化，通过模拟室内的家居环境进行了系统模拟沙盘的制作，如图 8 所示。3.2 模型部署测试依据前期设计，本系统通过 TensorFlow Lite 框架成功将机器学习模型部署在了 MCU 上，并进行了初步的机器学图 6 模型部署过程图 7 数据可视化流程24|电子制作 2023 年 6月智能应用习。经上位机测试证实了以 MCU 为处理核心的设备上运行深度学习模型的可行性，如图 9 所示。图 8 系统模拟沙盘图 9 模型部署上位机测试 3.3 识别分析测试模型部署完成后，本系统搭建了一个上位机模型，并通过人工模拟的方式采集数据用于训练以及验证。根据上位机的实时数据显示，数据的准确率达到了 98%以上。之后将数据存入在嵌入式设备中，验证了模型在移植到微控制器上后的表现，准确率达到了 90%以上。在确保了模型的可靠性之后，我们进行了实际的测试，通过压力传感器获取数据，并将运算识别结果反馈至各个外设模块并上传至云端。得到检测准确度如表 1 所示。3.4 可视化界面云可视化界面实现了数据变化以及信息统计等更直观的信息交互，各个状态的可视化界面如图 10 所示。表1 模型准确率家居模块BP on PCBP on MCU智能音箱模块98.50%90.60%无人报警模块100%99.80%窗帘模块98.80%91.60%灯光模块99.80%93.80%空调模块98.50%92.60%4 结束语本文设计了基于边缘机器学习与云平台的压感地板智能室内检测系统。系统经实测表明，在所对应的压力轨迹下，本系统可以较为准确地识别到对应活动状态，发送相应指令对外设进行控制，同时可以在云可视化界面上进行数据的实时显示。参考文献 1 熊先青,吴智慧.家居产业智能制造的现状与发展趋势 J.林业工程学报,2018,3(06):11-18.2 杨丽,冯娟,卢秀丽,等.基于物联网智能家居安全监控系统设计 J.现代电子技术,2019,42(08):55-58.3Alan Brnzel,Christian Holz,Daniel Hoffmann.GravitySpace:tracking users and their poses in a smart room using a pressure-sensing floorJ.In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI13).2013.Association for Computing Machinery,New York,NY,USA,725734.4 张杰,徐兆军,那斌,等.基于 NRF2401 的多功能地板的设计 J.传感器与微系统,2021,40(07):105-106.5 周瑞,李时维,李绍成,郭晓磊.压阻式柔性压力传感器阵列（a）无人状态（b）沐浴状态（c）玄关检测（d）移动监测图10 可视化界面（下转第 33 页）|33智能应用信号采集系统设计 J.传感器与微系统 2021(09),104-107.6 才滢,毕鹏.压阻式压力传感器及其应用电路设计 J.航空计测技术,2002(05):12-14.7 王梓儒.深度目标检测模型的边缘计算方案研究 D.北京交通大学,2020.8王天昊,李诚远,顾敏明.基于华为Lite OS的智能终端设计J.装备制造技术,2020(07):91-94.9 姚丹,谢雪松,杨建军,等.基于 MQTT 协议的物联网通信系统的研究与实现 J.信息通信,2016(03):33-35.10 顾亚文.基于 MQTT 协议的通用智能家居系统设计与实现D.西安电子科技大学,2014.11 葛立,李骥,高枫,李帆.多路模拟开关在数据采集系统中的应用与分析 J.电子技术应用,2014,40(12):40-42.12 刘帆,刘鹏远,李兵,徐彬彬.TensorFlow 平台下的视频目标跟踪深度学习模型设计 J.激光与光电子学展,2017,54(09):283-291.13 费宁,张浩然.TensorFlow 架构与实现机制的研究 J.计算机技术与发展,2019,29(09):31-34.14 李双峰.TensorFlow Lite:端侧机器学习框架 J.计算机研究与发展,2020,57(09):1839-1853.15 李冬冬,林金龙.MCU AI 部署技术和方法 J.单片机与嵌入式系统应用,2021,21(12):6-11.16 高鹏毅.BP 神经网络分类器优化技术研究 D.华中科技大学,2012.17 胡金滨,唐旭清.人工神经网络的 BP 算法及其应用 J.信息技术,2004(04):1-4.通信作者：蔡文郁。可在移动及电脑端使用。为了减少成本，本系统使用云平台，即 EMQXCloud 公司免费提供的 MQTT 服务器。微信应用框架式的软件架构，具有较低开发门槛、较高兼容性，可兼容各种不同的操作系统，而且无需下载、安装。基于上述优势，采用微信开发者平台开发手机上位机。MQTT 协议在微信应用软件中的应用首先要安 MQTT 客户端，在连接功能连接到MQTT伺服器的位址之后，可以订阅设备的数据主题。微信应用程序要求访问 JSON 数据的 WebAPI 平台。用户可以通过客户端监控事件来分析 JSON 数据；利用 Publish功能，完成用户对 LED 灯、报警等功能的控制，在 JSON上进行封装，并将其传输到云端平台。此外，系统还新增气象查询功能，用户可以通过墨迹天气网站上的 API 来获取该服务；而且还可以通过 JSON 解析用户数据，每天可以申请一万次，已经足够日常使用。4 结语近几年，随着物联网、人工智能、云计算等技术的飞速发展，致力于提高人们的居住品质的智能家居系统，已由实验室走向了普通的家庭。智能家居这个概念虽然被提出至今已有数十年之久，但至今还未广泛应用于整个社会，大部分家庭都还保持着传统的生活习惯。本文分析智能家居系统设计目标及设计原则，设计了基于 STM32、Zigbee 的智能家居系统，具有高度的集成化和智能化，可以作为普通家庭智能家居的参考。参考文献 1 刘婷,李洋.基于 ZigBee 网络的智能家居节能系统设计 J.科技与创新,2022(22):163-165.2 蒋翰林.智能家居新浪潮：从智能单品到全屋智能 N.中国经营报,2022-11-14(B14).3 于国福.基于 ZigBee3.0 技术的智能家居系统设计 J.电视技术,2022,46(10):222-225.4 程琪戬,王桂兰,周明亮.基于 Zigbee 技术的智能家居安防系统设计 J.集成电路应用,2022,39(10):258-259.5 曾浩.物联网技术支持下的智能家居系统建设探究 J.电子测试,2022,36(18):72-74.6 付心仪,张鹤,薛程,李欣洋,孙喆,徐迎庆.智能家居综合实验平台设计研究与应用实践 J.包装工程,2022,43(16):50-58+108.7 刘金雯.无线通信技术在智能家居中的应用研究 J.数字通信世界,2022(07):103-105.（上接第 24 页）