基于JetsonTX2的无感式行人重识别特征提取系统.pdf
《基于JetsonTX2的无感式行人重识别特征提取系统.pdf》由会员分享,可在线阅读,更多相关《基于JetsonTX2的无感式行人重识别特征提取系统.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 51 卷收稿日期:2023年1月20日,修回日期:2023年2月10日作者简介:赵嘉靖,男,硕士研究生,研究方向:计算机视觉。黎曙,男,硕士研究生,研究方向:计算机视觉。1引言行人重识别技术可分为基于视频序列的行人重识别15和基于单帧图像的行人重识别610。主流方法还是基于单帧的重识别,因为基于单帧的行人重识别技术需求数据集较小,训练时间较短,在工程上有较高的可实现性。基于单帧的行人重识别技术框架可分为目标检测11和行人的再识别两步来实现。首先在监控摄像头中,每一帧画面都由我们感兴趣的前景和不感兴趣的背景组成,其中目标检测作为第一步的作用就是提取一系列视频图像中我们感兴趣的行人图像,也就是
2、解决视频图像中哪些是人的问题。而行人的再识别技术作为第二步则是针对将提取的同一行人的不同图像进行分类和聚类,解决这些人是谁的问题。但是在大多数现存的基于生物特征的单帧数行人重识别系统中,每个个体的基样本都需要提前获得的,而在查询的过程中也通常采用N:N的方式进行查询。使用系统用户和待登记录入信息的ID则需要从两方面进行“有感操作”。一方面是在录入新的样本的特征时候,待登记录入信息的ID通常需要在特定的摄像头或者登记处对人体整体进基于JetsonTX2的无感式行人重识别特征提取系统赵嘉靖黎曙(江苏大学镇江212013)摘要自1993年Yan LeCun首次展示了将卷积神经网络用于文本识别以来,卷
3、积神经网络在计算机视觉领域的应用不断兴起,并且其表现特别优异,特别是在检测、识别方面有了长足的发展。通常在行人检测和行人重识别任务中,网络接受的对象都是单张图片,而实际在生产环境中,往往任务面对的都是一段连续的视频,其中充斥着大量有弱关联的目标样本。论文针对智能视频监控中,在JetsonTX2上使用MobilenetV2-YoloV3作为目标检测框架,使用一种改进的基于BOT行人重识别网络作为行人重识别框架。之后利用KM算法以及梯度下降计算特征中心对视频输出目标样本进行关联和特征融合,实现无感式行人特征提取。关键词目标检测;行人重识别;KM算法;中心损失;梯度下降算法中图分类号TN911.73
4、DOI:10.3969/j.issn.1672-9722.2023.07.010Unconscious Person Re-identification Feature Extraction SystemBased on JetsonTX2ZHAO JiajingLI Shu(Jiangsu University,Zhenjiang212013)AbstractSince Yan leCun firstly demonstrated the use of convolutional neural networks for text recognition in 1993,the applica
5、tion of convolutional neural networks in the field of computer vision has continued to rise,and its performance is particularly excellent,especially in detection and recognition.Generally,in person detection and person re-identification tasks,the objects accepted by the network are all single images
6、,but in actual production environments,the tasks are often faced with a continuous video,which is filled with a large number of weakly related targets.In this paper,MobileNetV2-Yolov3 is used as the target detectionframework on JetsonTX2 and an improved person re-recognition network based on BOT is
7、used as the person re-recognition framework for intelligent video surveillance.Then,the KM algorithm and gradient descent computing feature center are used to correlateand fuse the video output target samples to achieve unconscious person re-identification feature extraction.Key Wordsobject detect,p
8、erson re-identification,KM algorithm,center loss,gradient descent algorithmClass NumberTN911.73总第 405 期2023 年第 7 期计算机与数字工程Computer&Digital EngineeringVol.51 No.715002023 年第 7 期计算机与数字工程行一个全面的扫描和采样,而且不能群体性的进行批量登记;另一方面,对于系统的使用方,在登记录入 ID 的信息时候也通常需要专门的人员进行确认、辅助操作以及引导待登记录入ID信息的人员进行正确的登记程序;这无疑既浪费了待录入信息方的时间
9、也浪费了使用系统方的人力和财力。本文基于 Jetson TX2,在 Jetson TX2 上移植了目标检测算法MobilenetV2-YOLOV31213和改进的BOT14行人重识别算法。之后利用了KM算法15对相邻帧中的行人特征进行匹配和关联,再使用基于梯度下降算法计算每个身份的特征中心16,利用跟新后的特征中心代替查找集G中的特征。最后上传服务器实现无感式的行人特征提取。2基于 KM 算法和梯度下降的特征融合“有感式”的行人重识别系统所谓“有感”其实有两方面原因。一是群体的行人特征对齐问题。基于度量学习的身份ID的重识别方法,会把某身份ID的映射到特征空间中成为特征空间中某一系列子空间中的
10、点,不同身份ID的特征通过一定的度量方式进行比对。如果有数个人同时需要进行身份ID的比对,由于网络的限制则会造成同一身份ID对应多个样本的问题,如图1;二是基于帧的行人检测技术会产生大量的同一身份ID的行人图片,大量的重复的同一身份ID导致系统使用前必须有一段“筛选融合”的过程。0.70.350.380.60.80.80.80.80.20.90.380.780.870.550.390.410.770.860.650.390.670.450.90.80.7g1g2g3g4g5q1q2q3q4q5q1g2q2g4q3g1q4g5q5g3总的路径和=0.35+0.2+0.38+0.39+0.9=2.
11、320.70.350.380.60.80.80.80.80.20.90.380.780.870.550.390.410.770.860.650.390.670.450.90.80.7g1g2g3g4g5q1q2q3q4q5q1g3q2g4q3g1q4g5q5g2总的路径和=0.38+0.2+0.38+0.39+0.45=1.8(a)最小邻近法进行(b)理想匹配情况图1相邻帧的行人特征匹配2.1KM算法简介KM算法,即kuhn munkres算法,是一种用来求赋权二分图最大或者最小权匹配的算法。KM算法的基本思想是,把权值转化为可行顶标通过给每一个顶点建立可行的顶点标号来把求最大匹配问题转化为完
12、备匹配问题。其算法思想为首先给出一个赋权的二分图G的任意一个顶点的可行顶点标号(比如平凡顶点标号),然后决定相等子图Gl,在Gl中执行不带权的匈牙利算法,若其中找到完美匹配,他就是G的最大权完美匹配。否则,匈牙利算法终止于SX,TY且此时有Ngl=T,之后进行修改标号l,并计算G的新的可行顶点标号l,并用其代替原来,在Gl中继续迭代执行不带权的匈牙利算法。2.2基于KM算法的行人特征匹配使用KM算法进行特征匹配的基本流程如下。Step1:初始化目标检测网络ModelD,行人重识别网络ModelR。视频流输入Input(img1img2imgt)。初始化查询特征表G()g1g2gn,待查询表Q(
13、)q1q2qm。Step2:在t时刻,获取视频流图片imgt,通过目标检测网络ModelD,获取行人图片集Pt(p1p2pk)。并将行人图片集 P 通过行人重识别网络ModelR提取对应特征集Qt()q1q2qk,其中:qk=ModelRModeld()imgt(1)Step3:计算 t时刻查询集集合合Gt和待查询集集合Qt距离矩阵D()d()00d()01d()nk,其中:dnk=CosSimilarity()gnqk(2)Step4:对距离矩阵D按行求最小值得到向量Vmin,并根据阈值new建立新身份集Qt。(这里的依据为当Q中某一个身份和G中所有身份的距离特征显著远远大于其他距离,则可认
14、为此Q中的身份为G中所没有的身份)。跟新距离矩阵Dt从距离矩阵中移除包含Q项。vmini=min()d()i1d()i2d()i3Qt=qm()mvminmnewDt=d()ij()im(3)1501第 51 卷Step5:补全距离矩阵Dt,使得距离矩阵成为一个方阵,填充值为一个极大值。(视为距离无穷),之后使用 KM 算法求得匹配矩阵Mt(m()00m()01m()nn)。Mt=KM(Dt)(4)Step6:检查匹配矩阵Mt,去除掉不可能的明显不匹配的值。同时跟新查询G中的元素使之成为Gt+1,转到Step2读取下一帧图片信息。gm=qv其中 mv m()mv=1Gt+1=gmGt+1=Gt
15、+1Qt(5)2.3基于梯度下降的特征中心融合基于梯度下降的计算特征中心公式为Ct+1i=Cti CtiCti=ftiCti(6)其中fti为身份ID和Cti身份一致的特征向量。为学习率,控制特征中心的学习速度和对负样本抗干扰的能力。在本文的项目背景下使用基于梯度下降的特征中心代替查询集gallery。在行人重识别网络中,使用了联合损失函数对网络特征进行了约束,其中在度量损失函数中使用了三元组损失加中心损失对特征空间进行了约束。使用了中心损失后行人特征趋向聚集于某个点,于是基于梯度下降的特征融合具体应用为式(5)中,将式(5)修改为Cm=gm()fvgmvmmvm=1Gt+1=CmGt+1=G
16、t+1Qt(7)2.4整体框架和流程新建身份集Q跟新查找集Gi+1特征上传计算特征中心特征匹配合并no进入第i帧行人检测图像评分提取特征建立检索集Q大于阈值计算距离矩阵yes图2基于KM算法和梯度下降算法的特征融合提取过程在JetsonTX2平台上首先使用MobilnetV2-YOLOV3目标检测框架获取行人框,再将检测框通过一种改进的BOT行人重识别网络将行人图片映射到特征空间中建立检索集Q,和查找集G计算距离矩阵。之后根据距离矩阵进行是否有未知身份的行人出现的判断,并将未知行人加入查找集。之后再使用KM算法进行特征匹配。得到对应匹配索引后计算相应身份 ID 的特征中心,跟新查找集。最后根据
17、需要将特征上传到向量搜素引擎Milvus。其基本流程图如图2所示。3实验与分析本文算法主要分为两部分,基于KM算法的特征匹配和基于梯度下降的特征中心融合,为了验证这两部分的有效性,分别在公开数据集上进行了不同的实验。实验环境:本文实验采用第八代酷睿智能英特尔处理器i7-8700k处理器,3.7GHz、32G内存,256G固态硬盘,显卡配置为英伟达 RTX 2080s,显存8GB;操作系统为 64 位 Ubuntu 18.04,使用的深度学习框架为基于Python3.7的TensorFlow2深度学习框架下完成的。实验中使用的权重文件为在maket1501 数据集上评价指标分数为(rank1 9
18、1.8%mAP 80),在dukemtmc数据集上评价指标为(rank184%mAP 68.4)。实验一目的:验证使用基于KM算法的行人特征匹配的有效性。实验一设计:在数据集中随机抽取N个行人身份和其分属不同摄像头下的行人图片进行N:N的匹配,具体准确度计算公式为precision=i=1NRigtMatc(M(i)N(8)实验二目的:验证使用基于梯度下降的行人特征中心融合在行人重识别中的有效性。实验二设计:实验数据集使用公开数据集market1501和dukemtmc。具体实验流程以market1501数据集为例:在数据集中抽取原本作为gallery集中所有行人矩形框,记为集合G1。原作为q
19、uery集文件夹记为集合Q1。调换两个集合的身份,使用原本query集中样本图片作为新的 gallery集合,记为 G2。原gallery中的样本图片经过一定的条件融合后作为新的 query记为 Q2。对 G2中所有身份 ID,将属于同以摄像头编号下的样本图片进行融合,每次融合图片数量PN,融合后在只包含属于同一身份ID但不属于同一摄像头编号的Q2内进行查找。同时为了研究最佳的学习率,分别计算了不同PN数量赵嘉靖等:基于JetsonTX2的无感式行人重识别特征提取系统15022023 年第 7 期计算机与数字工程和学习率之间的关系。评价指标为rank1和mAP。3.1实验结果和定量分析在表1和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 JetsonTX2 无感式 行人 识别 特征 提取 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。