基于DRL的离散生产线动态感知决策.pdf
《基于DRL的离散生产线动态感知决策.pdf》由会员分享,可在线阅读,更多相关《基于DRL的离散生产线动态感知决策.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 期 年 月组 合 机 床 与 自 动 化 加 工 技 术 .文章编号:():./.收稿日期:修回日期:基金项目:国家自然科学基金资助项目()作者简介:黄松勇()男硕士研究生研究方向为智能制造().通信作者:王贤琳()女教授硕士生导师研究方向为绿色制造与再制造().基于 的离散生产线动态感知决策黄松勇王贤琳鄢 威张 豪(武汉科技大学.绿色制造工程研究院.机械传动与制造工程湖北省重点实验室.冶金装备及其控制省部共建教育部重点实验室武汉)摘要:通过在离散生产线上应用()技术用以实现产线动态感知功能 研究基于深度强化学习()算法的生产线动态感知决策方法 对于具有离散生产作业的多机生产线提出利用数据
2、采集量()和数据采集水平()两类性能指标对产线智能化程度进行精准量化建立基于马尔可夫链的生产线动作性能评估模型和基于马尔可夫决策过程的生产线动态感知决策模型 利用 算法对问题进行近似求解获得了有效的生产线动态感知策略 实验结果表明所提出的生产线动态感知决策模型可以有效地帮助企业选择与生产内容高度匹配的 硬件和合理有效的硬件安装位置提高生产线的数据采集能力打造智能产线样板关键词:智能制造离散生产动态感知决策 系统深度强化学习中图分类号:文献标识码:(.):()().()()()().:引言中小离散型制造企业要逐步转型走向智能制造()应是首先培养出其基于数据采集的能力作为核心将实现数据感知收集作为
3、走向智能制造的切入点 另一方面根据智能制造理论架构其发展智能制造的核心目标之一是提高产品质量因此利用智能制造手段控制在制品()质量应作为中小企业进行智能转型升级的第一步通过选择一种基于数据采集的智能部件或装置将这种智能数据采集器导入生产线或生产车间中实现生产过程中关键工序的特征数据收集是一种感知收集产线数据的经典研究思路 等提出一种使用 技术的物体跟踪系统用于跟踪柔性制造装配线上的物体运动并预测装配线上的物体运动状态 等提出对定制生产工艺的在制品利用 技术实现流程跟踪 等通过 技术搭建了生产车间质量管控模型该模型通过多级划分对在制品质量信息进行获取、监控 等通过在工艺设备上安装 硬件使工艺设备
4、获得读取信息的能力实现了工艺过程的智能化 因此为了实现产线动态感知并用于质量控制()作为一种较为成熟的信息交互技术可以作为中小离散型制造企业转型踏入智能制造的关键基础数据采集技术 作为 架构中智能连接层()的自动化识别和数据采集技术同样也是物联网()技术中的感知层关键技术 针对于如何高效合理的将 技术应用于生产线中 等搭建了 导入的多层分步模型()等利用模型集成框架()对 导入流程进行了分析 等通过将 技术与汽车装配过程中的动态物料调度相结合提出了一种结合 信息的启发式算法 并基于情景分析来评估 的价值 等提出了一个 设计配置和部署的路线图并讨论了其架构框架和经济可行性 上述研究对 的应用都进
5、行了有效的建模分析但都只是初步的实施框架未在实际导入过程中作出精准的量化分析所使用的数据也都是调查数据或者阶段性数据缺乏对导入过程中生产线实时数据迭代变化的研究综上所述本文以中小离散型企业初步进行智能制造转型为背景选择 动态感知层关键使能技术 导入到离散生产线上利用深度强化学习能够直接学习动态环境规律并得到最优决策的能力构建生产线动态感知决策模型揭示 不同组合硬件导入和硬件相对空间位置变化以及 物理要素变化对生产线质量数据采集影响的作用机理并最终通过深度 网络算法()算法得到较优的生产线 导入策略 生产线动态感知决策框架.系统关键导入因素通过在生产线上安装 系统阅读器读取位于 上(或者物料托盘
6、、挂架)的电子标签进而感知出当前 的状态信息数据(例如加工进度、质量数据、已执行操作、将执行操作等)系统的质量数据采集方案一般流程如图 所示图 质量数据实时采集方案在生产线上应用 系统时不同 硬件配置、安装位置都会直接关系到生产线实时质量数据的采集效率 若硬件类型选择合理、安装简易那么无论 在经过工艺设备还是暂存在缓冲工位都不会造成相关数据采集信息的缺失 若没有考虑到相关硬件的适用情况和经济成本也未考虑其安装位置对其信号传播的阻碍和具体标识对象的材料、形状、体积等个性化因素则不仅导致质量数据采集出现缺失遗漏更严重会直接导致 导入失败影响到中小离散制造企业智能制造转型进程.问题描述本文研究对象为
7、由 台工艺设备和 个缓冲工位组成的离散生产线如图 所示()表示第 台工艺设备()表示为第 个 缓冲工位表示成品缓冲工位 物料经由设备 加工完成后运送到 缓冲工位 再经过缓冲工位 运至设备 进行加工之后依次经过生产线其他加工设备和缓冲工位到达成品缓冲工位 图 台工艺设备与 个 缓冲工位组成的离散生产线.问题假设本文涉及的相关假设如下:()工艺设备 均存在一台阅读器阅读器型号序列量为()()各(或物料托盘、挂架)上均存在一枚电子标签电子标签型号序列量为()()工艺设备()具有 个依次优化的质量数据采集等级状态()表示机器 在 时刻导入动作下所处的质量数据采集等级()表示工艺设备 在 时刻导入动作下
8、处于 质量数据采集等级()表示机器 在 时刻导入动作下处于 质量数据采集等级 当工艺设备 处于状态()时其数据采集能力为()在每个动作改变周期内工艺设备 的数据读取能力()是指当工艺设备处于状态()可以达到的质量数据读取能力()工艺设备()在执行阅读器型号改变动作和 或 托盘在执行电子标签型号改变动作的情况下采集等级状态 会不断优化最终达到最优采集状态表示在改变 硬件配置的情况下其数据采集等级状态 转移到 的概率()当执行阅读器和电子标签相对空间位置改变动作时质量数据采集等级状态发生改变表示采集状态从 转移到 的概率()当由于 主要物理要素改变时表示在此动作执行情况下采集状态从 转移到 的概率
9、()()()()()表示 时刻下所有的导入动作()表示系统在 时刻执行的是 硬件配置改变动作()表示的是系统在 时刻下执行的是阅读器、电子标签相对位置改变动作()表示系统在 时刻执行的是 物理要素改变动作()工艺设备执行假设 动作工艺设备执行假设 动作工艺设备执行假设 动作()()()()表示在执行动作()的情况下状态()转移到状态()的概率具体表达式:年 月 黄松勇等:基于 的离散生产线动态感知决策()()()()()()()()()()()()()产线的升级改造需要管理能力的对应提升针对多机生产线管理需求应是针对整条工艺设备产线来进行设定 因此管理需求具有 个离散状态 ()表示在执行 时刻
10、动作下管理需求等级状态()表示 时刻动作下管理需求的取值大小()表示管理需求从状态 转移到 的概率()()()表示在 时刻动作下工艺设备 的质量数据采集量()()表示工艺设备()在执行 时刻动作下的动作成本.研究方案本文以中小离散制造企业典型生产线导入 系统为研究对象探索以生产线初步进行智能转型升级为目的的动态感知决策方法在最小化导入成本的同时提高产线整体的质量数据采集效率和完备度 为了解决上述生产线动态感知决策问题本文基于马尔科夫链构建了生产线导入动作性能评估模型剖析生产线 导入决策问题呈现出的序列决策特点将生产线 导入决策问题构建为马尔科夫决策过程 在马尔科夫决策过程求解方面利用深度强化学
11、习算法进行求解获得高效的 导入决策方案生产线 导入策略具体研究方案如图 所示图 生产线动态感知决策方法的研究方案 生产线动作性能评估模型.状态转移分析本节利用马尔科夫链模型对离散生产线的质量数据采集状态转移过程进行分析生产线在 时刻动作下的状态由工艺设备的质量数据采集等级状态和管理需求状态来进行刻画即()()()若某 时刻执行导入动作()()()()则 动作下所有工艺设备质量采集等级状态和管理需求状态转移到状态()()()的概率为:()()()()()()()()()在执行某一导入动作下生产线下一时刻最多可以转移到 个状态因此每一执行动完成后计算转移概率次数只需要最多 次计算即可 系统状态转移
12、概率求解步骤如表 所示表 统状态转移概率求解算法步骤算法:输入参数:时刻下系统状态()和执行导入动作()对于 时刻全部可能到达的系统状态组合 根据式()确定流水线从状态()转移到()的转移概率结束输出结果:系统由状态()转移到状态()的全部转移概率.动作性能指标本节基于生产线质量数据采集状态转移过程对动作性能指标进行分析所涉及的性能指标主要包括:()数据采集量()时刻导入动作下工艺设备 的质量数据采集量为()生产线在 时刻下的质量数据采集量为()()质量数据采集水平()时刻下生产线质量数据采集水平为()()首先对 指标进行分析对于工艺设备 而言 时刻动作下的采集量()由该状态下数据采集能力()
13、决定 而()是与当前导入动作和当前状态都存在着直接的函数关系 因此首先对参量之间存在的映射关系进行梳理:物理要素改变时往往影响到是电子标签的结构形式和封装尺寸以及标签的安装位置这里定义此类型动作集为 对质量数据采集状态影响因子为 当阅读器和电子标签相对位置改变时改变的主要是硬件之间的相对读取高度相对读取角度空间金属阻碍率这些因素的改变均会直接对 系统的通信距离和效果产生影响 进而直接影响到实时的数据采集效率 定义此类型动作集为对质量数据采集状态影响因子为 执行阅读器型号改变和电子标签改变时改变的主要是硬件相关重要技术参数定义此类动作集为 组合机床与自动化加工技术 第 期对质量数据采集状态影响因
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 DRL 离散 生产线 动态 感知 决策
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。