云计算环境下大数据的大规模任务处理研究.pdf
《云计算环境下大数据的大规模任务处理研究.pdf》由会员分享,可在线阅读,更多相关《云计算环境下大数据的大规模任务处理研究.pdf(3页珍藏版)》请在咨信网上搜索。
1、Telecom Power Technology 109 Aug.10,2023,Vol.40 No.15 2023 年 8 月 10 日第 40 卷第 15 期通信网络技术DOI:10.19399/ki.tpt.2023.15.035云计算环境下大数据的大规模任务处理研究李德刚,王成威,于 振,李广义,王烁寰(山东省国际信托股份有限公司,山东 济南 250101)摘要:提出一种基于多目标粒子群的算法,以应对云计算环境下大数据的大规模任务处理造成的挑战。通过引入多域虚拟网络映射方法,在多目标指导下优化任务处理过程。基于帕累托支配理论,采用快速非支配选择方法,为虚拟网络映射问题获取一组最佳解。使
2、用拥挤度比较算法计算获得最佳映射方案,以实现负载均衡,同时减少带宽资源的使用,并降低数据传输成本。引入柯西变异操作,提高算法的收敛速度,从而有效应对大规模任务处理。关键词:大数据;云计算;大规模任务处理Research on Large Scale Task Processing of Big Data in Cloud Computing EnvironmentLI Degang,WANG Chengwei,YU Zhen,LI Guangyi,WANG Shuohuan(Shandong International Trust Co.,Ltd.,Jinan 250101,China)Abs
3、tract:Provide an algorithm based on multi-objective particle swarm optimization to address the challenges posed by large-scale task processing of big data in cloud computing environments.By introducing a multi domain virtual network mapping method,the task processing process is optimized under the g
4、uidance of multiple objectives.Based on Pareto dominance theory,a fast non dominated selection method is adopted to obtain a set of optimal solutions for the virtual network mapping problem.Using congestion comparison algorithms,the optimal mapping scheme is calculated to achieve load balancing whil
5、e reducing the use of bandwidth resources and reducing data transmission costs.Introducing Cauchy mutation operation to improve the convergence speed of the algorithm,thus effectively dealing with large-scale task processing.Keywords:big data;cloud computing;large-scale task processing0 引 言随着信息技术的飞速
6、发展和大数据应用的普及,人们进入了信息时代1。大数据的持续增长和多样化的数据类型,给传统的任务处理与数据分析带来了前所未有的挑战。在高度数字化和信息化的时代背景下,云计算作为一种强大的计算和存储平台,成为解决大规模任务处理问题的重要方式2。然而,随着数据规模的急剧扩大,传统的任务处理方法面临着问题日益复杂的情况3。如何高效处理海量的数据任务,是云计算和分布式系统的热门议题。此外,不同领域和资源之间的异构性,以及多个领域之间的数据通信需求,使任务处理和资源优化更加复杂4。在云计算环境中,各个域之间的资源分布和性能差异可能导致任务分配不均和资源利用率低下等问题出现。为有效应对这些挑战,研究者们积极
7、探索任务处理方法,以实现任务的智能分配、资源的高效利用以及整体系统性能的提升。实际应用场景中,大规模任务处理的效率和质量会直接影响系统的性能与用户体验。然而,传统单一领域任务处理方法经常忽视资源的异质性和多领域之间的通信成本,难以满足多样化需求5。随着任务规模的不断膨胀,如何合理分配任务,同时保持每个节点的负载平衡,并减少数据传输成本,变得愈发复杂。为解决这些问题,文章提出一种基于多目标粒子群算法的创新性方法,目的是在大规模任务处理过程中实现任务负载的均衡和域间通信带宽资源成本的最小化。通过融合帕累托支配理论、拥挤度比较法以及柯西变异操作,所提方法在解决任务分配和资源优化方面取得了显著成果,有
8、助于为大数据环境下的多领域任务处理提供指导,推动该领域的进一步发展,以应对日益复杂和庞大的任务处理挑战,同时为云计算在大规模任务处理中的应用提供新的思路和方法。1 系统架构设计文章提出一种基于多域并行计算思想的大规模任务处理方法。每个域内的节点处理速度受计算资源性能和内部调度策略的影响。一方面,传统方法通常将数据处理任务按照某种规则分配到各个域的节点,易导致部分节点负载过重,资源利用不均,产生资源浪费问题6,7。因此,设计一种能够高效合理实现数据中心负载均衡的大规模任务处理方法显得尤为重要8。另一方面,云计算环境下的大规模任务处理由于域间数据传输量大,给固定网络资源带来了巨大收稿日期:2023
9、-06-19作者简介:李德刚(1987),男,山东菏泽人,硕士研究生,工程师,主要研究方向为大数据分析与应用、ETL 数据采集汇聚、目标跟踪探测。2023 年 8 月 10 日第 40 卷第 15 期Aug.10,2023,Vol.40 No.15Telecom Power Technology 110 压力,导致带宽资源成本急剧上升9。多域环境下的大规模任务部署实例如图 1 所示。图 1 多域环境下的大规模任务部署实例针对处理大规模任务面临的挑战,基于云计算环境的大规模任务处理方法能够提供关键性的解决方案。通过创新性地应用多域并行计算思想、帕累托支配理论、拥挤度比较法以及柯西变异操作等,设计
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 计算 环境 数据 大规模 任务 处理 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。