基于区块链的农情数据可信融合共享模型设计与实现_饶元.pdf
《基于区块链的农情数据可信融合共享模型设计与实现_饶元.pdf》由会员分享,可在线阅读,更多相关《基于区块链的农情数据可信融合共享模型设计与实现_饶元.pdf(7页珍藏版)》请在咨信网上搜索。
1、 收稿日期:2022-06-28 基金项目:安徽省重点研发和开发计划项目(201904a06020056),安徽省自然科学基金项目(2008085MF203)和安徽省财政农业科技成果转化项目(2022ZH014)共同资助。共同第一作者:饶 元,博士,教授。E-mail: 伍德伦,本科生。E-mail: 安徽农业大学学报,2023,50(3):550-556 Journal of Anhui Agricultural University DOI 10.13610/ki.1672-352x.20230625.004 网络出版时间:2023-06-26 17:04:49 URL https:/ 基
2、于区块链的农情数据可信融合共享模型设计与实现 饶 元1,2,伍德伦1,2,时玉龙1,2(1.安徽农业大学信息与计算机学院,合肥 230036;2.智慧农业技术与装备安徽省重点实验室,合肥 230036)摘 要:为了提高现有农产品区块链溯源模型中的数据传输和查询效率,提出了基于区块链的农情数据可信融合共享模型。首先构建农情数据采集存储优化模型,通过 Kafka 节点接收网关数据并将结构化数据、非结构化数据哈希值存于区块链,非结构化数据存储于 HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统),提升了数据传输效率。其次设计农情数据融合重组共享模型
3、,利用 Spark 将结构化数据进行重组融合,将融合后的结构化数据、非结构化数据索引存储于 Hbase,融合数据哈希值存储于区块链,提升了溯源效率。最后构建农情数据可信验证应用模型,通过比对 Hbase 中的融合数据哈希值与链上融合数据哈希值、HDFS 中各环节非结构化数据哈希值与链上环节哈希值甄别数据真伪,保证了数据的真实性、可信性。在此基础上设计了基于区块链的农情数据可信融合共享系统,并在一玉米供应链进行了实际应用。进行相关测试后发现,与传统的单链型追溯模型相比,本模型全供应链数据存储时间缩短 5.26%,数据查询时间缩短 43.47%。应用结果表明,此模型可以在保证数据可信前提下,通过数
4、据的融合共享提高数据传输效率与数据查询效率,可为农产品供应链溯源系统的研发提供参考。关键词:区块链;Spark;数据可信;融合共享;分布式存储;Hbase 中图分类号:TP309.2;TS207.7 文献标识码:A 文章编号:1672-352X(2023)03-0550-07 Design and implementation of trusted fusion and sharing model of agricultural data based on Blockchain RAO Yuan1,2,WU Delun1,2,SHI Yulong1,2(1.School of Informat
5、ion and Computer,Anhui Agricultural University,Hefei 230036;2.Anhui Provincial Key Laboratory of Smart Agricultural Technology and Equipment,Hefei,230036)Abstract:In order to improve the efficiency of data transmission and query in the existing blockchain tracea-bility model agricultural of agricult
6、ural products,a Blockchain-based model of trusted fusion and sharing of agricul-tural data is proposed.Firstly,the optimization model of agricultural data collection and storage is built.The Kafka node receives the gateway data,stores the structured data and unstructured data hash values in the Bloc
7、kchain,and stores the unstructured data in HDFS(Hadoop distributed file system),which improves the data transmission effi-ciency.Secondly,the agricultural data fusion,reorganization and sharing model is designed.The structured data is reorganized and fused by Spark.The index of the fused structured
8、data and unstructured data is stored in Hbase,and the hash value of the fused data is stored in the Blockchain,which improves the traceability efficiency.Finally,an application model of agricultural situation data credibility verification is constructed.By comparing the hash value of fusion data in
9、Hbase with the hash value of on chain fusion data,and the hash value of unstructured data in each link of HDFS with the hash value of on chain link,the authenticity and credibility of the data are ensured.On this basis,a trusted fusion and sharing system of agricultural data based on Blockchain is d
10、esigned and applied in a corn supply chain.After relevant tests,it is found that compared with the traditional single chain traceability model,the data storage time of the whole supply chain of the model proposed in this paper is shortened by 5.26%,and the data query time is shortened by 43.47%.The
11、application results show that this system can improve the data transmission effi-ciency and data query efficiency through data fusion and sharing on the premise of ensuring data credibility,and can 50 卷 3 期 饶 元等:基于区块链的农情数据可信融合共享模型设计与实现 551 provide a reference for the research and development of agri
12、cultural product supply chain traceability system.Key words:Blockchain;Spark;reliable data;integration and sharing;distributed storage;Hbase 农产品质量安全一直与大众的健康息息相关,迫切需要建立农产品质量追溯体系,实现对农产品产销过程的全面监管1,而现有的质量追溯体系往往采用各环节主体自行管理,追溯数据可信度不高2。区块链技术可以确保数据的可追溯性3,保证数据的安全性、可信性4。区块链技术已经很好地应用于农产品质量追溯体系设计5。伍德伦等6利用企业信誉度评
13、估算法来确保农产品产销环节上链数据真实可信。Ren 等7提出了一种基于 IPFS(InterPlanetary File System,星际文件系统)存储的双区块链解决方案,应用于传感器网络中的农业采样数据保护。于华竟等8提出了基于区块链多链架构的杂粮追溯模型,实现了追溯数据账本与链间交易记录的实时管控。杨信廷等9提出“数据库+区块链”的链上链下追溯信息双存储设计,建立了外联数据库索引的查询方法,通过优化存储架构提升了溯源效率。Leng 等10设计了基于“用户信息链”和“交易链”的双链农商资源公链,提高了公共服务平台的公信力和系统的整体效率。任守纲等11设计了基于CSBFT区块链的农作物全产业
14、链信息溯源平台,提升了数据上链效率。然而,现有的农产品追溯设计仍存在一些问题,农情数据具有异构的特点,包括了文本等结构化数据以及图片、视频等非结构化数据,传统的链上存储模式难以满足非结构化数据存储需求。现有的区块链追溯方法采用链上数据分散化存储模式,数据回溯效率低,采集数据的处理、传输机制也有待完善。针对以上问题,本研究首先构建了农情数据采集优化存储模型,实现了农情结构化数据、非结构化数据的隔离性存储,提升了数据传输效率;其次设计了农情数据融合重组共享模型,通过分布式数据库存储与数据分类处理提高了农情数据的追溯效率;最后提出了农情数据可信验证应用模型,通过查询数据哈希与原始数据哈希比对保证了数
15、据真实性、可信性。三者结合组成了基于区块链的农情数据可信融合共享模型,保证了数据真实可信前提下,数据传输、查询的高效性。在此模型基础上设计了相应系统并进行了实际应用,最后进行了总结。1 材料与方法 1.1 Kafka 技术与 Spark 技术 Kafka是由Apache软件基金会开发的一个开源流处理平台12。它是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据13。Kafka 可通过集群来提供实时的消息,其架构由 producer(消息生产者)、consumer(消息消费者)、broker(代理服务器)组成,消息都存放在 broker 上。producer、con
16、sumer 向 Kafka 发送和消费数据需要先申请一个主题 Topic,消息的生产者生产消息,消息的消费者消费消息都是面向 Topic的14。本研究采用 Kafka 数据消费者接收网关发送的数据,并利用 Topic 消息队列将数据传输至 Kafka数据消费者,提高了农情数据传输效率,具体方案如 1.2.1 节。Spark 是专为大规模数据处理而设计的快速通用的计算引擎15。Spark 是基于内存计算框架,计算速度非常之快16。Spark 将处理的每个任务都构造成一个 DAG(directed acyclic graph,有向无环图)来执行,实现原理是基于 RDD(resilient dist
17、ributed dataset,弹性分布式数据集)在内存中对数据进行迭代计算,以实现批量和流式数据的高性能快速计算处理17。在 Spark 2.0 之后,RDDs 被 Dataset/DateFrame 取代,它是像 RDD 一样的强类型,但在内部进行了更丰富的优化,它比 RDD 具有更好的性能18。本研究通过将各环节溯源数据转换为DataFrame 类型数据,并利用 Spark 对全环节数据进行融合重组,提升了农情数据溯源效率,具体方案如 1.2.2 节。1.2 基于区块链的农情数据可信融合共享模型设计 为了提升农产品区块链溯源系统中数据传输、查询效率,构建了基于区块链的农情数据可信融合共享
18、模型,在农产品各产销环节服务器部署 Kafka节点,组成 Kafka 集群;在农产品各产销环节服务器部署区块链节点,组成区块链网络。其中,区块链网络中智能合约包括存储智能合约、查询智能合约、融合智能合约。存储智能合约主要负责数据上链,验证上链数据、格式是否符合标准;查询智能合约主要负责链上结构化数据查询;融合智能合约主要负责融合后的结构化数据哈希查询。在农产品各产销环节服务器部署 HDFS 数据节点,在产销链条末尾环节服务器部署 HDFS 元数据节点,组成HDFS 集群。通过服务器、传感器、网关等设备协作,满足农情数据的采集、传输、存储与溯源需求。具体地,如图 1 所示,基于区块链的农情数据可
19、信552 安 徽 农 业 大 学 学 报 2023 年 融合共享模型由农情数据采集优化存储模型、农情数据融合重组共享模型、农情数据可信验证应用模型三部分组成,通过各模型间配合,提升数据传输效率与查询效率。下面将对各模型进行详细介绍。图 1 基于区块链的农情数据可信融合共享模型 Figure 1 Blockchain based reliable fusion and sharing model of agricultural data 1.2.1 农情数据采集存储模型设计 为了提升农情数据的传输效率,改进现有的农产品区块链存储架构,如图 2 所示,设计了农情数据采集优化存储模型,在农产品生产、
20、加工、存储、运输、销售等关键环节,部署传感器等物联网设备进行数据采集,采集文本等结构化数据与视频、图片等非结构化数据。通过网关将数据发送至各环节服务器 Kafka 数据生产者。Kafka 数据生产者按所接收数据的特征将其分为结构化数据和非结构化数据,利用 Topic消息队列向 Kafka 数据消费者发送数据。负责结构化数据存储的区块链节点被设置为结构化数据消费者,接收 Kafka 节点发送的结构化数据;HDFS 数据节点被设置为非结构化数据消费者,接收 Kafka节点发送的非结构化数据。各环节服务器上的HDFS 数据节点按照环节非结构化数据数据项进行分区,通过 HDFS 数据节点存储非结构化数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 区块 数据 可信 融合 共享 模型 设计 实现
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。