基于信息中心网络的增强型IPFS系统设计.pdf
《基于信息中心网络的增强型IPFS系统设计.pdf》由会员分享,可在线阅读,更多相关《基于信息中心网络的增强型IPFS系统设计.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 12 卷第 4 期2023 年 7 月网络新媒体技术Vol.12 No.4Jul.2023实用技术基于信息中心网络的增强型 IPFS 系统设计曾瑞彬 尤佳莉 李 杨 周雨菲(中国科学院声学研究所国家网络新媒体工程技术研究中心北京 100190中国科学院大学北京 100049)摘要:星际文件系统(IPFS)作为一种新兴的分布式文件系统,因其优秀的分布式特性而被许多研究人员所关注。然而,IPFS系统面临着基于分布式哈希表(DHT)的路由方式无法实现局部信息快速检索,以及 Bitswap 机制导致的链路资源利用不合理等问题,这些问题严重影响着 IPFS 系统的交付性能。而信息中心网络(ICN)作
2、为未来网络的代表,其数据具有全局唯一标识和网内缓存,通过名字解析服务实现基于标识的数据的快速定位和交付。本文提出了一种基于 ICN 的增强 IPFS 系统,该系统既保持分布式的特点,同时还利用 ICN 特性实现数据的快速交付。通过实验表明,相比于 IPFS 原系统,本文设计的增强 IPFS系统在下载速率与带宽利用率方面更具优势。关键词:星际文件系统,信息中心网络,名字解析服务,标识,交付性能DOI:10.20064/ki.2095-347X.2023.04.008Enhanced IPFS System Design Based on Information Center NetworkZEN
3、G Ruibin,YOU Jiali,LI Yang,ZHOU Yufei(National Network New Media Engineering Research Center,Institute of Acoustics,Chinese Academy of Sciences,Beijing,100190,China,University of Chinese Academy of Science,Beijing,100049,China)Abstract:The Interplanetary File System(IPFS),as an emerging distributed
4、file system,has been noticed by many researchers for itsexcellent distributed features.However,the IPFS system faces the problems that the routing method based on Distributed Hash Table(DHT)cannot achieve fast retrieval of local information and unreasonable utilization of link resources caused by Bi
5、tswap mechanism,which seriously affect the delivery performance of the IPFS system.The Information Centric Networking(ICN),as a representative ofthe future network,has a globally unique identifier for data and an in-network cache to enable fast location and delivery of identifier-based data through
6、name resolution services.In this paper,we propose an enhanced IPFS system based on ICN,which maintains thecharacteristics of distributed and enables fast data delivery using ICN features.Experiments show that the system designed in this paperis more advantageous in terms of download throughput and b
7、andwidth utilization than traditional IPFS.Keywords:IPFS,ICN,name resolution services,identifier,delivery performance本文于 2022-09-16 收到,2022-09-27 收到修改稿。中国科学院 C 类战略性科技先导专项课题:SEANET 技术标准化研究与系统研制(编号:XDC02070100)。0引言随着 5G 技术与互联网技术的发展,网络中数据的分布更加分散与碎片化,通过客户端/服务器(Client/Server,C/S)架构进行数据管理的模式已经难以满足人们对于数据交付
8、高质量的要求。星际文件系统(TheInterplanetary File System,IPFS)是由乔本贝内特提出的一种具有分布式哈希表(Distributed Hash Table,DHT)、块交换、版本控制技术、自认证系统特点的新型分布式文件系统1。它旨在取代现有基于地址的传4 期曾瑞彬 等:基于信息中心网络的增强型 IPFS 系统设计输协议 超文本传输协议(Hyper Text Transfer Protocol,HTTP),有助于网络能够从对等节点获取数据,而无需与服务提供商的服务器建立联系,打破现有的 C/S 架构模式2,3。但是与基于 C/S 架构的系统相比,IPFS 系统的性能
9、还有很大差距。IPFS 系统通过 DHT 作为底层的路由系统(例如 Kademlia4),并依赖 Bitswap 协议5完成对等点之间的数据交付。虽然,这些技术能够有效地帮助节点在分布式网络中进行数据检索,但是这也导致了 IPFS 系统在数据解析时延方面存在极大的抖动。在面对大文件检索时,一次请求可能需要进行多次的 DHT 寻址,以及大量的重复数据块交换,这些问题导致 IPFS 系统的性能远不及传统的 C/S 架构的文件系统。因此,如何帮助 IPFS 系统实现数据的快速检索与交付对于 IPFS 系统发展而言至关重要。信息中心网络(Information Centric Networking,I
10、CN)作为一种新型的未来网络架构,利用具有全局唯一性的标识符表示数据和网络节点的缓存能力,并结合名称解析服务实现数据的快速定位,淡化了 IP 作用,IP地址在 ICN 中作为一种底层的、本地化的传输标识6。ICN 网络节点除了具备路由和转发等基础功能外,还具备存储、缓存和计算等能力,支持在中间节点上部署更多的功能。同时能够支持新型的标识符协议(Iden-tifier Protocol,IDP)7,具备就近获取、多源传输、随路缓存的能力。因此,基于 ICN 网络部署 IPFS 系统后,一方面,ICN 作为底层的网络,可以利用解析服务系统来协助IPFS 系统的数据解析流程,从而提高数据检索的命中率
11、,降低 DHT 所带来的解析时延。另一方面,采用新型标识符协议的就近获取、多源传输、随路缓存特征来提高 IPFS 系统的链路资源利用率,实现数据的快速交付。本文基于 ICN 与 IPFS 系统,设计了一种高性能的增强 IPFS 系统。其中的主要工作如下:阐述了增强IPFS 系统的设计思想,通过通信模块帮助 IPFS 系统完成 ICN 功能的接口的调用;详细描述了 IPFS 原系统与增强 IPFS 系统的读写操作流程的对比;在局域网中验证了增强 IPFS 系统的可行性。最终实验结果表明,相比于 IPFS 原系统,虽然增强 IPFS 系统在数据写入时引入了可容忍的解析注册时延,但在下载速率方面提升
12、了 300%,并且能够利用 ICN 网络层的副本选择机制实现合理的带宽资源利用。并通过视频播放应用程序测试验证,增强 IPFS 系统使缓冲事件发生数降低了 84%。1相关技术IPFS 本质上是一种内容可寻址、版本化、点对点超媒体的分布式存储系统以及传输协议。以其优秀的分布式存储特性,已经被成功应用于区块链存储8,9、物联网10,11以及网络计算12,13等领域,但是 IPFS 系统在性能方面还与经典架构存在较大的差距。IPFS 系统采用 DHT 的路由寻址方式,并配合 Bitswap 协议完成数据交付,但是这 2 种机制的引入,也给IPFS 系统带来了新的问题。虽然目前有许多高效的 DHT 路
13、由算法,但是依旧不可避免的在数据的解析与交付上增加了一个与访问内容所需的路由跳数成比例的因子14。为了进一步提高数据在 IPFS 系统中的解析成功率,降低数据获取时延,协议实验室为 IPFS 系统设计了 Bitswap 协议,主要通过构建对等点列表并配合评分机制,来帮助请求者共同完成数据的检索过程。当数据的请求者向 IPFS 系统发起数据解析请求时,IPFS 系统会优先向自身的对等点列表中评分数据较高的节点集合发送需要解析的内容标识(Content Identi-fier,CID)信息。如果对等点拥有请求数据,则将 CID 对应的数据块信息发送给请求者,反之则将其记录下来,等到接收到该数据块再
14、将数据发送给请求者。因此 Bitswap 协议泛洪的向多节点发送解析请求,导致IPFS 系统面临数据块重复交付的问题,这些重复交付的数据块,将占据请求者的大量链路带宽资源。DHT的路由机制与 Bitswap 协议在 IPFS 系统中是协同工作的,节点首先依赖 Bitswap 协议进行数据检索,当检索时间超过 1 s 后15,仍未接收到数据,则再进行 DHT 路由寻址,二者共同维持着 IPFS 系统的分布式特性,因此如何优化 IPFS 系统现有的解析与交付方式是改进 IPFS 系统性能的重要研究方向。Shen 等人从多角度分析了 IPFS 与 HTTP 协议,明确指出 IPFS 在解析与下载方面
15、依旧存在巨大的性能95网络新媒体技术2023 年瓶颈16。但是在面对过量的吞吐量时,HTTP 集中式的架构会严重拖垮其性能,而 IPFS 的表现更具备优势17。此外,Abdullah 等人的研究指出,在私有网络中 IPFS 系统的性能不如传统的 C/S 架构好18。因此IPFS 系统需要进一步的改进其性能,才能够接近它所提出的愿景。然而 IPFS 系统是基于传统的 IP 网络的覆盖网络,因此 IPFS 系统其本质上依旧是以端点 IP 为核心的应用层协议,仅限于应用层的解析机制与单播通信19。相比之下,ICN 中的网络设备所拥有的缓存、命名寻址、地址后绑定以及标识符协议等特征,能够从网络层给 I
16、PFS 的系统性能带来提升。为了进一步提高 IPFS 系统的性能,Onur Ascigil 等人利用命名数据网络(Named Data Networking,NDN)与 IPFS 系统结合构建了一个分布式的信息检索系统,降低了 IPFS 系统在数据交付时产生的冗余数据包问题,优化了 IPFS 节点的带宽资源19。他们的研究证明了从网络层改善 IPFS 系统性能是可行的。但是,NDN 采用层次化命名方式以及基于名称的路由方法,将路由与解析服务耦合到一起,通过泛洪的方式完成数据的检索与交付。这种方法需要的流量代价过高,并且解析时延不稳定20,因此也不适用于 IPFS 网络中大型文件的查找。相比于
17、NDN,ICN 中有部分支持扁平化命名方式与独立名称解析方法的经典案例,例如 Mobility-First21,SEANet7等。其中的网络节点的 ID 信息采用非对称加密技术生成,这与 IPFS 系统的 ID 生成方式一致,仅在哈希算法的选择上存在差异。在此类网络中的解析路由机制主要有 2 个步骤:通过独立的解析系统查找 ID 所对应的位置标识符(如 IP 地址信息);通过位置标识符进行数据路由传输。扁平化解析方式将解析与路由解耦可以减少在数据检索过程中所产生的流量,并且当前有的 ICN(例如 SEANet)采用现场解析系统7,保证了时延,为进一步优化 IPFS 系统解析时延提供可能。现场名
18、字映射和解析系统(Local Name Mapping and Resolution System,LNMRS)是一个部署于边缘的基于服务等级的层次型结构的分布式自治系统,主要为网络距离较近的用户提供即时解析服务7。所有的ICN 网络节点在获取到数据后,都向现场 LNMRS 进行注册操作,因此对于同个解析域内的数据请求者,能够实现“一跳解析”。即增强 IPFS 系统向 LNMRS 发起解析请求,而 LNMRS 将解析域内拥有数据的节点 IP 地址返回给请求者。请求者可依据特定的策略选择合适的节点,主动与数据源节点建立传输通道,而不像Bitswap 协议一样,通过泛洪机制被动地接收多个节点返回的
19、数据,也无需同 DHT 路由机制一般,引入与路由跳数相关的因子。此外,这些支持扁平化命名的 ICN 架构都设计了支持地址后向绑定底层标识符传输协议。在面对节点频繁加入与退出的分布式网络中,传统 IP 网络中的传输协议,在节点下线后,将导致数据传输失败。在近期的 IPFS 系统相关网络分析中指出,IPFS 系统的可靠节点仅为 1.4%15,因此支持地址后向绑定的 ICN 新型协议,能够利用网络的存储能力与解析服务系统,在节点退出 IPFS 网络后,将数据包迁移至新的数据源,保证数据的可靠传输。目前,虽然已经有研究证明了从网络层提升 IPFS 系统性能的可行性,但都是基于仿真平台的模拟实验,未能提
20、出一种具备 ICN 网络特征的增强型 IPFS 系统的设计架构。本文基于 IPFS 原系统提出了一种可行的增强系统设计架构。该架构能够合理地将 IPFS 原系统应用层路由与 ICN 的网络层内容寻址方式相结合,使得 ICN 能够帮助 IPFS 系统进行高效的数据交付,并在局域网内验证了设计的增强型 IPFS 系统的性能与功能。2IPFS 系统设计与实现目前,IPFST 系统的应用程序有 GOIPFS 版本与 JSIPFS 版本,分别为采用 Go 语言研发的版本以及 Node-js 语言研发的版本。在设计上,我们基于 JSIPFS 作为研发的框架。由于 IPFS 系统的项目研发具有高度解耦的特性
21、,许多模块的研究与开发都是相互独立的,例如:星际链接数据(InterPlanetary Linked Data,IPLD)、Bitswap、P2P 库(Library of P2P,Libp2p)等,因此为 IPFS 系统与 ICN 二者的结合提供了许多便利。IPFS 系064 期曾瑞彬 等:基于信息中心网络的增强型 IPFS 系统设计图 1增强 IPFS 系统设计架构图统负责提供上层的对外接口,而 ICN 协同底层的内容寻址、传输协议、数据交付等。此外,为了保证研发的增强 IPFS 系统与 IPFS 原系统依旧能够保持通信,所以我们在功能研发与模块设计时需要注意传统系统与增强系统之间的兼容性
22、。增强 IPFS 系统的设计是基于具有分布式 LN-MRS 与支持数据包重构的新型标识符协议的 ICN 架构-SEANet7。它支持兼容现有的 IP 网络,因此基于此类 ICN 架构,能够降低部署代价,同时保证了增强 IPFS 系统与现有的基于 IP 网络的 IPFS 系统实现兼容。图 1 为增强 IPFS 系统的设计架构,其主要由IPFS 原系统模块、通信模块以及 ICN 功能模块组成。2.1系统架构2.1.1IPFS 原系统IPFS 原系统与增强 IPFS 系统在网络中是共存的,增强 IPFS 系统应当支持与 IPFS 原系统进行交互的能力,实现与 IPFS 系统的现有应用无缝衔接。因此增
23、强 IPFS 系统的主体是基于 IPFS 原系统进行设计,并在 IPFS 原系统的相关工作逻辑处,调用相关的增强接口,从而实现性能的提升。增强 IPFS 系统拥有与 IPFS 原系统相同的对上接口,能够为相关 IPFS系统应用提供支撑,同时在 IPFS 原系统的网络层与交换层利用新模块提供的接口,实现系统能力的增强。其中,IPFS 原系统主要的代码架构模块说明如下:ipfs-cli:封装了 IPFS 系统的对外命令行界面,其中包括 add、get、block 等;ipfs-core:是相关指令的核心逻辑的实现入口;ipfs-unixfs:由 exporter 和 importer 2 个模块组
24、成,其中 exporter 主要是导出包含有数据 CID、Link 列表以及内容信息的一个 Merkle 树结构的 DAG 节点实例,而 importer 主要是用于生成上述实例;ipfs-block-service:提供了块级别的添加、获取、删除等应用编程接口,由 ipfs-repo 提供支持;ipfs-repo:是关于 IPFS 系统数据存储库的相关具体实现;ipfs-bitswap:Bitswap 是 IPFS 系统使用的“数据交换”协议,该模块是其核心的逻辑实现代码;ipfs-datastore:封装了数据存储库底层对数据的操作接口;libp2p:libp2p 是一个“网络堆栈”,该模
25、块封装了 IPFS 系统底层传输所需要的路由传输协议。同时这个模块与 IPFS 系统是分离的,支持其他项目使用。2.1.2通信模块通信模块作为增强 IPFS 系统的特有模块,主要是作为 IPFS 原系统调用 ICN 功能的中间件,并对外提供接口供 IPFS 原系统中的相关模块调用。主要分为内部通信模块与外部通信模块。内部通信模块主要是通过系列接口实现 IPFS 系统程序对 ICN 功能的调用,其中包括解析、注册、数据管理等多个接口。IPFS 系统与 ICN 的相关系统之间通过建立 Socket 通道实现远程过程调用(Remote Proce-dure Call,RPC)通信,通过发送对应的报文
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 信息中心 网络 增强 IPFS 系统 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。