“云智一体”技术与应用解析白皮书——智能大数据篇.pdf
《“云智一体”技术与应用解析白皮书——智能大数据篇.pdf》由会员分享,可在线阅读,更多相关《“云智一体”技术与应用解析白皮书——智能大数据篇.pdf(59页珍藏版)》请在咨信网上搜索。
1、03目 录CONTENS一、云智一体,促进数字化转型与智能化升级一步到位四、智能数据挖掘,驱动数据资产价值最大化二、云智一体的智能大数据产品架构全景图三、云原生湖仓架构,构建企业大数据基础设施1.1 产业智能化,数字经济发展新阶段1.2 百度智能云战略升级1.3 云智一体的百度智能云架构2.0,加速产业智能化4.1 数据资产管理与运营平台DAMP 4.1.1 数据资产目录 4.1.2 数据在线应用工具 4.1.3 数据服务超市 4.1.4 数据资产看板4.2 数据可视化Sugar BI2.1 数据要素成为数字经济时代的新战略资源2.2 大数据驱动千行百业数字化转型和业务创新2.3 大数据的未来
2、发展趋势2.4 企业构建大数据平台的原则 2.4.1 成效为先 2.4.2 治理为要 2.4.3 安全为本 2.4.4 持续运营2.5 百度智能云大数据产品架构全景图3.1 云原生 3.1.1 按需创建 3.1.2 存算分离 3.1.3 弹性扩缩容 3.1.4 运维托管3.2 数据湖架构 3.2.1 BOS数据湖存储 3.2.2 丰富的数据湖分析引擎3.3 一体化平台 3.3.1 元数据统一管理 3.3.2 自动数据集成 3.3.3 全流程可视化数据治理开发 3.3.4 数据湖分析3.4 成功实践0205112403030406070808090909091012121213141415161
3、92020212122262626262727五、隐私计算铸就安全防护新体系六、企业数据资产构建与应用实践七、更多行业案例参考八、关于本报告5.1 数据安全的落实规则 5.1.1 覆盖数据全生命周期的安全体系 5.1.2 隐私数据的安全保护闭环 5.1.3 安全合规的数据流通形式 5.1.4 主流的隐私计算核心引擎5.2 百度全生命周期数据安全防护体系 5.2.1 资产安全 5.2.2 隐私保护 5.2.3 隐私计算5.3 百度点石成功实践6.1 数据治理 6.1.1 搭班子 6.1.2 做盘点 6.1.3 定标准 6.1.4 稳实施6.2 资产管理与运营 6.2.1 资产管理 6.2.2 资
4、产运营6.3 业务应用6.4 企业数据资产应用实践 6.4.1 徐工综合经营管理决策驾驶舱 6.4.2 陕西广电媒体融合数据资产建设 4.2.1 直连多数据源 4.2.2 丰富的图表和拖拽式编辑 4.2.3 炫酷大屏与智能交互4.3 全功能AI开发平台BML 4.3.1 BML总体架构 4.3.2 BML为数据科学提供的核心功能 4.3.3 面向行业的智能数据挖掘解决方案4.4 智能数据挖掘成功实践 4.4.1 邮储大脑机器学习平台 4.4.2 某集团研发中心设备健康管理系统364556572728282929303132323338383939404041414143464647484849
5、494950515152云智一体,促进数字化转型与智能化升级一步到位“云智一体”技术与应用解析系列白皮书 智能大数据篇0202“云智一体”技术与应用解析系列白皮书 智能大数据篇1.1 产业智能化,数字经济发展新阶段当前,我们正处在科技创新和产业发展最好的时代,以人工智能、大数据、云计算、5G等为代表的新一代信息技术蓬勃发展,驱动新一轮科技革命和产业变革。在产业应用新兴技术和数据资源转型升级的过程中,数字化是基础;而随着人工智能等新一代信息技术的发展,以及数据的爆发式增长,产业加快应用智能技术,从海量数据中发现规律、训练模型、提炼知识,促进产出增加和效率提升,实现企业生产经营的智能化,进而实现整
6、个产业的智能化升级。因此,数字经济既包括数字化转型,也包括智能化升级,产业智能化是数字经济发展的新阶段。1.2 百度智能云战略升级百度是拥有强大互联网基础的领先AI公司。从成立的第一天起,百度搜索引擎就与人工智能、云计算等技术息息相关。经过多年的技术积累和产业实践,百度已形成了全面布局,从基础的算力和数据技术、深度学习算法及框架,到语音、视觉、自然语言处理等感知、认知技术,以及飞桨深度学习开源开放平台等,具备云智一体的独特优势。基于百度的技术优势和对产业发展的洞察,经过跟合作伙伴的共同成长与产业实践,百度智能云的战略升级为:以“云计算为基础”支撑企业数字化转型,以“人工智能为引擎”加速产业智能
7、化升级,云智一体“赋能千行百业”,促进经济高质量发展。云智一体的“云”为数字化转型提供安全、稳定、灵活的数字化底座,“智能化引擎”为智能化升级提供领先的创新技术和平台。我们推荐客户数字化转型与智能化升级一起做,一步到位,这样效率更高,效果更好。同时,如果客户只做数字化转型,我们有丰富的云计算产品可以支持;或者客户已经有了数字化基础,我们的智能化引擎也可以助力智能化应用。百度智能云的“云”,不仅为数字化转型提供安全稳定、弹性灵活的云计算服务,同时也是适合跑AI的云,我们称之为“AI原生云”,继承云原生的优势,面向AI场景,提供极致弹性的高性能异构算力,打造简洁、高效的AI应用开发架构。“云智一体
8、”的智,是百度将深耕十余年的AI技术,以及AI赋能产业的实践经验,沉淀为助力产业智能化升级的技术、平台及方法论,是以加速产业智能化升级为己任、懂场景的AI。031.3 云智一体的百度智能云架构2.0,加速产业智能化基于百度智能云的战略升级,云智一体的百度智能云架构2.0同时发布,包含数字化底座、智能化引擎和全场景应用(如图1.3-1所示)。数字化底座,包括基础云、数据库、物联网、边缘计算、区块链等基础平台,以及视频云、大数据、云原生开发和地图服务等;同时还有安全模块,为技术创新和产业转型升级保驾护航。在数字化底座之上是智能化引擎,百度自主研发的飞桨深度学习平台为核心,软硬一体AI大生产平台-百
9、度大脑为支撑,包括AI中台和知识中台等。智能化引擎与行业深度融合,帮助企业建设自己的智能化中台,助力智能化升级。基于数字化底座和智能化引擎,百度智能云深入行业场景,打造智能应用,同时与生态伙伴一起,在制造、能源、城市、金融、医疗、媒体等领域,助力数字化转型和智能化升级一步到位。我们希望以百度智能云为纽带,联合技术和产业生态伙伴,通过开源开放平台降低AI开发的门槛,加快人工智能融入传统产业,帮助越来越多的行业大步快跑,加入产业智能化的大潮。(图1.3-1)百度智能云全新架构2.0智能化引擎全场景应用智能客服企业搜索智能办公智能推荐工业质检智能创作智慧城市智慧交通智慧金融智能制造智慧能源智慧媒体智
10、慧医疗数字化底座云为底座 飞桨为核 生态为翼AI中台知识中台软硬一体AI大生产平台产业级深度学习开源开放平台存储网络大数据服务视频云云原生开发服务区块链数据库物联网边缘计算基础云安全地图服务计算“云智一体”技术与应用解析系列白皮书 智能大数据篇04云智一体的智能大数据产品架构全景图05052.1 数据要素成为数字经济时代的新战略资源随着新一轮科技和产业革命的浪潮席卷而来,特别是大数据、人工智能、移动互联网、云计算、5G等新一代信息技术的应用,人类进入数字经济时代。数字经济是以数字化的知识和信息作为关键生产要素,以数字技术为核心驱动力量,以现代信息网络为重要载体,通过数字技术与实体经济深度融合,
11、不断提高经济社会的数字化、网络化、智能化水平,加速重构经济发展与治理模式的新型经济形态。2019年,高收入国家的数字经济占GDP比重达到47.9%,其中发达国家这一比例高达51.3%,美国、德国等国家则超过60%。中国信通院发布的中国数字经济发展白皮书(2021)显示,2020年我国数字经济规模达到39.2万亿元,占GDP比重为38.6%,保持9.7%的高位增长速度,成为稳定经济增长的关键动力。“十四五”规划纲要中将“数字经济核心产业增加值占GDP比重”作为创新驱动的关键指标之一,并预期“数字经济核心产业增加值占GDP比重”将从2020年的7.8%上升到2025年的10%,大数据将成为驱动未来
12、数字经济发展的强大推动力。在数字经济中,数据要素是数字经济时代的新战略资源。2020年,国务院发布了关于要素市场化配置的指导意见,明确把“数据”与土地、劳动力、资本、技术等并列为五大生产要素。和其他生产要素相比,数据生产要素有两个作用,即创造和放大。创造创新方面,数据作为一种新的生产能力,直接驱动了很多新模式、新经济形态、新产业。特别近两年疫情不断反复期间,很多产业实现了彻底的数字化和线上化,而今年大火的“元宇宙”概念,也是数字化产业发展的新方向。放大方面,数据要和资本、土地、劳动力、技术等其他生产要素协同,发挥乘数作用,解决供需优化、创新价值链流转方式等问题,放大其他要素价值。(图2.1-1
13、)数字经济成为“十四五”期间高质量发展新引擎2020年数字经济占 GDP 比重中国信息通信研究院报告50.7%54.3%60%38.6%39.2万亿高收入国家发达国家美英德中国上海加快发展数字经济推动实体经济高质量发展的实施意见打造上海市数字化转型示范区全面推进杨浦区城市数字化转型行动方案(2021-2023年)北京市关于加快建设全球数字经济标杆城市的实施方案 有价值的数据资源催生和创造数字经济新产业、新业态、新模式数据对其他要素发挥乘数作用数据驱动供需优化、创新价值链流转方式放大劳动力、资本等要素价值创造放大零售大数据金融大数据制造大数据政务大数据视频大数据医疗大数据交通大数据教育大数据能源
14、大数据农业大数据智慧选址智能投顾预测性维护城市驾驶舱智能推荐临床辅助诊疗数字指挥中心个性化施教能耗优化农作物生产供应链场景繁杂需高效和智能分析更多数据需要深度价值挖掘 大数据和 AI 深度融合 规模指数增长、类型更多样实时性强、价值密度低 4V 特性更凸显 数据安全是生命线数据安全法规政策密集出台安全合规数据流通和运营公有云、私有化、混合云“云智一体”技术与应用解析系列白皮书 智能大数据篇062.2 大数据驱动千行百业数字化转型和业务创新回顾近几年可以发现,大数据已经驱动零售、政务、城市治理、金融、创造业、教育、医疗等很多行业,进行了数字化转型或者业务创新的尝试与实践。在零售行业,开店选址对最
15、终业务成功非常关键,结合大数据技术和目标客群定位,实现精准智能选址,从源头降低经营的不确定性和风险;在制造业,以前设备交付给用户后,还面临着维护售后等运营问题,结合大数据和物联网技术,可以及时了解设备状态,实现预测性维护,大大提升了制造业的服务效率和用户体验;在视频行业,长、短视频等信息载体,已经实现了个性化推荐,这背后也是基于大数据技术,提升用户体验,创造新的增长空间。通过这些例子可以看到,大数据在各行各业的数字化转型和业务创新里面有非常多的实践和案例,驱动着千行百业的数字化转型和业务创新。大数据驱动千行百业数字化转型和业务创新数据要素成为数字经济时代战略资源(图2.2-1)(图2.1-2)
16、有价值的数据资源催生和创造数字经济新产业、新业态、新模式数据对其他要素发挥乘数作用数据驱动供需优化、创新价值链流转方式放大劳动力、资本等要素价值创造放大零售大数据金融大数据制造大数据政务大数据视频大数据医疗大数据交通大数据教育大数据能源大数据农业大数据智慧选址智能投顾预测性维护城市驾驶舱智能推荐临床辅助诊疗数字指挥中心个性化施教能耗优化农作物生产供应链07(图2.3-1)大数据领域发展趋势2.3 大数据的未来发展趋势首先,4V特性更凸显(规模性-多样性-实时性-价值型)。随着5G、IoT等技术的发展,以及企业更加重视数字化发展,数据总量成指数级增长,数据价值密度越来越低。同时,除传统结构化数据
17、外,视频、语音、图像等海量非结构化数据不断积累,且随着企业数字化程度的提高,数据处理的实时性也越来越高。其次,大数据和AI深度融合。AI也是一种数据处理技术,它与大数据的深度融合,让数据处理更高效,帮助企业从海量业务数据中挖掘更多价值。第三,数据安全是生命线。关于数据安全,近几年国际和国内范围内都密集出台了多个数据安全类法规。从数据安全趋势来看,社会各方在数据流通与运营过程中,数据安全合规是基础生命线,必须满足。综上,新型的数据基础设施、深度挖掘数据价值,以及保障数据安全,是构建大数据平台的关键。2.4 企业构建大数据平台的原则2.4.1 成效为先随着人工智能等新一代信息技术的发展,数据以指数
18、级速度成倍增长,海量数据的存储和计算带来了巨大的IT成本和复杂性。云计算的发展有效实现了企业IT基础设施的弹性灵活性和成本低廉性;而当企业面对更大规模、类型更多样、更实时、价值密度低等数据挑战时,构建云原生湖仓数据基础设施就成为了一种新的有效应对方式。场景繁杂需高效和智能分析更多数据需要深度价值挖掘 大数据和 AI 深度融合 规模指数增长、类型更多样实时性强、价值密度低 4V 特性更凸显 数据安全是生命线数据安全法规政策密集出台安全合规数据流通和运营“云智一体”技术与应用解析系列白皮书 智能大数据篇08该类新型数据基础设施优势:一是以云为基础,提供弹性低成本的数据存储、按需伸缩的计算资源;二是
19、以湖仓引擎为架构,在低成本基础上保障各种数据处理场景中数据加工处理灵活性、数据分析高性能性、异构数据源融合分析等特性;三是提供一体化数据治理与开发平台,以统一元数据为抓手,支持数据集成、治理、开发、分析、服务等一站式数据服务。此外,大数据领域流传一句话即“数据是资产,也是负债”,衡量企业大数据落地效果,核心还是要看业务落地成效,即在繁杂的业务场景下能高效实现数据价值挖掘的能力。AI的大发展驱动了数据分析的智能化和数据价值的深度挖掘。在百度智能云服务企业用户做数据应用落地过程中,我们发现,帮助企业构建敏捷智能BI、全功能AI开发平台,可以更高效地驱动数据应用落地。综上,新型的数据基础设施、深度挖
20、掘数据价值,以及保障数据安全,是构建大数据平台的关键。2.4.2 治理为要在信息化时代,信息系统建设是面向具体业务的,例如人力管理建设-人力资源管理系统、设备管理建设-管理系统、项目管理建设-项目管理系统等。因系统间缺乏关联互助、建设标准不同,带来数据孤岛、标准不一致等问题;而数据的全面性、数据质量、数据及时性与一致性等直接影响数据的应用和效果。因此,数据治理是企业大数据应用落地的必要环节。数据湖架构中的数据治理工具平台,可以提高数据治理的实施效率。在数据治理的实施过程中,搭建专业的实施班子,做好数据资源、IT架构、业务情况的盘点,定好数据分类、数据模型、数据质量、应用指标的标准,再实施数据采
21、集、数据分层建设,可以有效保障数据治理实施效率和效果。2.4.3 安全为本“没有网络安全就没有国家安全”。中华人民共和国网络安全法、中华人民共和国数据安全法、中华人民共和国个人信息保护法以及关键信息基础设施安全保护条例等多部法律法规及管理办法对行业提出了规范性的要求。例如数据安全法明确要求,“数据安全,是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力”。因此,大数据应用要以数据安全为本,从数据全生命周期来看,数据安全保障主要包括数据资产安全保障、数据隐私保护、数据流通安全等。百度智能云提供全栈数据安全防护体系,全力保障数据资产不被恶意访问、数据隐私不被
22、非法侵犯,通过业界领先的网络安全技术、信息安全技术、隐私计算技术等综合安全能力,实现数据要素的全方位保障。2.4.4 持续运营要保障数据应用价值的持续性,数据资产和应用都需要“持续运营”。大到产业、小到每个具体企业,都具有动态发展变化性,数据和业务必然也持续变化。所以,大数据的应用落地不是一次性项目,数据基础设施、数据治理、数据应用等实施完成后,需要持续的管理和运营。结合产业实践不难发现,平台化的管理方式可以提高运营效率,比如建设数据资产管理和运营平台,有利于帮助企业实现数据“好管理”、“好找到”、“好理解”、“好应用”。此外,运营过程配套建设运营体系比如数据覆盖、数据质量、数据成本、数据价值
23、等,对于优化和指引未来规划价值也非常大。09(图2.5-1)2.5 百度智能云大数据产品架构全景图基于以上原则,百度智能云以云和AI为依托,打造了云智一体的智能大数据产品架构全景图,注重实践经验积累,力争做到成效为先、治理为要、安全为本、持续运营,为更多企业构建云智一体的大数据技术与能力体系,实现对更大规模、更多类型、更多源数据进行处理和应用,全面助推企业数字化转型。百度智能云大数据产品架构全景图共三层:底层,通过湖仓数据基础设施为企业提供数据存储、数据处理、数据开发等能力;中层,数据价值挖掘平台充分利用百度智能大数据技术,实现企业数据资产价值最大化;顶层,则基于底层和中层的技术,帮助各行各业
24、落地大数据应用落地。以下篇章将做详细解读。百度智能云大数据产品架构全景图公有云、私有化、混合云数据价值挖掘平台湖仓数据基础设施产业实践资产目录数据资产管理与运营DAMP 数据可视化 Sugar BI全功能 AI 开发平台 BML数据工具应用超市资产看板数据接入自助报表多端分享智能大屏算法开发模型训练模型管理模型部署资产管理商业智能数据科学湖仓引擎治理开发丰富组件托管大数据平台 BMR 弹性伸缩监控运维集群管理BESBSCBLS物化视图数据仓库 MPP 架构 实时 CRUD向量化执行数据集成数据治理数据开发数据分析数据服务数据湖管理与分析 EasyDAP 统一元数据 对象存储 BOS 隐私计算多
25、方安全计算 机密计算安全联邦学习隐私保护数据安全数据审计授权鉴权加密脱敏密钥管理数据安全防护体系智慧能源智能制造智能媒体智慧金融智慧城市“云智一体”技术与应用解析系列白皮书 智能大数据篇10云原生湖仓架构,构建企业大数据基础设施 1111随着企业数字化转型加速,企业日常运营中产生的数据量呈指数级增长,且数据类型更加多样化,数据的应用场景也日益繁杂,以及基于实时数据的快速决策越来越普及因此,单一的数据仓库或者数据湖解决方案满足不了用户对数据挖掘和使用的需求,湖仓一体架构成为云原生时代数据架构演变的必然趋势。百度智能云湖仓一体架构的优势主要体现在:云原生、数据湖架构以及一体化平台,下面展开来讲。(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一体 技术 应用 解析 白皮书 智能 数据
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。