智慧交通大数据平台及应用.pdf

北京 中国大饭店第四第四届中国数据分析师行业峰会届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT2017.07智慧交通大数据平台及应用ADD YOUR POWERPOINT TITLE HERE演讲人：曹正凤第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT目 录大数据团队概况及建设方案1智慧交通大数据平台2智慧交通大数据应用3第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据部的组织架构2 0 1 7 BigData Department技术总监开发团队（4）平台团队（4）产品团队（3）数据团队（4）QA团队（2）第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT强大的技术架构2 0 1 7 BigData Department团队共19人 技术总监1人 专业数据挖掘分析师4人 大数据可视化工程师1人 需求分析师3人 总工程师1人 高级软件工程师5人 架构师1人 业务经理1人 QA管理1人 博士学历2人 研究生学历8人第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT智慧交通大数据中心建设方案（1+N战略）第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT一期建设的内容第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT智慧交通大数据平台建设的目的和意义智慧交通大数据平台2人人都能进行大数据分析第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT大数据学习门槛高mahoutJAVAsparkJDBC第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台的开发难度高例如，黑屏命令行操作维护方式，增加了运维开发人员的工作难度、操作量，降低的工具的友好性。第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT开源大数据平台运维成本高大数据集群数量众多的服务器不便于整体的部署与管理。1.资源监控2.组件部署3.资源分配4.辅助工具第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT智慧交通大数据平台的功能特性智慧交通大数据平台2第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT我们的产品功能特性各种异构数据的全方位汇集第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT功能特性-拖拽式、图形化大数据分析环境，降低门槛和使用难度第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT 功能特性便于维护自动部署自动部署 操作系统、LDP平台自动化部署功能 添加、批量移除，触发hadoop、hbase等服务的一系列处理参数配置优化参数配置优化 图形化界面操作，配置过程简单、易操作；Hadoop基础组件（Hadoop-core、Hive、HBase）配置参数1000+；服务器状态监控服务器状态监控 CPU、内存、网络、磁盘运行状态 超过阀值报警任务监控任务监控 清晰的看到主机上运行了那些任务，任务的运行状态，是正常运行还是有故障 各个任务运行的内存、CPU的使用情况第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT 功能特性安全可靠 LDP平台可以控制数据访问，并对已通过验证的用户提供数据访问特权。安全授权 LDP平台支持细粒度的Hadoop数据和元数据访问控制；在服务器、数据库、表和视图范围提供了不同特权级别的访问控制，包括查找、插入等；允许管理员使用视图限制对行或列的访问，支持字段级别的访问控制；细粒度访问控制 LDP平台通过基于角色的授权简化了管理，可以将访问同一数据集的不同特权级别授予多个组。基于角色的管理 LDP平台允许为委派给不同管理员的不同数据集设置权限。多租户管理 对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充client提交任务。即使伪装成用户入侵到一个HDFS 或者MapReduce集群上，也无法读取HDFS上的数据。机器级别的安全认证第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT智慧交通大数据应用3综合稽查BI展示视频结构化第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT基于大数据平台的综合稽查综合稽查针对当前高速公路的逃费问题，提出了一套基于大数据分析的高速公路防逃费稽查方案，本系统方案利用当前高速公路视频监控系统的可视化视频和图片信息结合通行信息，运用大数据存储和分析的手段，从海量历史数据中提取出疑似逃费车辆和黑名单的车牌、抓拍图片、通行视频和通行路径等证据信息，形成逃费证据链信息，该证据链信息可有效用于高速公路路政执法、公安执法，为打击高速公路偷逃费、嫌疑车辆定位提供了完善的稽查手段和证据信息。产品概况嫌疑车辆确认、黑名单管理、车辆特征管理、动态超时管理、数据稽查审核管理、证据链管理、车票及通行券路径查询。主要功能第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT综合稽查系统架构第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT异车倒卡处理流程第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT黄冀GC9035百泉庄双向入土桥站内环出黄冀GC9582潞苑北街站双向入双横双向出应缴：应缴：125+145实缴：实缴：20+10逃费：逃费：240第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT同车倒卡处理流程第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT黄冀黄冀GB8792GB879220162016-8 8-4 94 9：3838：1212百泉庄双向入百泉庄双向入黄冀黄冀GB8792GB879220162016-8 8-4 134 13：4646：0000长阳内环入长阳内环入黄冀黄冀GB8792GB879220162016-8 8-4 154 15：3232：0505康庄出京出康庄出京出应缴：应缴：215元元实缴：实缴：70元元逃费：逃费：145元元正好不超时正好不超时第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT应用之二:视频数据分析车辆多维特征提取交通参数提取交通事件检测以图搜图第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITProduct首发智慧高速展示平台实时动态显示交通流量，时间间隔为2s应用之三：基于大数据平台的实时BI展示实时动态显示收费任务完成进度实时动态显示按路段收费金额汇总第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT批量计算(按车型统计车流量)批量计流程：1、每日凌晨2点，Sqoop从分中心数据库(SqlServer)抽取数据到Hive（由于车道数据上传到分中心有延迟，故2小时候启动导入）2、启动spark任务进行统计计算，并将结果写入到Mysql 按车型统计每小时交通流量和收费数据 按车型统计每天交通流量目的：实现每日从业务系统抽取交易数据，并按车型汇总交通流量。BI展示：JAVA 实现Web服务读取批量计算后的数据通过Web浏览器展现第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT架构设计业务系统数据库BI系统数据库Hadoop(HIVE)Spark批量计算业务系统可视化大数据分析平台每日增量导入BI系统MS SqlservermysqlSqoop每日定时导入数据Impala结合SparkSQL实现统计运算第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMITTHANKS第四届中国数据分析师行业峰会CHINA DATA ANALYST SUMMIT