大数据处理平台构架设计项目新版说明书.docx

大数据处理平台及可视化架构设计说明书

版本：1.0

变更统计
序号
版本
变更说明
修改人/日期
审批人/日期
1
1.0
创建
李万鸿 -3-18

目录
1 1. 文档介绍 3
1.1 文档目标 3
1.2 文档范围 3
1.3 读者对象 3
1.4 参考文件 3
1.5 术语和缩写解释 3
2 系统概述 4
3 设计约束 5
4 设计策略 6
5 系统总体结构 7
5.1 大数据集成份析平台系统架构设计 7
5.2 可视化平台系统架构设计 11
6 其它 14
6.1 数据库设计 14
6.2 系统管理 14
6.3 日志管理 14

1 1. 文档介绍
1.1 文档目标
  设计大数据集成份析平台，关键功效是多个数据库及文件数据；访问；采集；解析，清洗，ETL，同时能够编写模型支持后台统计分析算法。
设计数据可视化平台 ，应用于大数据可视化和互动操作。
为此，依据“优异实用、稳定可靠”标准设计本大数据处理平台及可视化平台。
1.2 文档范围
大数据处理，包含ETL、分析、可视化、使用。
1.3 读者对象
管理人员、开发人员
1.4 参考文件

1.5 术语和缩写解释
缩写、术语
解 释
BD
Big data
SD
系统设计，System Design

…

2 系统概述
  大数据集成份析平台,分为9个层次，关键功效是对多个数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信数据。
     设计数据可视化平台 ,分为3个层次，在大数据集成份析平台基础上实现大实现数据可视化和互动操作。

3 设计约束

1.系统必需遵照国家软件开发标准。
2.系统用java开发，采取开源中间件。
3.系统必需稳定可靠，性能高，满足天天千万次访问。
4.确保数据成功抽取、转换、分析，实现高可信和高可用。
4 设计策略

1. 系统高可用、高性能、易扩展，安全稳定，实用可靠，满足用户需要。
2. 系统能够进行扩展，增加数据种类和数量。
3. 系统能够复用别软件和算法。

5 系统总体结构
5.1 大数据集成份析平台系统架构设计
1.逻辑架构

2架构说明
系统分为9个层次：
1）数据源：CSMAR数据库、高频系列数据库、 量化因子仓库、风险控制模型数据库、量化舆情数据库、互联网网页。
2）数据获取层：接收数据源数据和抓取网页，建立知识图谱将网页数据结构化，为人工和机器决议提供依据。
3）数据导入层：经过sqoop把数据库数据导入hbase，用flume、kafka把网页导入hbase。
4）数据加工层：对导入数据进行清洗、抽取、整合，并存入数据关键存放层。
5）数据关键存放层：采取hbase、关系数据库保留加工后数据。
6）数据分析处理层：经过统计分析、数据挖掘、机器学习、风控模型等对大数据进行分析处理。
7）数据服务存放层：存放分析结果，包含Elastic search分布式搜索，redis分布式缓存。
8）应用层：包含报表引擎、规则引擎、风控搜索引擎、用户认证系统、统计分析接口等。
9）服务层：对内应用服务和对外应用服务，为用户提供系统功效。

系统采取一系列优异开源技术框架，实现大数据抽取、ETL转换、清洗、整合、汇总、统计分析，得出可信度高结果，高速稳定地响应用户请求，可对企业宽系列产品提供高质量支持。还可建立企业云，把大数据平台放到云上。
系统从CSMAR数据库、高频系列数据库、 量化因子仓库、风险控制模型数据库、量化舆情数据库抽取数据，还用机器爬虫从互联网上抓取和金融相关网页，对这些结构化和非结构化数据进行抽取、清洗、整合、转换，存入hbase数据库。
统计分析程序采取一定算法和模型经过spark、hadoopyarn、hive、pig等读取处理数据，结果保留在服务层数据库，为用户提供可信数据，还可经过可视化以多种统计图展现出来，经过pc、手机能够看到结果。
系统提供可视化操作界面，用户可自己定义统计统计和参数，系统计算分析后给出对应图表。
3.系统特点
1、 高负载和海量数据处理能力
以云存放或当地存放为基石，以云计算或企业服务器为处理关键，建立了海量数据业务支撑大数据平台。天天能够承受千万级PV访
问压力，支撑亿级用户及P级各类数据存放如金融数据、网页、日志文件、图片、文档、影音等。基于此大数据支撑平台，不仅能够处理日以继夜增加TB级数据增量，更能满足各类实时业务需求
2、 业界领先实时性
在实时处理领域实现秒级突破，能够对各项业务数据惊醒实时查看和统计，方便用户快速做出决议和即时响应，适应该今快节奏发展趋势。如传统监控对年、月、周、日频次统计，能够实现二十四小时内实时监控，和管理目前实时改变统计仪表盘数据，更能实现7*24用户实时行为监测及秒级分析。
3、 全方面运行监控指标体系
不仅拥有常见接入站点运行监控流量指标如UV、PV、IP、新旧访客数，还建立了行为质量指标如用户请求，统计分析正确度 ，并可在此基础之上加入用户行为分析、统计模型调优、算法调优、网站访客背景分析、鼠标点击行为等高智能分析功效，从而为业务发展及运行策略提供了有力数据支撑。
4、 对用户起源和数据深入挖掘和分析
经过该平台不仅能够看到接入网站用户基础信息(跳出率、回访次数、回访频率、国家分析、省份分析、城市分析、网络位置、浏览器、移动终端等)，还能够了解到用户起源(如起源页面、网站、搜索引擎、关键字等)。而且在此基础上能够了解到用户访问路径，对数据进行多维钻取，进而对网站用户数据信息采集、挖掘愈加深入。对大数据进行深入分析，为提升网站流量、提供科学推荐依据、实现高质量用户差异化服务给出有力数据支撑。
5、 对用户行为进行实时跟踪、立体分析及即时沟通和个性推荐服务
能够针对实时在线个体用户进行WEB IM即时沟通，提供即时一对一服务。并能够结合业务需求，在实现客服人员和用户一对一同时，展现该用户历史业务操作行为及个性化信息，如用户消费历史统计统计、行为习惯及喜好等。
6、 统一数据接入平台
数据接入层采取sqoop、flume、分布式日志系统，实现推拉模式多种主流方法，并可按需升级为统一数据接入平台，不仅支持日志及页面源码数据，还能够实现各类接口数据无缝可视化接入，如关系型和非关系型数据、多种主流非结构化数据等。
7、 立体推荐及算法可替换平台
能够对数据进行多个分析算法和模型处理，采取mahout、mlib二元分类、线性回归、聚类、协同过滤、卷积神经网络（CNN）进行机器学习，采取RF（随机森林）、SVM（支持向量机）、半监督学习，经过训练达成权重等参数最好化，优化样本空间，并实现完全自动化调参和学习。
还可结适用户群体特征、个性行为历史及多种显式、隐式反馈进行人脑分析，实现个体用户和群体用户立体化推荐和全过程人工干预。以算法平台为支撑，建立了可视化算法训练和推荐结构过滤植入，以增强用户个性化服务配置。实现了多种算法替换、组合和深度学习，如传统UCF、ICF及业务创新二度人脉剪枝算法等，以尽符合人脑思维习惯。
8、 多个风格统计分析数据展现方法
对数据统计分析实现人性化多种浏览器体验，传统风格如线性、柱形、饼状分析图为企业对不一样时段网站访问量、网站不一样模块访问量、针对访客不一样分类进行愈加直观分析。创新风格如热力图，更形象、视觉化表现网站页面不一样位置用户点击密度，实时反应出群体用户爱好特征，增强运行。用户能够自定义条件，得到可视化结果。
9、 主流用户端全端统计
该方案不仅能够统计WINDOWS/MAC/LINUX各类PC用户主流浏览器用户端(如IE、360、Chrome、Firefox等)数据，还能针对移动互联网用户统计主流移动用户端(如iphone,ipad,Android手机等)各类数据，并能依据RESTful接口开发各类所需各端统计，如WAP手机端，嵌入设备端等。
10、 操作体验简练方便
该方案秉承了人性化设计理念。在确保正确、高效基础上简化了操作过程，数据检索分析一键处理，极大方便了用户使用。各类所需统计数据一目了然，并能针对关键数据如用户信息、用户行为等进行一键化深度分析或即时服务操作。
11、 可靠性强
以云平台作为支撑。该平台有极强可靠性，能够确保该软件更稳定、有效、安全运行。
12、 可扩展性强
以云平台作为支撑，能够实现各类平台组件按需横向扩展，如存放扩容、计算增强等。
13、 集成性强
丰富接口含有极强集成性。能够实现和企业内部业务系统高密度集成，依据不一样业务部门需求调取数据和数据分析结果。
14、 可视化强
统计分析数据以图表，热图等方法表现，方便用户对比判定，在使用时更舒适、方便，提供用户体验度。多种操作过程如算法训练、人工干预、数据ETL等均实现可视化，根本性处理了手工代码操作问题。
15、 提供定制服务
能够依据用户特定需求进行更丰富功效扩展，量身打造适宜实时运行分析及服务平台。

5.2 可视化平台系统架构设计
  数据可视化平台，实现 大数据可视化和互动操作。

1.逻辑架构

2. 架构说明
系统分为3个层次：
1）应用系统：提供可视化操作界面和显示结果，还包含决议支持、业务分析等。
2）大数据平台： 包含分布式数据库hbase，对大数据ETL和分析使用。
3）.数据源：包含集成平台全部数据。
能够使用baidu开源软件echarts实现多种统计图表生成。

可视化效果以下：

6 其它
6.1 数据库设计
依据数据源进行科学数据库设计，对habse列族进行合理划分，对关键库和存放库区分设计。
6.2 系统管理
对系统、用户、数据库等进行管理。
6.3 日志管理
系统用kafka保留日志。