神策系统技术简介.ppt

神策系统技术简介2016-12-6.系统简介1 Web研发的新玩法2 大数据研发的新玩法3.神策（数据分析管理平台）总体介绍n作业管理：作业管理：统一平台化管理离线数据分析脚本，支持任务调度，频繁变更小需求运营自助完成，提高工作效率；n入侵检测：入侵检测：作为帐号异地登录提醒和设备锁等被动安全手段外的有效补充，主动防御撞库、弱密扫描和暴力破解；n实时监控：实时监控：对任一个nginx集群服务的无侵入式监控，零接入成本，实时全服务、单接口及单机关键服务指标。认证数据入侵检测实时监控作业管理数据分析管理平台（神策）数据采集数据分析任务调度可视化管理数据分析平台化、自动化和智慧化通用日志分散脚本p平台优势（部分功能对标腾讯蓝鲸）：平台优势（部分功能对标腾讯蓝鲸）：通用化平台，几乎零成本应用于其它部门；flume无侵入式采集日志通过spark实时分析；支持服务质量三级下钻（集群、接口、单机）；作业管理支撑分布式任务调度，运行可视化；p平台现状：平台现状：作业管理已上线，管理100多个分析推送任务；实时业务监控已经在云机测试环境运行；帐号入侵检测完成功能测试，准备生产计算集群。.2个Web子系统（现场演示）.2个Spark实时分析子系统-云机环境云机环境AccountAnalyzerWebAnalyzer.作业管理（数据分析、消息推送的平台化、可视化）.实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）.实时入侵检测（异常登录IP、帐号识别和拦截，可视化管理）.实时业务监控（并发量、成功率、服务质量P99P999P9999）.丰富的系统监控功能.主要需求1l通过GUI管理、简化、自动化脚本的执行l提高业务支撑效果，业务人员能简单执行l找出异常IP，实时推送l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿亿条/天条件组合后，有几十几十种种情况要计算有攻击的情况下，数据量增长会超过超过10倍倍整个系统有数据分析管理+实时服务质量监控两个系统构成.主要需求2l通过GUI实现分散的脚本平台化管理、简化、自动化脚本的执行l提高业务支撑效果，业务人员能简单执行l实现远程拉取，分发管理分析脚本作业文件l帐号面临机器撞库、弱密扫描的安全威胁l攻击者的IP资源较多，可变换l实时分析多个异常攻击特征组合，准确找出异常IP，异常帐号，进行实时拦截l现有监控实时性不高，数据维度不支持，不支持多级下钻l监控系统-子系统-机器性能l每日数据量：帐号ng日志+acc登录日志+mailLogin日志，平均超过3.8亿条/天.主要功能l脚本管理l集群环境下自动调度执行l脚本执行过程监控l脚本执行结果监控l生成脚本l执行脚本l脚本执行情况、历史管理对标腾讯蓝鲸作业平台l业务实时监控l用户登录行为分析l业务配置管理l异常登录IPl异常帐号l系统配置l用户管理l丰富的系统监控功能丰富的系统监控功能l实时性可以5秒内l稳定可靠、轻量级轻量级大数据服务.系统简介1 Web研发的新玩法2 大数据研发的新玩法3.整体技术架构.项目经验总结l注重技术创新l首次首次实现脱离hadoop生态圈的大数据系统l首次首次支持把云机作为大数据生产环境.主要技术亮点l采用spring boot+Cassandra设计、开发；l提供bash脚本操作Cassandra，实现java与脚本之间的互操作；l通过nginx+多个Web应用实现动静分离；l轻量级大数据方案l基于集群，可靠地动态调度运行任务，支持大量任务的运行，消除了任务调度的单点，保障了任务调度的可靠性、唯一性；lSpring boot与shiro、天翼帐号开放平台成功集成，实现基于天翼账号的对用户认证、授权的支持.重要技术细节l没有JSP，前端全部是静态文件；l全面支持HTTPS；l全部异步操作；l支持移动端；l不需要开发，系统质量反而更好：读配置、JSON双向处理、HTTP处理、访问持久层库等；l针对生产需要设计，标准监控接口，丰富、深入的监控功能l有状态有状态操作；l实时、主动实时、主动通知；l整合spark、Cassandra、Kairos、zk；l基于rdd的算法优化。l消除单点，真正的、简单而强大的集群。公司内首创.其它应用大幅减少代码量，系统性能反而更高！大幅减少代码量，系统性能反而更高！.系统简介1 Web研发的新玩法2 大数据研发的新玩法3.大数据计算集群架构、部署架构Spark 1.6.0 On Yarn（CDH5.7.2）.主要技术亮点范围：.主要难点l数据量变化大，有攻击时可飙升飙升超超过过10倍倍l计算量大，调优措施依赖环境l需求复杂、不断变化l模板定制，业界独一无二lScala、rdd与Java做法差异较大差异较大lSpark编程模型与Java等传统做法差异较大差异较大l技术范围很广，需改造、需改造、定制定制部分开源项目.成本控制、主要困难l全职员工仅2人，1人10月底投入；l计算集群支持云机环境，不一定需要物理集群；l减少了研发、运维工作量；l没有产品、UED、测试人员，没有大数据运维；l资源匮乏资源匮乏：直到11月底，计算集群资源才满足要求；9月低前，拿2核云机做大数据计算资源l有人提出：换编程语言（scala-java）；l有人提出：应该采用基于Window的计算；l有人提出：应该采用Hadoop MapReduce，而不是spark；l其它没信心.成本、风险控制良好，4个月完成2个项目l全职仅仅2人，人，7实习生实习生；l计算集群支持云机环境，不一定需要物理集群；l减少了研发、运维工作量；l没有产品、UED、测试人员，没有大数据运维。l提出换编程语言（scala-java）；l应该基于Window计算；l应该采用Hadoop MapReduce，而不是spark；l其它没信心l需求不断增加、变、随意（例如，删除异常帐号-增强）；l4个月换3拨人，其它项目优先；l无线办公网络慢、不稳定；l为节约成本，直到11月底才有足够的机器.总结l人员应基本稳定、满足人员应基本稳定、满足l不能不断新增需求，今天不能不断新增需求，今天（2016-12-06）又加有）又加有1个个l资源控制应先满足基本需求资源控制应先满足基本需求l机器资源、环境机器资源、环境到今天，物理集群资源都不充裕别人很简单就有100多g用，这里申请很久2个应用才100gSpark 1.3、1.5、1.6l大坑，牺牲健康为工作，别人大坑，牺牲健康为工作，别人还以为很简单还以为很简单l感谢帐号研发部提供业务需求感谢帐号研发部提供业务需求l感谢大数据运维的友情支撑感谢大数据运维的友情支撑l数据分析数据分析感谢黄煌黄煌、杨方维、姜健、蔡俊华、唐莉萍的大力支持（5人，兼职）感谢实习生高新、江露（2人）l实时服务质量监控实时服务质量监控感谢（3人）何成（唯一全职，何成（唯一全职，10月下月下旬开始）旬开始）、唐宇、张宏山感谢5名实习生，特别是张涛张涛.问题讨论感谢何成友情提供电脑感谢何成友情提供电脑!.