大数据安全运维一体化解决方案.pdf
《大数据安全运维一体化解决方案.pdf》由会员分享,可在线阅读,更多相关《大数据安全运维一体化解决方案.pdf(47页珍藏版)》请在咨信网上搜索。
1、大数据安全运维一体化解决方案关于瀚思 公司定位:利用大数据、机器学习等技术解决信息 安全和运维问题成功案例:招商银行、公安部、天津公安、东风日 产、北京联通、河北金融学院、北京燃气集团等 行业贡献:/CNCert中国互联网网络安全威胁治理联盟成员,与公安部三所共同制定大数据安全体系标准,参与数据治理国家标准制定 公司荣誉:,美国硅谷Red Herring全球创新公司百强2项目背景随着IT业务和产品服务的多样化,使得业务系统产生的数据急剧增长,同时所需的设备 数量和安全设施也随之增加。如何能更好的使用这些数据,提高处理效率,成了迫在眉睫的 任务,其中首先要实施的是:安全大数据,通过收集对应各类安
2、全设备日志与网络流信息,清洗归并,进行对应规则判 断,以及分析建模。应用大数据,能够快速而精确地供系统负责人查询到需要的信息与上下文。监控大数据,收集各类监控子系统详细事件信息,清洗切分,供搜索与横向规则判断(规 则引擎),并能做对应分析计算(如监控基线)。3目录 Table of Contents-.系统技术架构_.系统基础平台三.安全分析四.运维分析五.应用分析六.成功案例4系统技术架构瀚思大数据安全运维一体化分析系统瀚思大数据安全运维一体化分析系统,是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平 台,它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现
3、和报告等功能。为企业安全事件及异常行 为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。本系统采用旁路快速检测方式,是对现有安全运维体系的有效补充,亦可看做下一代的安全信息及事件管理系统和运 维分析平台,并可逐步替代现有分析系统。异常行为分析数据源瀚思HanSight威胁情报中心态势感知6技术架构g数据源EM1 端口监听DIK目数据存储HDFS元数据非结构化数据(图片、网络包)ElasticSearch索引结构/半结构化数据(日志、记录)因安全分析和展现安全分析工具模式识别智能去重数据可视化外部接口管理控制台Web 接口安A 能 第 识7系统基础平台资产管理瀚
4、思安全运维一体化系统提供完善的资产管理系统,为网络中的所有资产建立安全档案卡,资产信息包 括以下信息:基础信息:资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等;安全属性:可用性、完整性和保密性以及资产价值;弱点属性:资产漏洞信息、安全配置信息等;费产管子里 安全域管埋#资产名挣安仝域日21内网安全管理系统172.16.2 1912北京力、公区内网安全登录2冠群金辰口方寺墙-械都机房172-16.5.2 2成都机庙口后3天融信IDS-或者B机房172.16.5.12成都机房IDS4linux壬机2-4匕京机房172.16.5.4北京机房linux5linux主机 H 匕京机房
5、172-16.5.3北京机房linux6堡叁主机-北京机房172.16.5.2北京机房堡叁主机7VPZ-成者B为、公区172.16.7.100成者B为、公区VPN8天融信防火墙 成都为、公区172 16.71成都为、公区防火墙9天融信防火墙-成都机房172.16.5.1成者B机房防火墙1 OOA系统一匕京机庙172 16.2 19 4北京机房OA系统冒史 上一运 第1运以2克共20条记录 下一运 末员 1 跳转9数据采集范围日志网络/安全设备、主机操作系统、数据库、中间件、应用系统;内部 数据网络流量抽样网络流量:NetFlow信息;全流量数据:网络全流量数据包;外部 数据威胁 情报恶意域名和
6、URL、恶意IP地址、DNS信息、木马病毒信息(MD5/SHA-1)等;10数据采集方案日志网络设备女装AgentSyslog/SNMP主机操作系统中间件应用系统数据库安全设备FTP/Kafka/HDFS数据库JDBC11数据采集方案网络流量NC旁路连接并采集用户端镜像网络数据:1、源IP,目标IP2、协议类型、端口号3、TCP会话状态信息(建链、拆链、重传等)4、报文尺寸与数量5、组包和解包6、报文内容解析12HanSight安全运维分析一体化系统的微服务构架137产HanSight安全运维分析系统的优势X 基于特征库/规则的应对场景比例变小,机器学习辅助成为必须 以数据驱动安全,实现:,数
7、据全方位可见/实时安全数据,算法分析加人工辅助,适合企业的安全运维一体化策略,强大的底层存储分析架构和逻辑引擎14算法分析流程 适合安全分析的无监督学习为主 有人工辅助的半监督学习无监督异常分析-人工确定异常产生标记样本-半监督学习15性能基准入库:30000EPS实测单独入库最高可接近20000EPS,为保证查询性能,以当前配置可使其较稳定运行查询简单查询一天数据(3亿条):1s简单查询七天数据(2 5亿条):10s采集器性能单个采集器读取文件:20000EPS(多文件可并行处理)16安全分析大数据安全分析安全事件实时数据检测安全规则库网络 攻击木马 病毒漏洞利用非法 访问关联分析引擎历史数
8、据分析常为析 异行分图分析安全告警溯源分析1=级中 级低 级数据 泄露病毒 爆发登陆 异常威胁场景还原战损分析处理措施18威胁情报API调用办公网环境威胁检测请求瀚思大数据安全管理平台瀚思安全威胁情报公有云结果返回瀚思大数据安全管理平台19实时数据分析-关联分析实时关联分析:瀚思大数据安全管理平台通过基于Spark Streaming技术实现的强大的CEP引擎,对系统采集的实时数据流进行关联分析。关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等;字段名称源地址源地址=192.168 1.1源端口=8。协议=tcp运算符=事件名称值类型手工输入相同条件发生时间源地址=1
9、92 16811源湍口=80协议=tcp事件名称不同条件发生时间zJl设备类2 a=VPN设备类a=VPN值设备类型发生时间事件类型发生时间逻辑运算 and字段 发生时同时长|分钟 次数事件1:发生时间v事件 2发生时间源端口=80事件1发生时间告警名称告辔级别运算符事件1发生时间次告警内容#(事件1$srG 通过Wasset_id访问(DA系统成功20历史数据分析-交互分析全文检索可视化分析:e搜索日期和时间范围 officescan and hao.zhang783 条日志 耗时 48ms 时间范围:2016-040 00:00:00 至 201 80&26 00:00:00每冏。每天O每
10、8小时&每小时字段res详情 resultresult字段分析条形图分布图1 Unable to quarantine filex 00009996D1 fO3eef 15ec064ac387d26b554fe3bf87 N/A ma eScan 趋势TMCM 中国 168.168.168.70 168.168.168.70 000 326e4 SLF_INCIDE NT_E VT_VIRUS_FOUND_CLE AN_SUCCE SS 5 537?US_FOUND_CLE AN_SUCCE SS Security product=OfficeSca 239 icurity product I
11、P=10.228.98.46 E vent time=2016/4/21 5:27=Clean Result-File cleaned Infection destination=0000统计分析2.File cleaned3.File quarantined9996DP Infection destination IP=l0.228.98.46 Infection source=N/A Infection source IP=0.0.0.0 D estination IP=0.0.0.0 Source IP=0.0.0.0 Domain=Lo User=FAW-VWhao.zhang.cp2
12、恶意代码 防病 毒长春长春总部保留地址 Lo 2016-04-21T13:21:54.000Z 0.0.0.0 fa402beb75e943bfae 15603670061831 ro ot.node-malcode-LNKJPPE DO.SM File cleaned fdbe8b4e55bc4cb7880d 10b094deed2c virus 总部服 务器区保留地址*0.0.0.0 root_node-yingjianzichan-virus-0.0.0.0 趋势TMCM true 病毒:LNKJPPE DO.SM 安全设备IP:10.228.98.46 用户:FAW-VWhQO.zho
13、ng.cp2 结果:File cleaned 2016-04-21 21:21:42 972c总体分析安全预杏(8321)McAfee IPS(119)(23741)gDeep Security(15468)21历史数据分析-异常行为分析UEBA:用户/实体异常行为分析:以部门、个人、资产、资产群等为单位建立行为基线;关联用户与资产的行为;用机器学习算法或者预定义规则找出严重偏离基线的异常行为;采用技术:机器学习/基线分析/图分析:采用无监督机器学习算法;计算结果易于可视化,便于理解;覆盖整个一片安全事件,不是孤立的点;22机器学习机器学习:瀚思大数据管理平台可建立特定的网络威胁分析模型,定时
14、的对网络中的APT攻击进行检测 分析,如僵尸网络、低速扫描、恶意URL分析等23基线分析基线分析:企业内用户的行为模式,只要所属部门和角色不变,就不会发生太大变化。服务器或者其他资源 也类似。通过算法把变化幅度量化,数值超过基准过高的就是异常事件,而安全事件必然是从异常事件开始。EmailLogon xiaogeOhansight.coniSKC0670 均值*WSKC0670 5值 baiduxooi 其它SKC0670 均值 Success Failure如:三个分析维度:邮件、HTTP访问量、登录。每一个维度包括总量(柱宽度、维度值分布百分比),右边是 均值的对比。红色代表异常。所以第一
15、个图表示此用户邮件发给的数量(宽度)远大于当 天同部门平均值。右边代表其登录失败比例远大于同部门平均值。24安全场景(低速扫描)威胁名称:低速扫描算法处理后的海量ip的长周期通讯模式图实际效果:作为用户每天基本运维的内容;每个月发现约1 2起低速扫描事件;26安全场景(撞库攻击)威胁名称:撞库攻击数据输入:网银应用系统访问日志检测对象:网银近400个敏感URL,涵盖注册、登录、密码重置等分析过程:用户自定义需要分析的URL;对这些URL建立ARIMA模型;每天入库信息与模型比对;与模型不匹配则产生预警信息;用户根据预警进一步确认;实际效果:作为用户每天基本运维的内容;目前预警频次约2 3次/周
16、;已帮用户发现及溯源超过20次的风险27安全场景(账号异常)挑战:随着移动办公和BYOD的普及,企业越来越难从 正常的行为找出被盗用的账号行为。HanSight解决方法 HanSight EnterpZse自动建立特定用户的画像,包括他的合法行为白名单和行为基线 用户行为分析引擎侦测用户的异常行为,例如从可疑位置登录,或是访问和平时完 全不同的数据或数据量,或是把数据上传 至公司外部的可疑地址 系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查28安全场景(关联u RL访问统计和基线)“,“一个;异常URL分析结果 Q序号URL 时间 统计值 基线值 TOPIO IP12013-
17、12-16 29 2 218.17.218.17(26),111.197.147.11(1),111.197.147.227(1),221.194.176JDDApply.aspx.196 22013-12-16 25 5 218.17.218.17(5),59.37.11.97(2),112.95.188.247(2),219.142.190.193(2erManager/tf_FullClose.aspx),222.221.64.101(2),1.80.109.17(1),58.253.87.12(1),58.254.168.84(1),106.81.13.16(1),110.187.20
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 安全 一体化 解决方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。