宇信智臻银行Splunk应用日志分析1.1版.ppt

银行应用日志分析解决方案宇信智臻您专属的大数据应用服务解决方案提供商议程v银行现有日志分析的困惑v我们的解决方案v我们的实施思路vSplunk平台介绍v案例分享IT的问题在哪里状况网络断线主机无法联机交易失败或延迟类别OperationTroubleshootingOperationTroubleshootingOperationTroubleshootingPerformanceAnalysis问题在哪里防火墙出问题?Router出问题?Switch出问题?DNS?DHCP?网络问题?主机本身问题?操作系统问题?应用程序问题?网络问题?服务器问题?操作系统问题?交易系统问题?效能问题?数据库问题?交易所问题?券商的问题?其它厂商的问题?还是精诚的问题?3.银行银行IT的问题在哪里的问题在哪里状况发生安全事件类别Forensics&investigation问题在哪里攻击者从哪里来?那个服务器被攻击?哪些使用者受害?黑客动了什么手脚?有没有服务器登入/注销纪录?防火墙通联记录?业绩贡献?毛利贡献?部门、个人销售分析?网站访客分析?稽核业务&营销资料分析ComplianceBusinessIntelligence4.过去IT出了问题IT人员通常需要login并查询多种Apps,Device,Server才能判断与解决问题6.过去领导或销售单位需要一份数据或报表IT人员通常得要协助:捞数据库(SQLSELECT)查询ERP、CRM、Logfiles写程序、客制化作报表(Excel?CrystalReport?WebTrends?etc)7.过去银行都是这样解决问题的1.开启多个窗口/面板2.登入多种系统、服务器、设备3.分析多种的记录文件或数据4.使用多种诊断工具5.写程序来捞数据或处理数据6.用Excel或其它报表工具产生报表8.应用日志管理现状交换机防火墙管理员交换机ATMP中间件负载均衡DB?时间窗口-1时间窗口-2时间窗口-3登陆主机登录数据库登录服务器猜测过滤人工对比找到问题环节恢复故障分析问题原因编写故障报告故障后银行现有日志分析业务问题u手工处理、耗时！不能快速排查！u交易时间和交易量不能准确统计！u经验知识难以复用！u每逢结算，问题无法提前预警！u无图形化的数据展现方式！搜索&调查监视&告警报表&分析添加知识索引数据生成可视化视图添加知识建立统一日志应用集中添加日志数据解决方案：4步如您所愿！10集中添加日志数据Splunk是一款顶级的日志分析软件，如果你经常用grep、awk、sed、sort、uniq、tail、head来分析日志，那么你需要Splunk。能处理常规的日志格式，比如apache、squid、系统日志、mail.log这些，您要做的第一步就是集中添加这个日志到Splunk当中快速建立应用日志分析工作类型很多，那么建立成一个应用由机器帮您会更加轻松：每天由各种服务器所产生的日志的数量是非常惊人的，通常在Unix下对日志进行查找使用的是grep之类的低效率的方式，而Splunk使用了现代搜索引擎技术对日志进行搜索，同时提供了一个非常强大的AJAX式的界面展现日志等等；添加日志分析知识对于应用程序日志进行监控时，Splunk提供了多条件的日志事件分割方法，以适应这种复杂结构。当然您可以添加自己掌握的知识，开始构建你自己的应用程序日志监控平台。建立应用视图Splunk可以支持任何IT设备(服务器、网络设备、应用程序、数据库等)所产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。交易时延分析应用统计用户关注时间段整体交易延时，以及在此时间段内最大交易延时；其次依据交易来源、交易类型统计来分别统计每一个关键字段的交易延时。可视化图标分析Splunk所提供的Dashboard，建立事件查询界面，设置告警等等，一系列功能能够帮助你组建完善的管理系统。计划告警应用Splunk是一个商业软件，支持海量信息搜索及更多的功能，比如分散式搜寻(DistributedSearch)、计划告警(ScheduleAlert)、权限控制(AccessControl)等。我们可以建立：1）交易告警2）系统告警3）应用告警交易交易类型解析型解析方便快捷的帮助用户按照交易类型分别统计交易量和交易延时交易来源/渠道分析按照不同的交易来源统计交易量以及交易延时多维度分析报告按照不同维度不同时间跨度来统计交易数量、交易延时以及最长交易延时交易类型解析应用方便快捷的帮助用户按照交易类型分别统计交易量和交易延时交易来源/渠道分析应用将不断积累的搜索经验有价值的信息转换成为Splunk搜索语句，在仪表台上进行直观的展现，最后成为一线运维人员的网络监控平台。帮助台日志自助查询将不断积累的日志搜索经验有价值的信息转换成为Splunk搜索语句，在日志自助查询仪表台上进行直观的展现，最后成为一线运维人员的网络监控平台。建立多维度日志分析报告将不断积累的搜索经验有价值的信息转换成为Splunk搜索语句，在仪表台上进行直观的展现，最后成为一线运维人员的网络监控平台。总结主要功能：日志分析业务数据分析运维保障主要特点：快速查找日志信息数据关联分析支持各种平台和系统支持超过千种标准Apps可灵活开发专有Apps支持企业级架构，分级、分布式部署Splunk实施思路利用现有的经验扩展开发独立开发提出需求，固化原有经验合作以应用为驱动力探索根据业务需求自我完善大数据应用辅助开发合作开发独立开发构建属于自己的大数据分析应用平台项目管理Splunk应用日志项目实施路线图需求分析技术对接实施POC确定人员组成了解银行客户的详细需求技术之间沟通、确定实施计划表格项目重点应用功能验证项目上线不断优化项目上线监控并跟踪结果不断优化7开发平台Splunk是什么?Splunk 是一个针对机器数据的数据引擎针对所有 IT 系统和基础设施数据，提供数据搜索、报表和可视化展现Splunk 是软件 几分钟就可以完成下载和安装可以运行在各种主流的操作系统平台处理机器数据需要新方法8关系型数据、高度结构化、基于僵化模式财务记录、多维数据、数据计算月报，非实时事件时间序列非结构化数据，无预定义模式由所有 IT 系统生成，大量不同类型的格式巨量；快速导航和相关性最重要由人与人之间的互动而产生包括电子邮件、即时通信、语音、视频和文本 储存在集中式公司服务器、文件共享和桌面中机器产生的数据商业应用程序数据人为产生的数据930索引任何的机器数据实时从日志文件获取事件运行脚本获取系统参数,连接到 API 和数据库监听 syslog 或获取 Windows 事件通用方式索引任何内容格式的数据,不需要连接器WindowsRegistryEvent logsFile systemsysinternalsLinux/UnixConfigurationsSyslogFile systemPs,iostat,topVirtualizationHypervisorGuest OSGuest AppsApplicationsWeb logsLog4J,JMS,JMX.NET eventsCode and scriptsDatabasesConfigurationsAudit/query logsTablesSchemasNetworkConfigurationssyslogSNMPnetflow11通用索引和存储实时搜索引擎核心功能搜索语言统计/分析告警仪表板报表Apps 和使用案例应用程序管理IT 运维管理安全业务分析合规访问控制用户界面API接口SDK开发包Splunk 产品架构概品架构概览IT 数据源数据源与其他数据源与其他数据源进行关行关联实时无需预定义大规模关联高性能实时监视数据钻取历史数据分析用户编写Splunk-编写社区论坛,合作伙伴基于角色基于Web支持多种Apps/解决方案SecurityIronPort WSA12客户需求:大型商业银行，拥有大量自开发应用系统（网上银行、基金交易等）.关注交易时延、用户体验以及系统运行状态每天生成海量日志，只能手工检查，没有分析工具,无法获得业务系统运行的整体状况和视图解决方案:1.日志统一集中分析（分三批集中）2.分两批次实施19套应用系统3.应用日志故障快速定位4.应用日志交易关联5.应用日志交易延时、交易成功率和交易笔数统计6.应用日志运维智能化客户感言：我行日志集中分析平台项目已通过验收并投入使用，通过使用Splunk对数据的深入挖掘分析，实现了我行数据搜索与索引、业务监控、关键应用指标报表统计、告警及可视化展示的需求，提升了应用数据的使用价值，有效的增强了运维管理人员排错及统计的方式和手段，在此感谢北京宇信智臻信息技术有限公司从方案设计/架构设计/功能开发/现场支持上给予的支持，望贵司再接再励，为我行IT信息化建设提供更好的服务。-某行科技部负责人某大型商业银行应用日志分析客户需求:大型商业银行，拥有大量自开发应用系统（网上银行、基金交易等）.关注交易时延、用户体验以及系统运行状态每天生成海量日志，只能手工检查，没有分析工具,无法获得业务系统运行的整体状况和视图解决方案:1.日志统一集中分析（分三批集中）2.分两批次实施19套应用系统3.应用日志故障快速定位4.应用日志交易关联5.应用日志交易延时、交易成功率和交易笔数统计6.应用日志运维智能化客户感言：我行日志集中分析平台项目已通过验收并投入使用，通过使用Splunk对数据的深入挖掘分析，实现了我行数据搜索与索引、业务监控、关键应用指标报表统计、告警及可视化展示的需求，提升了应用数据的使用价值，有效的增强了运维管理人员排错及统计的方式和手段，在此感谢北京宇信智臻信息技术有限公司从方案设计/架构设计/功能开发/现场支持上给予的支持，望贵司再接再励，为我行IT信息化建设提供更好的服务。-某行科技部负责人案例2:城商行银行应用日志分析客户获益时间平均日志平均日志查询时间查询到到问题时间问题解决概率解决概率2012.4缩短到2个小时2小时提高30%2012.6缩短到1个小时1小时提高60%2014.8缩短到40分钟半小时提高100%2013.8实时实时提高200%12340.00%5.00%10.00%15.00%20.00%25.00%30.00%35.00%40.00%45.00%优势分析系统系统服务服务技术技术市场市场1.强大的一体化大数局数据分析管理平台数据收集数据分析全面的先进的灵活的趣味的2.国内一流的项目实施团队国内最大的实施服务团队众多的应用服务案例7*24小时服务99.9%可靠性4.客户投入最小资源少量轻型代码少量系统集成复杂海量工作由我们完成3.Splunk核心合作伙伴实时的Splunk业务支持强大的市场宣传拥有Splunk工程师的认证宇信智臻您专属的大数据应用服务解决方案提供商北京宇信智臻信息技术有限公司总部：北京市朝阳区安立路60号润枫德尚苑A座705室Tel：010-62417677Fax:[phone]分公司：上海浦东新区晨晖路377弄136号Tel：021-20243628Fax:[phone]关于我们