十年进化：解码阿里数据.doc

智慧365—企业管理在线学习领导者 www.zh-
十年进化：解码阿里数据
平台战略已成，向数据转型的下一程，阿里巴巴正迎来“攻坚战”。

        大数据时代，阿里巴巴集团是最有资本进行烂漫遥想的公司之一，阿里数据平台事业部的服务器上，攒下了超过100PB已“清洗”的数据。
        马云曾在2012年公开宣称，“平台、数据、金融”是阿里集团和阿里小微集团未来的指导路线。在此前后，战略布局已经渐次展开：
        2010年，推出重整的搜索业务“一淘”，2011年收购数据属性公司CNZZ，近期又接连收购友盟、入股新浪微博和高德，抢占数据源;在物流领域，阿里由天猫主导建设了与各大配送公司对接的“天网体系”，最近牵头成立智能骨干物流网络“菜鸟科技”，构建物流信息数据平台。
        阿里数据十年铸剑，如今只是起手开了个局。
        十年进化
        从报表到分析工具、flash，阿里的数据产品越来越没“数据味”。
        从2003年淘宝起步开始，阿里集团数据平台事业部负责人“七公”(本名汪海)就一直在与数据打交道，他的经历勾勒出了这家数据巨人的演变轨迹。
        阿里系最早的数据工作自2003年起步，出于业务需求的驱动，起初非常粗糙，无非数据库、IT系统，随后开始统计分析行业的基础指标，比如PV、UV等，当时的淘宝数据部门只有数名员工。
        在数据的童蒙时代，淘宝“依葫芦画瓢”，学习当时最大的对手——易趣，当时eBay、亚马逊都已成立成熟的BI部门。恰是与易趣的竞争，推动了阿里的数据应用。据淘宝内部人回忆，易趣曾强势通过排他协议垄断了门户广告资源，迫使阿里将广告投放转向中小网站联盟，由此催生了广告投放精准化分析需求，淘宝的数据团队开始积累流量数据的分析经验。
        2004-2005年，淘宝逆转易趣，业务量激增，品类快速扩张，数据量随之跃升。淘宝开始意识到，不能再靠拍脑袋做经营决策了，需要实时观察掌握用户量和交易量的变化，进行精准分析。
        2005年，淘宝成立商业智能部门，成为当时淘宝技术研发部门负责人姜鹏的直属部门。这一年，阿里拥有了第一款严格意义上的数据产品——“淘数据”，这是一份经营数据的报表，为各业务公司、部门提供经营报表的检索生成工具。同年，阿里切入搜索、广告业务——两项业务均带有天然的数据属性，成为阿里大数据运营的开端。七公说，由此阿里对数据和应用场景的理解越来越清晰，目的性更明确——搜索帮助消费者更快找到商品，广告则让商家获得更高的ROI(投资回报率)。
        2009年，阿里数据开始进入产品化时代。“淘数据”从一个内部报表系统跃升为内部数据统称。2009年4月和12月，商业智能团队又分别开发出可预警的“KPI系统”、服务于业务部门的“数据门户”。
        阿里的对外数据产品也浮出水面。脱胎于“雅虎统计”的工具“量子恒道”，为外部商户提供统计分析工具，用于跟踪自有店铺流量、点击、购买等数据的变化。
  与数据产品的大裂变同步，2009年，阿里的数据技术架构,开始大变革。此前一年加入阿里出任首席架构师的王坚，一手主导了阿里架构从Oracle商用系统向Hadoop开源平台的迁移。相比IBM、Oracle等商用系统，Hadoop平台的优点是成本低廉，且架构可扩展性极强，全球互联网企业的大规模计算体系多使用该平台。
        同年，王坚成立阿里集团研究院，将集团内各公司自行搭建的Hadoop集群统一，开发出“云梯1”系统，以实现全集团所有数据的打通、整合的管理和共享。
        这一系列变革之后，阿里最高层提出了“数据开放”。2010年初，淘宝推出“数据魔方”，第一次向市场开放了全局市场数据,这款付费产品成为了大中型商户追捧的数据利器。产品研发发端于阿里数据平台团队对客户的走访。当时，宝洁公司提出，希望了解行业数据，以帮助其经营决策。数据团队的员工提出，与其casebycase解决，不如直接产品化，阿里数据的价值出来了!
        此后，阿里内部数据产品的开发进入井喷状态。淘宝数据部门开发出“活动直播间”，帮助买家更好地参与促销运营。2011年上半年，“卖家云图”、“页面点击”接连出现。
        2011年，现任阿里数据委员会负责人的车品觉加盟支付宝，发现阿里数据产品线存在短板：高层一端数据过多，关联性不强，难以快速进行全局诊断;一线运营一端总抱怨数据不够，数据间壁垒重重，没有进行整合。
        于是，车品觉研发了两款产品，一款名为“观星台”，是一个高度可视化的仪表盘，选择最关键的数据在几秒内展示全局运营状况;另一款叫“地动仪”，可以看到用户投诉最多的功能有哪些，甚至可以获取最原始的客服电话录音。随后，车品觉进入淘宝，又开发了两款产品“黄金策”和“无量神针”。七公领导的另一支数据团队也开发了一系列产品，如“淘宝指数”，以及2012年“双11”期间推出的“淘宝时光机”。
        一家互联网公司数据挖掘业务的负责人评论，从“数据门户”到“数据魔方”，再到“淘宝指数”、“淘宝时光机”，阿里的数据产品从报表到数据工具，再到可视化图片甚至一组flash，看上去越来越没有“数据味”，但是，其对消费场景和行为的洞察却越来越深了。

        高速公路与跑车
        数据时科学的，数据的取舍、分析维度的选择更像是艺术。
        2012年，阿里集团一系列架构调整，重构了阿里数据“达芬奇密码盘”的排序。
        阿里云拆分，独立运行;阿里系的数据库和大规模运算资源整合为“数据平台事业部”，由阿里集团CEO陆兆禧亲自掌管;同时成立虚拟组织“集团数据委员会”，车品觉出任首任会长。
        王坚领导的阿里云是“密码盘”中的最底层架构，提供基础的运算平台。譬如，阿里自行研发的“云梯2”体系，即建立在阿里云“飞天”架构之上;在此之上，则是七公领导的数据平台事业部，运营阿里集团共享的数据库，各业务公司产生的数据经清洗之后就存储在该事业部的服务器上;再往上即车品觉带领的淘宝网商业智能部门，他们使用数据进行分析。同时，“数据委员会”的成员们分属阿里各业务公司，他们利用七公团队的工作成果进行再分析。
 可以这样理解三层架构：阿里云是IasS(基础设施即服务)，阿里数据平台事业部是PaaS(平台即服务)，而车品觉的团队则是SaaS(软件即服务)。
        阿里集团内的数据大多都经过这样的旅程——用户在淘宝上的一个收藏动作，首先在淘宝网的前端服务器上产生一条日志，日志随后被传送到七公团队的服务器上存储，期间经过清洗过程，最后被编入数据库，与其他数据一同被储存在分主题的数据集市。当数据委员会的分析师们进行数据挖掘时，就可能被采用。
        目前，数据业务平台已整合了阿里集团的全部数据。此外，阿里小微集团中创新金融事业部(即阿里金融)的数据也与该平台直接相连。
        IBM咨询经理陈琪说，大数据概念存在两层结构。一层是人们热议的、不乏科幻感的分析预测能力;另一层则是处理大规模、高并发、高关联性甚至是低价值密度数据的运算能力。
        车品觉做的是前者，而七公维护的是后者。
        车品觉评论说，七公团队在修建高速公路，而他的团队则在高速路上驾驶跑车，“建高速公路是一个漫长的工程，需要巨大的投入、耐心以及细致。”七公告诉《21CBR》，其服务器上保有的历史数据已超过100PB，且都已经过“清洗”。
        “清洗”被两人反复提及，它保障数据的质量，直接关乎大数据运营的准确性。那么，如何清洗数据?首先得让数据“对得上、产生关联”。互联网行业发展迅速且难于规划，通常不断试错、快速迭代，不同部门、业务之间的数据往往难于打通，不少公司各业务甚至连用户cookie、日志格式都不同。阿里或许是幸运的，从2004年起，整个淘宝系的日志格式就已统一。
        这仅仅是开始，数据处理的链条极长，任何一个环节出错都会影响后端。车品觉说，数据污染往往有两个原因——采集错误、数据口径不同。前者往往来自于部门协作脱节，如前端业务部门的开发人员改变了页面功能但未及时通知数据部门，那么，相关用户行为产生的数据定义就已失真;后者则更易理解，譬如有的电商公司统计“转化率”只统计用户点击购买，有的公司则进一步考虑点击后是否付费、是否退款。
        数据委员会的工作就是要统一集团的统计口径和统计方法，制定关于质量和安全的范式，其成员来自各个业务公司，由车品觉主持规范工作。2013年，他将数据质量和数据安全视为最重要的课题，设置了对应的两个小组。“数据是科学的，清洗过程中的取舍、分析时维度的选择则要靠分析师的修为，这部分不那么科学，更像是艺术。”车品觉说。
        其实，参与阿里大数据战略的团队还有很多，如“共享平台事业部”旗下的搜索团队，担负着为集团各部门“清洗”非结构化数据的任务;数据平台事业部下有一支20多人的数据产品部团队，运营着“数据魔方”、“淘宝指数”、“淘宝时光机”等向外开放的数据产品;各业务公司的分析师也都负责各自业务的数据清洗工作。

        数据的觉醒
        大数据概念不再是“忽悠”，正当“亮剑”时。