分享
分销 收藏 举报 申诉 / 23

类型Twitter架构剖析-语录.pptx

  • 上传人:仙人****88
  • 文档编号:14772829
  • 上传时间:2026-11-19
  • 格式:PPTX
  • 页数:23
  • 大小:934.52KB
  • 下载积分:10 金币
  • 配套讲稿:

    如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。

    特殊限制:

    部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。

    关 键  词:
    Twitter 架构 剖析 语录
    资源描述:
    单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2010-6-3,#,Twitter,架构剖析,夏松江,2010-06,Twitter,奇迹,域名:,一个社交和微博的服务网站;,埃文,威廉姆斯,(Evan Williams),与,2006,年创建;,Twitter,用户数过亿;,(2010-4-15),Twitter,被收录在英文字典中;,Twitter,奇迹,简单的产品模式,140,个字符模式,允许用户广播或发送跟随者,(followers)140,个字符短信;,最初是应用在手机短信,后来发展到,Web,、第三方,App,应用;,完全免费;,Twitter,的成功,开放,API,大部分流量来自第三方,API,简单,操作太简单了,实时性,有几次世界性事件比任何媒体都快,病毒性传播,SNS,关系,因为简单,所以复杂,背后一定有一个非常强大的架构!,进入,Twitter,架构,一些架构数据,Twitter,目前有,105,779,710,注册用户数;,Twitter,现在每天有,300,000,的新注册用户数;,每月有,180,万独立访问用户数;,75%,的流量来自,T,网以外的网站;,每天通过,API,有,30,亿请求总次数;,Twitter,用户每天平均有,5500,万次,tweet,;,37%,的活跃用户为手机用户;,超过一半(,60%,)的,tweet,来自第三方应用;,Twitter 2010 Chirp,开发者大会,核心业务,Following,和,Be followed,1.,为每一个注册用户订制一个,Be-followed,的表,主要内容是每一个,follower,的,ID,。同时,也订制一个,Following,的表,主要内容是每一个,following,作者的,ID,。,2.,当用户打开自己的个人空间时,,Twitter,先查阅,Following,表,找到所有,following,的作者的,ID,。然后去数据库读取每一位作者最近写的短信。汇总后按时间顺序显示在用户的个人主页上。,3.,当用户写了一则短信时,,Twitter,先查阅,Be-followed,表,找到所有,followers,的,IDs,。然后逐个更新那些,followers,的主页。,如果有,follower,正在阅读他的,Twitter,个人主页,主页里暗含的,JavaScript,会自动每隔几十秒,访问一下,Twitter,服务器,检查正在看的这个个人主页是否有更新。如果有更新,立刻下载新的主页内容。这样,follower,就能读到最新发表的短信了。,平台构成,概述,T,手机,第三方,Twitter,平台,平台构成,工具,Ruby on Rails,:,Web,应用程序的框架,Erlang,:,通用的面向并发的编程语言,开源,www.erlang.org/,C,Java,Scala,Google Analytics,AWStats,:,实时日志分析统计系统,server,:,Comet,是一种新的,Web,应用架构。基于这种架构开发的应用中,服务器端会主动以异步的方式向客户端程序推送数据,而不需要客户端显式的发出请求。,Memcached,客户端,-libmemcached,平台构成,服务器,MySQL,Mongrel,:,Ruby,的,HTTP,服务器,专为,rails,应用;,rubyforge.org/projects/mongrel/,Munin,:,服务端监控程序,munin-monitoring.org/,Nagios,:,网络监控系统,www.nagios.org/,架构思想,Mongrel Rails Server,发布消息,Kestrel,(MQ),Mongrel Rails Server,获取消息,缓存聚合器,Vector Cache,Tweet/user,Row Cache,Items/user,Fragment Cache,Items/tweet,Page Cache,Items/user,(Varnish),MySql,99%hits,95%hits,95%hits,40%hits,架构,1,缓存,Web2.0,网站所有的一切都是运行在内存中,Cache,通常架构,架构,1,缓存,每个,tweet,平均被,126,个用户跟踪,所以这里有着明显的缓存需求,;,只有,API,有着一个页面缓存,当每次从一个用户那里来了一个,tweet,时就会失效,而应用的其它部分都是无缓存的,;,架构,1,缓存,改进进程,1,、创建一个直写式,向量缓存,Vector Cache,,,包含了一个,tweet ID,的数组,,tweet ID,是序列化的,64,位整数。命中率是,99%,。,2,、加入一个直写式,行缓存,Row Cache,,它包含了数据库记录:用户和,tweets,。这一缓存有着,95%,的命中率并且使用了,Nick Kallen,的名为,Cache Money,的,Rails,插件。,3,、引入了一个直读式的,碎片缓存,Fragment Cache,,它包含了通过,API,客户端访问到的,tweets,的序列化版本,这些,tweets,可以被打包成,JSON,,,XML,或者是,Atom,的格式,有着同样是,95%,的命中率。,4,、为页面缓存创建一个单独的缓存池,Page Cache,。根据,Evan,的说法,该页面缓存池使用了一个分代的键模式,而不是直接的失效;,架构,1,缓存,架构,1,用三层结构表示,架构,2,消息队列,发布,Tweet,后,放到队列中,并转发到各个,Follower,中去;,Twitter,的,MQ,很简单:基于,Memcached,的协议,,job,之间是无序的,服务器之间没有共享的状态,所有的东西都保存在,RAM,里,并且是事务性的。,最初,Starling,,因为,Ruby,的,GC,机制,后来改为,Scala,编写的,Kestrel,;,做一个格式的转换桥,转换成其他设备所需要的格式,并负责转发;,架构,3-Memcached,客户端,Libmemcached,Memcached,客户端的优化目的是试图优化集群负载;,持续一年的碎片缓存优化带来了,50,倍的每秒页面请求服务增加;,来自架构师的建议,10,万用户级别,单服务器,前端、后端、,cache,、,db,在一起。,百万级,db,和,cache,单独部署服务器,,db,或按业务进行拆分,(sharding),cache,或使用一致性,hash,扩展。,前端后端还是在一起,但是根据业务拆分,每个业务可分配不同数量的服务器,千万级,开始重视架构设计,有专门技术架构师,需跨机房部署,前端在远程增加反向代理加速,数据库在异地机房使用,slave,数据库副本,后端拆分出来,系统内部需要远程调用,内部需远程调用协议。,亿级,架构更细分,或增加数据架构师,,cache,架构师,分布式架构师,数据库,sharding,碰到烦恼,开始考虑分布式数据服务,数据访问需要根据业务特点细分。,开发、运维、测量、调优具备有自己的专有工具。,所有服务需要地理多机房分布,具备,IDC,容灾设计。,服务可降级,-Tim Yang,
    展开阅读全文

    开通VIP折扣优惠下载文档

    提示  咨信网声明:本文档由用户上传并分享,仅供学习交流、研究之用,未经授权,严禁复制、发行、汇编、翻译或网络传播等,侵权必究。

    咨信网小贴示:
    1、浏览或下载可查看了解,请点击【咨信网告知】。
    2、下载文件中如有侵权或不适当内容,将立即纠正。
    3、如果因为网速或其他原因下载失败请重新下载,重复下载[60天内]不扣币。
    4、开具发票登录电脑端申请,请点击【索取发票】。

    咨信网客服组:【微信客服】

    自信AI创作助手
    关于本文
    本文标题:Twitter架构剖析-语录.pptx
    链接地址:https://www.zixin.com.cn/doc/14772829.html

    Copyright ©2010-2026   All Rights Reserved  宁波自信网络信息技术有限公司 版权所有   |  客服电话:0574-28810668    微信客服:咨信网客服    投诉电话:18658249818   

    违法和不良信息举报邮箱:help@zixin.com.cn    文档合作和网站合作邮箱:fuwu@zixin.com.cn    意见反馈和侵权处理邮箱:1219186828@qq.com   | 证照中心

    12321jubao.png12321网络举报中心 电话:010-12321  jubao.png中国互联网举报中心 电话:12377   gongan.png浙公网安备33021202000488号  icp.png浙ICP备2021020529号-1 浙B2-20240490   


    关注我们 :微信公众号  抖音  微博  LOFTER               

    自信网络  |  ZixinNetwork