缓存为什么能提高性能?
为什么memcached的性能比mysql高?
首要因素是memcached的数据都是位于内存中,mysql的数据可能是位于磁盘里。从IO速度来说,内存IO比磁盘IO会快几个数量级,memcached也就比mysql性能更高。架构和性能优化做到后面,会发现最终限制性能的是硬件瓶颈。例如nginx做静态webserver时,出口流量往往能达到网卡的最大值或出口带宽的最大值。mysql是个性能还不错的db,但它的数据持久化在磁盘上,自然就受限于磁盘IO速度。
mysql也是有缓存的,但大多数场景下觉得还是不够用,这就涉及到次要因素——针对具体业务特征做优化。mysql支持完全的增删查改SQL操作,还得支持where条件组合,这种复杂性让mysql的缓存机制有较大挑战,不像memcached这种key-value类型的操作一定是点查询,所以mysql的缓存机制不如memcached那么简单有效。总结一点就是,性能、通用性、成本三者难以同时满足。在成本一定的情况下,专用的高效,通用的低效,ttserver/redis/mangodb也都符合这个原则。如何同时满足性能和通用性呢?那自然就是提高成本,最简单的方案是mysql+固态硬盘。
针对具体业务特征做优化,有很多我们耳熟能详的其他表述方法:因地制宜、因时制宜、具体问题具体分析、特例化等等。它确实是我们适用于人生、事业、技术的一个原则,是个好东西。经验多的优势就是能因地制宜、因时制宜的去分析解决问题。出现问题后,我们一般会先扛住再优化,必要时会拿空间换时间,或者拿时间换空间。
“空间换时间”看起来有点高深,其实只是个包装,举个例子就明白了。在《数据层的演进(上)》中,当访问量增加时,我们使用更多的机器横向扩容,性能得以提升,这个就是拿更多的机器(空间)来换用户更快的访问速度(时间)。
SNS查询
随着社交网络的普及,查询好友动态的需求更常见了。这个功能怎么实现呢?最简单粗暴的做法是先查询我的好友有哪些,然后再依次查询好友的动态,接着把这些好友动态聚合起来按时间排序,最后存入缓存中备用。上流的做法是,开发一个专用的server来实现这个功能,对外只用提供一个简单的接口。这个server内部还会把“依次查询好友的动态”变成“并行查询好友的动态”,最后再聚合,这样能提高速度,有点MapReduce的感觉。
数据一致性问题
业务server如果有多个(横向扩容),并且使用memcached这种公用缓存,那么需要处理好数据一致性问题。如果A和B两个业务server“同时”都从memcached缓存里读取了player信息,修改后用set方式写回到缓存时,那么先做的修改会被后做的修改覆盖掉,因为set方式是直接覆盖,不检查其他内容。为解决这个问题,可以采用cas方式更新缓存。
cas方式的思路是这样的,读数据时会获得数据的seq,cas更新数据时,先检查cas里提交的seq和缓存里的seq是否一致,一致才会更新数据并把seq+1。上述A和B读数据得到相同的seq,前一个cas更新成功后seq会变,后一个cas就会失败。这时需要业务server自行处理好cas更新失败的情况。
但这个又会衍生另一个问题,如果业务server的某个操作需要有5次数据更新操作,假如最后的cas操作可能失败,那么前面4次数据更新操作就麻烦了,是回滚,还是把最后的cas再操作一次,或者把这个失败记录在案就不管了?不管是哪种都有麻烦,不够完美,需要按业务实际的情况来做分析。
业务server内部缓存
为了避免上述数据一致性问题,在游戏后台设计中,还有一种做法是由gamesvr自己在内部管理缓存。这种做法的好处是缓存专用,不用考虑其他gamesvr修改缓存导致的数据不一致性问题。需要注意的问题是,数据只能在一个gamesvr里访问,如果需要访问其他gamesvr管理的数据,就通过proxysvr来中转请求。对于现在分区分服模式的游戏,只要没有太重的逻辑计算,用C++开发的gamesvr完全能一个server进程搞定一个区8000人同时在线(现实中一个区的同时在线也很难达到8000)。这样就是在gamesvr里搞定所有事情,不考虑互斥,不考虑数据一致性。
备份策略
线上业务如果没做数据备份,皮鞭滴蜡的惩罚都是轻的。重要数据采用每天全量备份+binlog增量备份+slave实时同步。这些都是常见技术方案,不啰嗦了。
相关推荐
商业贸易行业深度研究:教育信息化:聚焦需求演进,把握核心产品.pdf
尽在双11:阿里巴巴技术演进与超越,尽在双11:阿里巴巴技术演进与超越尽在双11:阿里巴巴技术演进与超越尽在双11:阿里巴巴技术演进与超越尽在双11:阿里巴巴技术演进与超越尽在双11:阿里巴巴技术演进与超越尽在...
架构演进:豆瓣架构演进.zip
产业策略:在产业演进战略下成功并购.pptx
质量护航的发展之道:TIC行业的演进规律与制胜法则.pdf 质量护航的发展之道:TIC行业的演进规律与制胜法则.pdf 质量护航的发展之道:TIC行业的演进规律与制胜法则.pdf 质量护航的发展之道:TIC行业的演进规律与制胜...
数据分析平台演进及数据分析方法应用
中国联通 CUBE-NET 2.0+:边缘网路演进白皮书
商业贸易行业深度研究:教育信息化:聚焦需求演进,把握核心产品.rar
区域经济学-课件第四讲:产业结构演进.pptx
张亚勤带来了主题为《云计算的演进》的精彩分享。张亚勤表示过去两年产生的数据量占历史总和的90%,而这些数据大都是非结构化的。
中信证券:全球人工智能AI行业产业重磅研究手册:从算法演进到产业逻辑构建
尽在双十一:阿里巴巴技术演进与超越,尽在双十一:阿里巴巴技术演进与超越
前瞻研究全球人工智能AI产业研究手册:从算法演进到产业逻辑构建
全球人工智能AI行业产业重磅研究手册:从算法演进到产业逻辑构建
商业贸易行业教育信息化:聚焦需求演进,把握核心产品-200302.rar
20210410-川财证券-高端制造~科技行业物联网周报:数据中心光互连技术演进硅光集成已是行业共识.pdf
人工智能AI产业研究手册:从算法演进到产业逻辑构建250页PPT(深度)
20230303-中信建投-人工智能行业动态报告:ChatGPT技术演进及研究框架(1)
5G移动通信系统:从演进到革命epub格式;