优化的解决方案：分布式集群内存数据技术引领12306技术革命

基础

服务器

建筑

集群

分布式

中国铁路客户服务中心（）的网站是世界上最大的实时交易系统之一。与此相比。假期期间，该网站承受着巨大的压力，尤其是在春节期间的访问高峰。据统计，在2012年初春节旅游旺季期间，每天有2000万人次访问该网站，每日访问量达到14亿次。同时，大量的网络访问涌入使12306几乎瘫痪。作为12306互联网售票系统的承包商，中国铁道科学研究院电子计算技术研究所迫切需要寻找解决方案。

成功解决：速度提高了75倍以上

从2012年3月开始，铁路公司（原铁道部）开始调查和改造12306.2012年6月，选择了PivotalGemFire分布式内存计算平台（Distributed In-memory）。

12306的

计算）转换，由铁道科学研究院项目组组长王明哲主任和子建宏宇（IISI）信息技术提供技术实施，由朱建生主任领导，铁道科学研究院院长。在第一阶段，首先转换了12306的主要瓶颈，即剩余的票证查询系统。该代码转换已于9月完成，并且该系统上线了。 2012年国庆节是预订的高峰期。您可以清楚地发现您可以登录12306。尽管仍然很难预订票，但是非常快速地检查剩余的票。 2012年10月，第二阶段使用GemFire改造了订单查询系统（客户查询自己的订单记录）。在2013年春节期间，这是预订的高峰期。您可以清楚地发现您可以登录12306。尽管仍然很难预订票，但是检查剩余的票以及检查自己的预订和下订单的速度非常快。

根据系统操作数据记录，在进行技术改造后，仅使用了几十个X86服务器来实现以前的几十台微型计算机的剩余票证计算和查询功能。单个查询的最长时间大约是15秒之前。它下降到0.2秒或更短，比原来短75倍以上。在2012年春节期间的高流量并发下，该系统几乎瘫痪了。转换后，它支持每秒数以万计的并发查询，在高峰时段达到每秒2.60,000个查询吞吐量，并且整体系统效率得到显着提高。如图。

顺序查询系统转换，在转换前的系统操作模式下，只能支持每秒300-400个查询/秒的吞吐量，而高流量并发查询只能通过子来实现。转换后，每秒可实现多达数万条查询的吞吐量，并且可以将查询速度保证在20毫秒左右。

可以根据需要灵活，动态地扩展新的技术体系结构，并且当并发量增加时，还可以通过动态添加X86服务器来对其进行响应，以保持毫秒级的响应时间。

技术革命一步一步跨越了三代人

12306可以达到如此惊人的效果，不可能依靠技术上的小修和修理，必须有一个新的想法可以为性能改进带来影响。 12306发现GemFire分布式内存数据平台就是这样的技术。

GemFire分布式内存数据平台的技术原理如上图所示：通过云计算平台虚拟化技术，几台X86服务器的内存被集中形成一个高达数十TB的内存资源池，以及所有数据将其加载到内存中并执行内存计算。计算过程本身不需要读取或写入磁盘，而是定期将数据同步或异步地写入磁盘。 GemFire将数据的多个副本存储在分布式集群中。如果任何计算机出现故障，则其他计算机上都有备份数据，因此通常不必担心数据丢失，并且有磁盘数据作为备份。 GemFire支持将内存数据持久保存到各种传统关系，Hadoop库和其他文件系统中。

众所周知，当前计算体系结构的瓶颈是存储。根据摩尔定律，处理器的速度增加了一倍，而磁盘存储的速度却缓慢增加，从而导致高达100,000倍的巨大差距（如上所示）。这样就很容易理解为什么GemFire可以大大提高系统性能。

根据计算和存储之间的关系，我们可以将计算架构分为四代：

第一代，一个基于磁盘的系统：在计算过程中需要从磁盘读取数据。小型机和大型机是最好的，可以实现单个系统的最终性能。

第二代，基于磁盘的分布式集群系统：在计算过程中需要从磁盘读取数据，但是数据会通过分布式系统分发到不同的服务器磁盘，以提高整个系统的处理能力。当前，许多大型的互联网和电子商务公司都采用基于X86服务器的分布式集群系统，并依靠X86服务器的部署来解决高流量并发的问题。

第三代，一个基于内存的系统：将整个放入内存中，并且计算过程不需要从磁盘读取数据。整个系统的性能取决于单个系统的性能。传统的内存就是这样一种系统，可以很好地解决企业级应用程序的访问速度问题，但是面对海量数据或海量并发访问的可伸缩性问题，它无能为力。

第四代基于内存的分布式集群系统：GemFire就是这样的系统。并行计算是其关键技术之一。因此，通过增加服务器部署的规模，可以在内存计算的基础上线性扩展性能。

在12306之前，采用了Unix小型计算机体系结构，并且使用GemFire技术改造了Linux / X86服务器集群体系结构，这意味着它将跨越三代。从小型机到大型X86服务器群集，性能不仅提高了一个数量级，而且成本也大大降低。

GemFire是Pivotal企业级大数据PaaS平台的一部分。 Pivotal的企业级大数据PaaS平台主要分为三个级别：云基础架构层CloudFabric，大数据基础架构层Data Fabric，应用程序开发基础架构层ApplicationFabric。 GemFire属于大数据基础架构层。另外，Greenplum也属于这一层。云基础架构层的技术是CloudFoundry；应用程序开发基础结构层的技术是Spring Framework和RabbitMQ。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shoujiruanjian/article-342267-1.html