[干货]分布式内存的新体系结构，是极快的OLTP应用程序的新武器

下载网站：

客户服务QQ1793040

--------------------------------------------------- -----------

关于HKROnline SyncNavigator注册机的价格

HKROnline SyncNavigator8.4.1非破解版注册机授权激活教程

最近，我一直在研究同步问题。我在Internet上检查了很多信息并咨询了很，然后找到了一种通过快照进行复制的方法。经过研究，我发现以前使用的方法效果不是很好，所以我果断地放弃了。经过其他人的大量搜索和建议，我终于从一个热心的网民那里学习了一个非常有用的软件-SyncNavigator。

美好的事物将被带出并与您分享，因此今天我将向您介绍该软件及其一些使用方法。让我们看看它具有哪些强大的功能！

SyncNavigator的基本功能：

自动数据同步/定时数据同步

无论是实时同步/ 24小时不间断同步，还是基于计划任务（每小时/每天/每周/每周等）的自动同步，都可以完全合格。

完全支持Microsoft SQL Server

完全支持Microsoft SQL Server 2类型。并且可以在不同版本之间彼此同步数据。

支持MySQL 4.1及更高版本

支持MySQL 4.15.05.15.45.5。并且可以在不同版本之间彼此同步数据。

无人值守和自动故障恢复

当出现故障或网络出现故障时，不需要手动干预（或操作）即可自动恢复同步并确保数据完全准确可靠。

同构同步/异构同步

可以轻松实现从SQL Server到SQL Server，从MySQL到MySQL，从SQL Server到MySQL等。

恢复传输和增量同步

同步完成（或中断）后，可以在再次同步时继续最后的位置增量同步，从而避免了每次都要从头开始的问题。

TimesTen Scaleout，它实际上是一个关系，但是它是通过在操作过程中将所有数据加载到内存中来实现的。

Oracle TimesTen

让我们简要介绍一下TimesTen横向扩展的历史。它实际上是一个关系，但是通过在操作过程中将所有数据加载到内存中来实现。自1998年以来，TimesTen一直作为世界上第一个内存关系进入市场，至今已有20年了。这些年来，我们一直在做的一件事就是垂直改善其性能。

因为大家都知道，从过去20年的发展历史来看，硬件资源变得越来越大，具有更好的性能和更低的价格。因此，为了满足硬件变化的需求，TimesTen需要不断提高垂直性能，然后实现从独立模式到过渡分布式的过渡。

但是现在有许多新挑战。现在，许多客户不仅希望垂直扩展，而且还希望水平扩展。为响应这一需求，我们提供了一种新的分布式解决方案。我们强调同一产品，两种部署方法，这意味着您从Internet下载的软件实际上是一个安装软件包。解压缩安装包后，可以根据需要以活动和备用状态为基础，以传统方式实现垂直扩展功能，也可以使用我们提供的新的分布式方法来管理数据。

两者之间的响应方向有所不同，单台机器的处理能力也非常好，对于应用程序来说非常简单。在活动和备用的传统部署方法下，我们可以提供超低延迟的功能。但是，如果要进行分段和分发，并且要提高具有高并发性的读写能力，则可能还需要引入网络。在这种情况下，请考虑稍微牺牲网络延迟以提高吞吐量。

TimesTen Classic核心技术

我只是强调TimesTen是一个关系。可能有必要重申什么是关系。在分布的情况下，我们强调原子的一致性，隔离性和耐久性。它支持标准SQL，并且整个都在内存中运行。可以通过嵌入式应用程序访问，以实现微秒级的响应能力。

我们知道，在常规计算中，IO的响应时间为1/1000秒，相当于微秒。磁盘的响应为微秒级，而内存的响应为纳秒级。因此，在内存计算中，我们可以实现微秒级的级响应，并具有单位时间的超高吞吐量。这就是TimesTen在过去20年中一直在做的垂直吞吐能力。

作为企业级产品，TimesTen实际上在中国已有近十年的历史。从07、08开始，中国的主要运营商已陆续采用TimesTen作为计费系统来控制余额。与后台中的这些服务类似，实际使用的许多技术都是TimesTen。使用它们时，他们对所有权有要求，TimesTen也可以满足要求。

此查询。

缺点是它需要维护一个哈希链表。此哈希链接列表的估计值是整个表的总值的超集，并且不能小于总行数。

另一种方法是我们默认的索引创建，它可以很好地进行范围搜索，并且等效搜索的性能不会特别糟糕。更重要的是，在高并发维护的情况下，这种新的索引模式没有读取锁定。在编写时，由于B树索引是子节点的维护，因此它减少了热点并使用细粒度的闩锁设计来减少对整个b树锁的并发影响。

TimesTen横向扩展

市场上有许多对分销有强烈需求的客户。同时，客户自己也在进行各种分片尝试，以处理其海量数据和高并发处理能力。

在这种情况下，TimesTen已经执行了内核转换，并且转换量不是特别大。我们介绍了管理实例的概念。管理实例有点像刚刚介绍的传统模式，但是其中存储的内容只是元数据，实际数据在数据实例中进行管理。

此图中的唯一变化是已成为元素。元素只是整个分布式集群中的一个节点，仅存储数据的十分之一，并且数据分散。

为了解决分布式的全局一致性问题，我们引入了一种称为Epoch的机制，该机制与全局事务的概念配合使用以确保分布式的原子性。在此前提下，可以实现分布式的强一致性。

基于这种全新的体系结构，我们进行了很多封装。在实例级别，我们可以自动与内部通道和其他实例进行交互。

同时，还引入了管理实例的概念，因此管理实例将直接与TimesTen实例进行通信以进行实时状态更改和集群拓扑更改。

此功能使我们可以在一个位置的管理实例上实现一键安装和一键管理。对于，无论是十个节点，二十个节点还是三十个节点，在管理节点上仅执行一个命令进行配置，其余任务将由管理实例自动执行，而无需登录到特定的数据实例。配置。

高可用性

在企业级需求中，它们在早期对TimesTen具有强烈的吸引力，这有助于在不重复的情况下实现高可用性。

尽管TimesTen本身就引擎而言支持复制，但我们对分布式体系结构进行了重大改造，以使其支持多副本技术。在异步体系结构下，首先配置的主机使用数据空间组隔离物理位置，然后可以将一对计算机机房中的两个节点分配给一个副本，以便两个副本实时同步。

在此基础上，我们的整个基于多个副本级别呈现给该应用程序。副本集现在支持两个副本，将来将支持三个副本。

基于前面介绍的内核原理，我们的实例级别和级别具有持久性功能。这些功能向分布式内部开放，分布式内部是一个称为Element的节点。元素具有自己的持久性，存储的数据仅是数据单元的一小部分，并且具有接受应用程序访问的能力，这意味着所有节点（即使处于高可用性模式下）也具有读写所有Open to的能力。应用程序。

在内部，由于我们希望拥有一致的OLTP应用程序访问权限，因此它基于优化的两阶段提交以实现强大的事务一致性。

TimesTen横向扩展架构概述

要安装TimesTen软件，您需要先准备Zookeeper。它充当轻量级成员管理角色，以管理实例之间的行为。我们建议使用内部和索引。同时，我们还需要更新优化器统计信息，因为TimesTen本身也是基于成本的优化工具，对于SQL，还需要做好在正常数据量更改后更新和收集信息的工作，以便实际的执行计划可以反映数据的实际情况。

最后是本身的配置，包括根据目标负载和硬件优化参数。使用HDD存储需要隔离I / O的检查点文件和事务日志文件，以避免I / O争用。使用大页面无法使用，请考虑将锁定在内存中。

横向文章

首先要介绍的是分布式网络。我们建议使用10千兆以太网进行内部配置。尽可能选择大容量的主机而不是低配置的组机，因为这样可以减少网络开销，并且可以充分发挥垂直并发的能力。

在优化方面，对于表的分配，如果它是非常大的表的解决方案，则可能需要考虑使用散列分配来分解。

在分布式中，TimesTen还添加了全局索引和局部索引的概念。选择分发密钥时，可以选择某个主密钥或任何组合密钥作为哈希分发的分发密钥。

应用文章

从应用程序开发的角度来看，我们也有一些优化建议。例如，使用参数化SQL而不是将绝对查询值写入SQL变量。并且我们建议每次启动连接时都要进行解析，这样生成的执行计划就可以避免进行硬和软解析，甚至可以将其执行计划重用于其他连接，这将减少很多性能问题。必要的开销。

有时，SQL还涉及隐式数据类型或字符集转换，如果可以避免，它还可以减少不必要的开销。

同时，我只强调TimesTen中的内存结构存储为具有256行的页面。因此，从插入批处理的角度来看，我们可以以256行的倍数执行批处理，以便我们可以充分利用其页面功能并减少行插入的性能损失。

适用方案

如果低延迟要求（例如在一毫秒或几毫秒内所需的响应时间）非常苛刻，我们建议使用TimesTen的传统部署方法，以便即使在单台计算机上也可以达到每秒。数千万的查询功能。我们的主用和备用模式可以实现垂直企业功能的扩展。阅读能力可以水平扩展。

如果您具有用于加速的oracle，则可以通过只读或读写缓存对其进行配置，并将oracle的热数据的子集加载到TimesTen中进行计算。数据同步由缓存的代理和复制代理执行。

如果您说在亚毫秒级或十毫秒以上的容差情况下，则有数亿个TS需要高并发性。 TimesTen当前的极端情况测试可以达到每秒10亿次查询。

因此，在这种分布式体系结构中的响应时间不是他的优势，而是在多节点同步的高并发处理中，他具有读写扩展的绝对能力。这一点需要综合考虑。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shoujiruanjian/article-342278-1.html