DTCC2013: eXtremeDB内存性能优化

[IT168现场报道] 2013年4月18日至20日，第四届中国技术大会（DTCC 2013）在北京喜来登酒店的四点开幕. 在为期三天的会议中，会议将对大数据应用程序，数据体系结构，数据管理（数据治理），传统软件和其他技术领域进行深入讨论，并将邀请一批国内顶级技术专家分享. 在保留软件应用实践的传统主题的基础上，本次会议将扩展到大数据，数据结构，数据治理和分析以及商业智能等领域，以满足从业者和行业用户的迫切需求.

4月18日下午，美国McObject亚太地区高级工程师黄冬旭在内存分支上就“ eXtremeDB内存性能改进计划共享”发表了精彩演讲. ”. 在演讲过程中，黄冬旭结合了eXtremeDB内存技术，分享了提高内存性能的方法，并重点介绍了eXtremeDB内存在某些应用领域的成功案例.

随着大数据时代的到来，数据量激增，系统变得越来越大，并且使用了越来越多的软件. 在大数据环境下，磁盘面临一些性能瓶颈，这也催生了内存成为制造商的新宠.

什么是内存？顾名思义，内存是将数据放入内存并直接运行的. 与磁盘相比，内存的数据读写速度要高几个数量级. 与从磁盘访问数据相比，将数据保存在内存中可以大大提高应用程序的性能.

黄冬旭说，在内存中，内存是主要的存储介质，所有表和索引始终在内存中. 为内存算法和并行操作设计的最佳访问方法和索引模式也得到相应改进，从而消除了I / O瓶颈. 与传统磁盘相比，内存在访问成本，容量，数据持久性，索引算法和内存管理算法以及在系统体系结构中的作用方有优势.

在谈到内存的特性时，黄冬旭总结了三点: 快速，小型和易失. 快速是指速度. 速度是内存的最大优势. 小是指系统资源的内存占用. 易失性是指由于电源故障而导致的内存丢失的特征. 因此，需要预先保护存储器上的数据. 内存处理的数据通常是“短暂的”，即具有一定的有效时间. 如果过时，将生成新数据，并且当前的决策推导变得无效. 因此，在实际应用中，使用内存来处理实时业务逻辑处理数据.

如何提高内存数据管理的性能？ Huang Dongxu从运行时界面，事务管理器，索引管理器和内存管理中分别进行了详细分析.

在谈到索引优化时，黄冬旭强调树索引是一种常见的索引类型，磁盘系统的典型索引技术是B树索引. B树结构的主要目的是减少完成数据文件索引查找所需的磁盘I / O数量. B树通过控制节点内部的索引值（包括节点中尽可能多的索引条目）（添加可由一个磁盘I / O访问的索引条目）来实现此目标. 另一方面，T树是针对主存储器访问进行优化的索引技术. T树是一个平衡的二叉树，在一个节点中具有多个索引条目. 就大小和算法而言，T树的索引条目比B树的索引条目更加精简. T树搜索算法无法区分搜索的值是在当前节点中还是在内存中的其他地方. 每次访问新的索引节点时，索引范围都会减小一半.

当谈到内存eXtremeDB的性能时，黄冬​​旭说操作的速度以微秒为单位. 静态内存分配和定制的API缩短了代码执行路径，这不仅提高了性能，而且提高了系统的鲁棒性. 下图显示了eXtremeDB在操作记录时可以实现令人惊叹的单位微秒性能.

在内存的功能扩展方面，黄冬旭着重从内存数据保护，事务日志，高可用性版本，集群和特殊版本等方面进行了分析.

就内存数据保护而言，内存具有高可用性组件和群集组件. 它同步不同设备中的多个实例，并将数据与磁盘同步. 事务日志点可以实现常规检查点并向前/向后滚动. 恢复.

就事务日志而言，事务日志以事务单位记录事务日志. 如果发生设备故障或系统错误，它可以为RAM中的内存实例提供强大的恢复功能. 事务日志提供了“数据中继”功能，该功能与后端是无缝的.

就高可用性而言，内存的高可用性功能可以同步多个独立的实例，以确保其一致性. 常见方案包括: 例如，局域网中的两台或更多计算机，同一硬件环境中的多个进程或线程.

在群集的情况下，在设备故障或系统错误的情况下，内存为RAM中的内存实例提供恢复功能. 群集通过群集之间的协议镜像数据，并且节点共享数据以确保数据一致性.

此外，黄冬旭关注于McObject的eXtremeDB的优势. McObject的内存系统的eXtremeDB财务版本可以提高数据管理的效率，并加快算法交易，定量分析，订单匹配和其他实时资本市场系统的性能. 该版本基于基于矢量的数学函数，可通过最大程度地利用主/辅助缓存的利用率来加快时间序列数据的管理. 它通过组织功能以形成顺序操作流水线来支持统计/定量分析，从而避免了CPU资源的频繁占用.

除核心eXtremeDB内存数据存储外，Microjet的eXtremeDB混合版本还增加了一种混合存储方法. 可以使用灵活的缓存将特定的记录类型分配给磁盘存储. 根据性能，稳定性，成本和结构等因素选择最合适的存储介质. eXtremeDB为开发人员提供了各种应用程序编程接口（API）.

内存的应用场景非常广泛，包括金融领域，电信领域，安全控制系统，工业控制，消费电子，军事/航天等领域，其中实时交易结算等金融领域系统，期货交易系统，交易中央软件等，电信领域的实时计费和实时对话.

McObject从一开始就创建了eXtremeDB内存系统，现在拥有大量成熟的解决方案案例，全球300多个行业的领先客户.

最后，黄冬旭与大家分享了eXtremeDB在不同领域的具体应用. 大连商品交易所使用eXtremeDB，后端Oracle作为市场. 用户的买卖订单数据从终端传输到内存，每日数据同步到Oracle.

在电信应用方面，Lifetree的开发团队评估了多个现有的商业系统作为J @ nus内存缓存的潜在供应商，并最终选择了eXtremeDB. 这是由于eXtremeDB最快的响应速度，高可用性和64位支持.

对于通信应用程序F5，为了满足BIG-IP等网络应用程序的性能要求，快速设置查询结构参数非常重要. eXtremeDB的微秒查询性能可以满足此要求.

对于军事工业，波音公司生产的世界领先的AH-64D Apache Longbow战斗直升机将eXtremeDB用作飞机关键实时机载系统开发的一部分.

在其他行业，黑龙江福彩研发团队评估了多个内存，以应对当前彩票销售的实时监控和分析. eXtremeDB以极高的响应速度和极高的可靠性最终成为黑龙江省福利彩票的最终选择. 特别是，高可用性功能可以确保数据安全性，同时在发生故障时确保系统可靠性.

有关会议的更多详细信息，请注意主题

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/shoujiruanjian/article-304181-1.html