分布式存储关键技术和优势研究

数据安全与云计算” 76”分布式存储关键技术和优势的分析与研究◆杨永洲（云南电网，宝山供电局，云南678000）摘要: 随着信息的飞速发展技术，计算机系统需要处理的数据迅速增加. 同时，这些数据也需要有效地存储在存储系统中，以保证数据分析和处理的方便. 随着网络技术的不断发展和创新，分布式存储技术本身也在迅速发展. 毫无疑问，各种大型网站还存储大量数据. 如何有效地存储这些海量数据是每个大型网站的架构师必须解决的问题. 分布式存储技术是为解决此问题而开发的技术. 关键字: 分布式存储；关键技术；分布式存储应用程序0前言与当前的集中式存储技术不同，分布式存储技术不将数据存储在一个或多个特定节点上，而是通过网络使用企业中每台计算机上的磁盘空间，这些分散的存储资源构成了虚拟存储设备，数据分散并存储在企业的各个角落. 传统存储阵列数十年来的发展确实为数据中心的建设带来了巨大的发展，但是随着虚拟化的普及以及大数据，云计算，Internet +等概念的实现，传统存储阵列已成为传统的存储阵列. 累. 这种情况表明，在处理能力，可伸缩性，可维护性，可靠性和成本方面，它具有更多的缺点.

存储供应商在传统领域盲目地增强和扩展了这个“铁盒”，并维护了“蛋糕”. 他们还正在深入研究另一种彼此相反的存储技术. 这是分布式存储技术. 1分布式存储概述分布式存储系统将数据存储在多个独立的设备中. 传统的网络存储系统使用集中式存储服务器来存储所有数据. 存储服务器成为系统性能的瓶颈，也是可靠性和安全性的关注焦点，无法满足存储应用的需求. 分布式网络存储系统采用可扩展的系统结构，使用多个存储服务器来共享存储负载，并使用位置服务器来定位和存储信息. 它不仅提高了系统的可靠性，可用性和访问效率，而且易于扩展. 2分布式存储的关键技术2.1元数据管理常见的元数据管理可以分为集中式和分布式元数据管理架构. 在大数据环境中，元数据量也很大. 元数据的访问性能是整个分布式文件系统性能的关键. 2.2分布式存储系统的系统弹性扩展技术要实现存储系统的高可伸缩性，首先必须解决两个重要问题，包括元数据的分布和数据的透明迁移；在大数据的情况下，数据的规模和复杂性的增加往往非常迅速，并且需要较高的系统扩展性能. 2.3分布式存储系统存储层次结构中的优化技术在构建存储系统时，需要基于成本和性能来考虑. 因此，存储系统通常使用具有不同性价比的多层存储设备来形成存储层次结构.

大数据具有，因此，构建高效合理的存储层次结构可以在确保系统性能的同时降低系统能耗和构建成本. 使用数据访问局部性的原理，可以从两个方面分析存储层次结构. 优化结构. 从提高性能的角度来看，可以通过分析应用程序特征，识别热数据并进行缓存或预取，以及使用高效的缓存预取算法和合理的缓存容量匹配来提高访问性能. 从降低成本的角度来看，使用信息生命周期管理方法将访问频率较低的冷数据迁移到低速和低成本的存储设备可以大大降低系统构建成本和能耗，同时又可以牺牲整体系统性能. 2.4针对应用程序和负载的分布式存储系统存储优化技术传统的数据存储模型需要支持尽可能多的应用程序，因此需要具有良好的通用性. 大数据具有，高动态和快速处理的特点. 通用数据存储模型通常不是最能提高应用程序性能的模型. 大数据存储系统对上层应用程序性能的关注远远超出了对性的追求. 针对应用程序和负载优化存储是将数据存储与应用程序耦合. 根据特定的应用程序，特定的负载和特定的计算模型，简化或扩展分布式文件系统的功能，自定义和深入优化文件系统，以使应用程序获得最佳性能. 这种优化技术可以在Google和Facebook等互联网公司的内部存储系统上以PB级管理非常大的数据，并可以实现很高的性能.

3与传统存储相比的优缺点3.1简化传统存储阵列需要昂贵的硬件，以及相应的存储交换机，HBA和其他特殊配件. 存储阵列的配置需要人员进行管理，甚至需要受存储供应商的约束. VMware分布式存储技术直接使用服务器的磁盘，而服务器本身就是控制器. 在数据中心架构中，减少了整个存储硬件层，从而大大简化了数据中心构建的复杂性. 3.2性能保证传统存储的优势在于性能，但是这种性能已被颠覆. 对于大多数低端存储，性能一直是“鸡肋”. 在虚拟化环境中，由于集中的I / O处理，并且I / O处理是共享的，因此很可能对某些虚拟机造成影响，或者只是由于整体性能而拖累虚拟化平台. 分布式存储技术的性能取决于缓存的处理能力和大小，并使用固态磁盘技术（SSD）. 单个SSD的性能可以达到数以万计的IOPS. 如果形成集群，则性能可以线性扩展. 这极大地缓解了性能瓶颈. 3.3可伸缩性的优点分布式存储的优点是“分布式”. 所谓的“分布式”是将多个物理节点集成在一起以形成共享存储池的能力. 节点可以线性扩展，因此可以通过扩展连续扩展. 节点可以提高性能并扩展容量，而传统存储阵列则无法实现.

3.4面向对象的管理这里提到的“对象”是虚拟机. 传统存储阵列都是“块”级操作. 存储规则的定义与虚拟机和应用程序无关. 导致存储和应用程序，业务系统以及新一代的点之间的断开连接（续第80页）万方数据安全性和“ 80”云计算，并影响干千，郭亮. 基于威胁情报共享的安全态势感知与入侵意图识别技术研究[J]. 计算机与爽. 基于Netflow的网络安全态势感知系统研究[J]. 计算机应用研究，2007. [6]郑一平. 基于知识发，刘志乐. 网络空间安全态势感知数据收集研究[J]. 信息网络安全，2016年. （续第68页）管理实现跨部门合作的实力.

3结束语在处理大量环境监测信息时使用大数据技术可以为业务系统提供技术支持，提高数据处理能力和效率，具有高度的灵活性和可扩展性，并满足业务发展的需求，灵活应用和快速处理业务所需的数据. 参考文献: [1]李洪汉. 大数据技术在商业银行中的应用: 场景，优势与对策[J]. 广西大学学报（哲学社会科学版），2016. [2]尚光龙，张泽峰. 大数据技术在信息管理中的应用研究-以大学毕业生就业为例[J]. 河北北方大学学报（自然科学版），2016. [3]刘蓉，崔琳琳. 大数据技术在中小企业信用体系建设中的应用［Ｊ］. 信用信息，2015. [4]冯继平，陈伟，关迪，李聪，郑国臣. 大数据技术在松辽流域水环境管理中的应用前景[J]. 发展研究，2014. [5]乔培英，刘玉吉. 卫星数据融合技术在环境遥感监测中的应用[J]. 环境保护与循环经济，2009. [6]徐胜杰. 大数据技术在指挥信息系统中的应用与开发［Ｊ］. 电子技术与软件工程，2017年. （上接第76页）对于布料存储技术，可以将所有存储规则定义为虚拟机级别，并且每个虚拟机可以具有自己的个性存储规则，例如“副本数”. ，条带化，存储格式”等，这实际上是存储级别与应用程序“存储感知应用程序”之间的交互，以为业务系统及时创建合适的存储环境.

3.5更高的可靠性由于分布式存储的架构是分散式的，因此数据存储也分散在不同的节点上，因此，如果单个节点受到损坏，则不会对整个架构产生影响. “单故障点”始终是困扰传统存储阵列的最大问题，并且配置多个存储阵列进行镜像意义不大，同时成本很高分布式存储实现技术，而分布式存储技术可以轻松解决此问题. 特别是在跨站点VSAN技术问世之后，这种可靠性已扩展到容灾水平. 3.6更好的维护能力这里提到的维护是指硬件的维护. 在传统的存储体系结构中，如果出现故障，我们必须逐层检查故障点. 存储阵列和存储网络是更复杂的层，因为这是一个领域，需要技术人员的配合才能解决. 因为它与虚拟化内核紧密耦合，所以服务器层是存储层，并且通过虚拟化管理软件，您可以一目了然地看到分布式存储的状态，因此对于整体维护非常方便. 3.7更低的成本分布式存储的优势是“更快，更便宜，更简单”. 分布式存储的开发将不是一个一步的过程，而是一个过程. 首先，分布式存储蚕食了增量存储市场，然后，随着用户不断加深对技术的了解，他们最终将统一河流和湖泊. 分布式存储迟早会占领市场. “当务之急是团结一致，战胜敌人的传统武器.

”这是超融合行业联盟提倡的行业情绪和抱负. 4总之，在大数据时代，分布式系统是企业级应用程序的首选平台，它们具有良好的可伸缩性，尤其是水平可伸缩性（Scale Out），这使分布式系统非常灵活，可以满足日新月异的需求. 企业级要求，降低企业客户对服务器硬件的要求，并可以真正实现应用程序服务级别的自动扩展. 参考文献: [1] ChinaByte. 专家博客: 分布式存储系统[EB / OL]的实现. [2]于光军，杨家宏主编. 医学大数据[M]. 上海: 上海科学技术出版社，2015. [3]陆益阳. 分布式存储系统研究[J]. 企业技术与发展，2011. [4]陈敏，张栋，张音，齐开元. 大数据-大数据整体解决方案及关键技术探索[M]. 湖北: 华中科技大学出版社，2015.万方数据

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-182289-1.html