云计算系统中的分布式海量数据存储技术

云技术是一种托管技术，它将广域网或局域网中的硬件，软件，网络和其他一系列资源统一起来，以实现数据计算，存储，处理和共享.

云技术（Cloud technology）基于云计算业务模型的应用网络技术，信息技术，集成技术，管理平台技术，应用技术等云计算分布式存储，可以根据需要形成资源池，灵活方便. 云计算技术将成为重要的支持. 技术网络系统的后台服务需要大量的计算和存储资源，例如视频网站，图片网站和更多门户网站. 随着互联网行业的飞速发展和应用，将来每个项目可能都有自己的识别标记，所有项目都需要传输到后端系统进行逻辑处理. 不同级别的数据将分别处理，各种类型的行业数据都需要强大的功能. 系统的支持只能通过云计算来实现.

虚拟化技术是指在虚拟基础而非实际基础上运行的计算组件. 它可以扩展硬件容量，简化软件重新配置过程，减少与软件虚拟机相关的开销，并支持更广泛的操作系统. 方面. 通过虚拟化技术云计算分布式存储，可以将软件应用程序与底层硬件隔离. 它包括将单个资源划分为多个虚拟资源的拆分模式，还包括将多个资源集成为一个虚拟资源的聚合模式.

虚拟化技术可以根据对象分为存储虚拟化，计算虚拟化，网络虚拟化等. 计算虚拟化进一步分为系统级虚拟化，应用程序级虚拟化和桌面虚拟化. 在云计算实施中. 计算系统虚拟化是构建在“云”上的所有服务和应用程序的基础. 虚拟化技术主要用于CPU，操作系统，服务器等许多方面，是提高服务效率的最佳解决方案.

云计算系统由大量服务器组成，并同时为大量用户提供服务. 因此，云计算系统使用分布式存储来存储数据，并使用冗余存储（集群计算，数据冗余和分布式存储）来确保数据可靠性. 冗余方法通过任务分解和群集确保了低成本，并用薄型计算机取代了超级计算机的性能. 此方法可确保分布式数据的高可用性，高可靠性和经济性，即存储同一数据的多个副本. . 云计算系统中广泛使用的数据存储系统是Google的GFS和Hadoop团队开发的GFS开发的HDFS的开源实现.

云计算需要处理和分析分布式和海量数据. 因此，数据管理技术必须能够有效地管理大量数据. 云计算系统中的数据管理技术主要是Google的BigTable数据管理技术和Hadoop团队开发的开源数据管理模块HBase. 由于云数据存储管理的形式不同于传统的RDBMS数据管理方法，因此如何在庞大的分布式数据中查找特定数据也是云计算数据管理技术必须解决的问题.

同时，由于不同的管理形式，传统的SQL接口无法直接移植到云管理系统中. 研究重点是为云数据管理提供RDBMS和SQL接口，例如基于Hadoap子项目的HBase和Hive. 另外，在云数据管理中，如何确保数据安全和数据访问效率也是研究关注的关键问题之一.

云计算提供了分布式计算模型，客观上需要分布式编程模型. 云计算使用简洁的分布式并行编程模型Map-Reduce. Map-Reduce是一种编程模型和任务调度模型. 它主要用于数据集的并行操作和并行任务的调度. 在这种模式下，用户只需要自己编写Map函数和Reduce函数即可执行并行计算. 其中，Map函数定义每个节点上块数据的处理方法，Reduce函数定义中间结果的保存方法和最终结果的归纳方法.

云计算资源巨大，大量的服务器分布在不同的位置并同时运行数百个应用程序. 如何有效地管理这些服务器并确保整个系统提供不间断的服务是一个巨大的挑战. 云计算系统的平台管理技术可以使大量服务器协同工作，促进业务部署和部署，快速检测和恢复系统故障，并通过自动化和智能手段实现系统的可靠运行. >

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-237491-1.html