如何读取磁盘数据

如何读取磁盘数据

[技术领域]

[0001]本发明涉及数据存储，尤其涉及一种从磁盘读取数据的方法。

[背景技术]

[0002]随着信息技术的发展，计算系统越来越依赖于存储系统的性能。在以计算技术为中心的时代，数据量非常小，人们经常忽略I / O问题。人们更加关注处理器和内存之间的性能差距。随着网络存储的发展，以计算为中心已变为以数据为中心。海量数据依赖于磁盘进行存储。人们逐渐关注I / O问题，并且处理器和磁盘之间的性能差距逐渐出现。由于访问磁盘数据的速度远低于处理器计算的速度，因此I / O瓶颈成为阻碍系统性能的主要瓶颈。在某些面向服务的应用程序中，例如电子商务，搜索引擎，社交网络等，它们面临着数PB的数据。仅单级缓存无法满足其性能要求，并且经常使用多级缓存体系结构。近年来，已经提出了许多用于管理多级缓存空间的解决方案。尽管这些基于内存的多级缓存体系结构可以有效地提高系统性能，但是从价格和功耗的角度来看，它们非常浪费，并且不具有成本效益。

[发明内容]

[0003]为了解决现有技术中的上述问题，本发明提出了一种磁盘数据读取方法，包括：

[0004]用户通过服务器发送数据I / O请求，服务器向存储系统发送硬件命令，并且存储系统的二级缓存结构处理I / O请求。

[0005]优选地，所述二级缓存结构包括一级缓存和二级缓存，其中所述磁盘阵列的冗余控制器的存储器用作所述一级缓​​存，所述固态状态磁盘用作二级缓存。缓存，第一级缓存和第二级缓存将相互协调和交互。构造二级缓存后，多个应用程序将同时使用二级缓存。固态磁盘用作块设备。上级组件将固态磁盘视为一个块设备。用户使用固态磁盘创建池，建立逻辑磁盘，然后对文件系统进行分区和配置；该池是由一组根据RAID类型的磁盘驱动器组成的逻辑存储池，该逻辑磁盘是在该池中建立的逻辑存储单元，在该逻辑存储单元上建立了文件系统或应用程序；

[0006]高速缓存结构在逻辑上包括重定位模块，数据分析模块和数据迁移模块；重定位模块维护映射表，以记录缓存在固态硬盘上的块与磁盘阵列Relationship中的块之间的对应关系；当新请求到达重定位模块时，首先查找映射表，如果请求的块位于固态磁盘中，则将请求重定向到固态磁盘，否则直接操作磁盘阵列，重定位模块还将I / O请求被拦截并转发到数据分析模块。数据分析模块收集I / O请求并更新块表以描述负载访问模式。数据分析模块会定期分析数据访问历史记录，以确定应将哪些块重定位到SSD，并请求数据迁移模块通过存储设备重定位数据块。数据分析模块可以在内核模式和用户模式下运行；数据迁移模块用于向块设备发出I / O命令，并更新映射表以反映最新的映射更改。

[0007]优选地，服务器向存储系统发送硬件命令，还包括：

[0008]根据可写属性构造了不同数量的二级缓存逻辑磁盘。可写缓存容量等于控制器上内存的容量。配置的逻辑磁盘构造类型将发送到服务器。二级缓存支持RAIDl或10种类型的缓存池的构造。根据冗余属性，计算池的容量。如果构建了没有冗余的二级缓存，则二级缓存池的容量将占100％；如果构建了冗余的二级缓存，则二级缓存池的容量占50％，每个磁盘阵列仅创建二级缓存池。

[0009]当实现二级缓存时，也可以将缓存在一级缓存中的数据映射到二级缓存。每个控制器都有一个映射表，该映射表驻留在其一级缓存中。映射表的副本也保留在二级缓存本身中。第二级缓存映射表是地址表。 32kB块包含一个索引，该索引描述了二级缓存中缓存数据的位置信息。配置了三个逻辑磁盘的二级缓存池和二级缓存后，第一个逻辑磁盘为控制器0，第二个逻辑磁盘为控制器1，最后一个逻辑磁盘为可写区域；

[0010]存储系统的二级缓存结构对I / O请求的处理还包括：

[0011]当接收到I / O请求时，根据I / O请求的类型判断是读操作还是写操作。如果是读取操作，则查询一级缓存，如果命中，则返回数据。缓存空间不足，将数据移至第二级缓存，如果第一级缓存未命中，但第二级缓存命中，则第二级缓存数据通过第一级缓存返回到第一级缓存；如果第一级和第二级高速缓存都丢失，则读取磁盘阵列，检索数据并更新到第一级高速缓存；如果I / O请求类型是写操作，则将脏数据写入第一级缓存，当脏页数达到阈值时，将第一级缓存中的数据移至第二级缓存，然后将第二级缓存根据预定义的写回策略将数据写回到磁盘阵列。回写策略结合在一起读写块大小和存储空间利用率是两个因素。在回写状态下，仅当从缓存中清除数据后，数据才会写入磁盘。回写需要将数据从缓存写入磁盘并进行更新。数据将写入缓存。

[0012]与现有技术相比，本发明具有以下优点：

[0013]本发明提出了一种磁盘数据读取方法，该方法通过改进缓存结构和读写过程来优化缓存响应时间，适用于存储系统的数据读取。

[图纸说明]

[0014]图。图1是根据本发明实施例的读取磁盘数据的方法的流程图。

[详细实现]

[0015]以下提供了本发明的一个或多个实施例的详细描述以及示出本发明原理的附图。结合这样的实施例描述了本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限制，并且本发明涵盖许多替代，修改和等同形式。在下面的描述中，阐述了许多具体细节以便提供对本发明的透彻理解。提供这些细节是为了示例的目的，并且可以根据权利要求来实现本发明，而无需这些特定细节中的一些或全部。

[0016]本发明的一方面提供了一种盘数据读取方法。图1是根据本发明实施例的用于读取磁盘数据的方法的流程图。本发明基于存储器和固态盘的二级缓存架构，通过访问固态盘而不是访问普通硬盘，特别是随机访问模式的数据，从而减少了请求响应时间，并充分发挥了作用。固态磁盘的性能。

[0017]磁盘阵列的冗余控制器具有自己的唯一内存，在此称为第一级缓存，通过添加固态磁盘构造的第二级缓存在磁盘阵列上共享，从而允许多个应用程序同时使用二级缓存，它将自动检测数据是否在固态磁盘中，并且无需根据应用程序进行特定调整。建立二级缓存后，一级缓存和二级缓存将相互交互。

[0018]将二级缓存集成到现有存储系统中的想法，与此同时，有必要考虑应充分挖掘固态磁盘的性能潜力。影响存储性能的因素将不可避免地包括策略设计和系统部署问题。从功能的角度来看，本发明实现了二级缓存机制，并将二级缓存作为组件放入大数据存储系统中进行管理。

[0019]两级高速缓存结构中的固态磁盘用作块设备。其上层组件（例如文件系统）将固态磁盘视为简单的块设备，而无需担心内部复杂的结构。用户可以使用固态磁盘创建池，创建逻辑磁盘，然后分区和配置文件系统。缓存结构在逻辑上由三部分组成，即重定位模块，数据分析模块和数据迁移模块。重定位模块维护一个映射表，以记录固态磁盘上缓存的块与磁盘阵列中的块之间的对应关系。当新请求到达重定位模块时，首先查找映射表。如果请求的块在固态磁盘中，则将请求重定向到固态磁盘，否则直接操作磁盘阵列。重定位模块还拦截I / O请求并将其转发到数据分析模块。数据分析模块收集I / O请求并更新块表以描述负载访问模式。数据分析模块定期分析数据访问历史，确定应将哪些块重定位到固态磁盘，并请求数据迁移模块通过存储设备重定位数据块。数据分析模块可以在内核模式和用户模式下运行。数据迁移模块用于向块设备发出I / O命令，并更新映射表以反映最新的映射更改。重定位模块维护一个映射表，以记录固态磁盘上缓存的块与磁盘阵列中的块之间的对应关系。

[0020]根据硬件接口，可以将管理磁盘阵列的过程视为Socket通信的过程。客户端通过管理软件发送请求，服务器将用户请求解析为中继，并将硬件命令发送到磁盘阵列。

[0021]二级缓存被构造为建立服务线程。首先是建立一个池结构。该池根据RAID类型使用一组磁盘驱动器来形成存储池的逻辑概念。磁盘驱动器只能位于一个池中。存储系统中可以有任意数量的池，并且指定的池列表需要相同类型的固态磁盘，包括磁盘旋转速度和容量等属性的比较。

[0022]用户向服务器发送请求以构建命令

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/dianqi/article-332485-1.html