分布式处理与网络计算 中科院科学数据云架构探析

文／黎建辉虞路清张波刘峰吴章生

随着云计算技术的发展，中科院“十二五”信息化发展规划提出了建设科技云的总体思路，从高速网络、超级计算、科学数据等方面着手，整合集成各类资源和服务，形成信息化服务的云环境，以云服务模式为科研活动与科技创新提供应用服务。

总体架构

科学数据云是“十二五”中科院信息化建设科技云的重要组成内容。科学数据云平台的总体架构如图1所示。

科学数据云平台总体架构自下而上共分为三层：基础设施层、平台层和软件服务层三个层次，并分别对应相关的资源与服务，基础设施即服务(IaaS)，数据即服务( DaaS)／平台即服务(PaaS)和软件即服务(SaaS)。

IaaS层在计算机服务器、网络设备、存储设备等硬件环境基础上应用虚拟化技术统一为基础设施资源池，包括计算资源、网络资源和存储资源。依托这些资源，面向科研实际需求构建云存储服务、云灾备服务、云归档服务和云计算服务。

PaaS层是为用户提供一整套开发、运行和运营应用软件的支撑平台，科学数据云的重点是围绕数据处理和数据资源开发数据处理与服务平台( DaaS)，例如在数据处理方面搭建了大数据处理和个性化地图数据定制的平台，在数据资源方面提供了科学建库、管理、发现的服务平台。

SaaS层是一种通过互联网软件提供资源的服务模式。重点面向终端用户需求，在基础设施层和平台软件层的基础上，封装成熟的数据服务为核心的应用软件平台，如提供科学数据共享社区( DataPub)、地理空间数据云系统( GSCloud)等。

随着“十二五”中科院信息化专项“科技数据资源整合与共享工程”实施和推进，目前，科学数据云存储设施的总容量从2010年6.42PB扩展到当前的43PB，科学资源支持了13个学科领域数据整合重点库和7个研究所数据整合重点库，以及20个，由全院65家单位参与数据整合建设与服务，海量存储设施和科学数据资源取得了重大进展，为推动科学数据云服务奠定了重要的基础。

分布式基础设施环境

面向全院科研活动需求，科学数据存储基础设施分布在中国科学院12个分院，形成统一管理、统一服务的海量数据存储与容灾备份的云服务环境，面向全院提供科学数据中心基础设施服务。

目前，科学数据云的基础设施环境建成总容量43PB，具体包括存储环境12PB，归档环境（磁带库）30PB，灾备环境1PB。形成了布局12个分院、服务辐射全国的中科院分布式海量存储环境系统架构，构建了包括北京、长春、南京、昆明和东莞5个灾备中心的数据灾备服务网络。

分布式海量存储环境由上海、广州、兰州、合肥、昆明、新疆、成都、武汉、长春、南京、无锡和西安12个存储分中心构成，各个存储分中心和北京总中心之间通过高速CNGI宽带互联，提供统一的云存储服务，为海量数据的存储备份、长期保存和数据密集型处理等需求提供支撑。数据灾备环境可提供达到国标5级“同城两中心”及“多地多中心”高等级共享灾备服务。此外，中关村机房部署了100台服务器，全部用于云计算服务。

中关村存储总中心是整个海量数据环境的中心、数据备份中心和管理中心。北京怀柔数据备份中心是总归档备份中心，主要为数据异地备份提供安全保障。

依托海量存储环境研发了云存储服务系统。云存储系统架构包括北京中关村存储总中心、怀柔数据备份中心和12个区域存储分中心，各区域存储节点通过lGbit/s高速科技网络互联，面向全院提供统一存储备份服务。

云存储服务在对存储资源虚拟化管理基础上，形成统一的存储资源池，实现用户1分钟内自助启用存储备份。云归档服务支持用户远程数据归档和自主管理，将应用开发转变成按需配置的服务，实现用户1小时内自助云端建库和数据管理。云处理服务依托分布式海量存储设施和处理节点，构建数据密集型处理环境和可视化分析平台，为高通量、高性能数据处理提供自适应、可扩展的处理资源适配和调度。数据云服务针对可共享的数据资源和汇集归档并到期释放的数据资源，建立统一的科学数据发布与引用系统、科学数据管理与服务运行监控环境，提供用户稳定的数据集成检索、数据成果发布等服务。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-62636-1.html