分布式计算系统程序员

一年又要过去了，回顾这一年的，你的成就有哪些吗？你的女朋友，还在身边吗？你的钱包鼓起来来了么有，有么有感觉事多了，钱还是那么一点一点，还抱怨你领导霸道吗？大数据从业者，建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习路线，那我们说下大数据发展前景

程序员心声

一.大数据发展模式的变迁：从“行业垂直”发展走向“聚通融合”，从“封闭沉睡”走向“开放创新”，建设“国家一体化”大数据资源目录体系，形成政府与市场的共治模式

二、大数据市场方向、要点和设想：贴紧大数据资源中心建设，在信用体系、电子证照、主题工程、行业部门信息化建设方面拓展行业优势，走大数据联合运营之路

三、大数据技术方向、路线和建议：面向国家重大需求，实施创新驱动，形成自主可控的基于云平台的混合式大数据技术路线，整合资源加速形成大数据产业优势

大数据技术可行的架构一定是混合式体系，既要支撑大数据的存储和计算，又要支撑交换、共享以及各类大数据应用。从结构化数据、半结构化数据和非结构化数据方面，待选方案和产品较多，结构化和半结构化数据依托SQL（传统关系型，包括事务性和分析性）、NewSQL(MPP)，NoSQL（mongodb、hbase、redis、leveldb等）进行存储，半结构化和非结构化数据主要依托文件系统、共享文件系统、分布式文件系统进行存储。在分布式计算和数据分析方向主要依托MapReduce、Yarn、hive、Spark、R、python、sas、pig、Impala、Hama、kylin等开源和商业体系。在大数据可视化方向，重点研究数据模型构建工具、数据立方以及基于WEB图形化集合。综上所述，基于Hadoop体系，在数据多源实时和非实时采集、分布式存储、分布式计算、数据模型和算法、可视化交互分析和展示、安全等方面整合研发，有效融合传统开源存储和计算技术，构建自主可控的基于开源组件的技术体系行之有效。分布式计算系统分布式计算系统目前国内自主知识产权的大数据分析平台基本是按照这个思路在整合研发，尤其是阿里云、腾讯云等公有云平台，整合力度和产品线较全。大数据技术体系，尤其是超大数据平台，是从云计算的IAAS层、PAAS层和DAAS层统一整合，从基础实施资源虚拟资源、数据交换与采集、分布式存储和计算、大数据挖掘分析和可视化展示均实现弹性可配置、可监控、可管理、可扩展，成为事实上的大数据操作系统（DATAOS），而在私有云中心和大数据平台建设方面参照公有云大数据平台进行裁剪和定制。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-69707-1.html