微服务架构 云计算 2018年？2019年？现在学习大数据晚吗？(2)

就这个问题而言，我们可以把它分为“大数据技术是否过热”和“大数据应用(或者大数据产业)”是否过热？我们都知道技术和应用相辅相成，技术是基础，应用是商业价值变现。微服务架构 云计算他们有着各自的发展轨迹，彼此并不完全重合。让我们先看一下大数据技术和大数据应用的发展阶段和历史趋势：

概念阶段

2011年，麦肯锡全球研究院发布的《大数据：下一个创新、竞争和生产力的前沿》研究报告最早提出词汇“Big Data”。

2012年，维克托·舍恩伯格《大数据时代：生活、工作与思维的大变革》的宣传推广，大数据概念开始风靡全球。

技术突破阶段

处理此类结构化数据，只需事先分析好数据的意义以数据间的相关属性，构造表结构来表示数据的属性，数据都以表格的形式保存在中，数据格式统一，以后不管再产生多少数据，只需根据其属性，将数据存储在合适的位置，就可以方便的处理、查询，一般不需要为新增的数据显著的更改数据聚集、处理、查询方法，限制数据处理能力的只是运算速度和存储空间。

大数据正是在这样的背景下产生的，大数据与传统数据处理最大的不同就是重点关注非结构化信息，大数据关注包含大量细节信息的非结构化数据，强调小众化，体验化的特性使得传统的数据处理方式面临巨大的挑战。

以文本为主的这类便于储存的数据是结构化数据，其余像网络日志、音频、视频、图片等则被归为结构化数据。

就医疗机构诊疗数据看，诊疗数据结构复杂包含大量半结构化或非结构化数据，单个半结构化数据（如心电图、b超、cr、ct等）的数据量远远大于单个结构化数据（如xml文档），如一张普通ct图像大约150mb、一个标准的病理图接近5gb，而一个xml文档大小约几十k，随着医疗机构信息化建设转向临床信息系统，越来越多医院将重点建设pacs、lis系统，从而产生大量非结构化诊疗数据。

2006至2009年，大数据技术形成并行运算与分布式系统，为大数据发展的成熟期。Jeff Dean在BigTable基础上开发了Spanner（2009）。此阶段，大数据研究的热点关键词再次趋于集中，聚焦“Performance”（性能）、“CloudComputing”（云计算）、“MapReduce”（数据集并行运算算法）、“Hadoop”（开源分布式系统基础架构）等。

应用阶段

2010年以来，随着智能手机的应用日益广泛，数据的碎片化、分布式、流媒体特征更加明显，移动数据急剧增长。 近年来大数据不断地向社会各行各业渗透，使得大数据的技术领域和行业边界愈来愈模糊和变动不居，应用创新已超越技术本身更受到青睐。大数据技术可以为每一个领域带来变革性影响，并且正在成为各行各业颠覆性创新的原动力和助推器。

2012年，美国政府在白宫网站发布《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。之后美国政府宣布2亿美元投资大数据领域，大数据技术从商业行为上升到国家科技战略。联合国在纽约发布大数据政务白皮书，总结了各国政府如何利用大数据技术更好地服务和保护人民。

按照党中央、国务院关于推进公共信息资源开放和促进大数据发展行动纲要的要求，实施食品药品监管数据资源目录管理，制定数据标准，编制数据开放目录，制定总局数据资源年度开放计划，并积极响应公众开放需求，依托国家公共信息资源统一开放平台和总局政府网站，稳步推进食品药品监管数据开放。

近年来，大数据技术的发展和应用越来越受到我国政府的重视，国务院先后下发了《国务院关于促进云计算创新发展培育信息产业新业态的意见》《关于运用大数据加强对市场主体服务和监管的若干意见》《促进大数据发展行动纲要》等一系列文件，并且在“十三五规划”将大数据的发展中上升至国家战略，提出要实施国家大数据战略，把大数据作为基础性战略资源，加快推动数据资源共享开放和开发应用，加快政府数据开放共享。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/tongxinshuyu/article-89440-2.html