高性能计算机在中国的发展 大数据 （巨量数据集合（IT行业术语））

原标题：大数据 （巨量数据集合（IT行业术语））

收藏

0

0

（巨量数据集合（IT行业术语））

本词条由 “科普中国”百科科学词条编写与应用工作项目 审核 。

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 [1]

在 维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《 大数据时代》 [2] 中大数据指不用随机分析法（ 抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 [3]

中文名 大数据 BI， 工业4.0， 云计算， 物联网，互联网+ 适用领域范围 人工智能 5V特点 大量、高速、多样、价值、真实性

目录

1定义

2特征

3结构

4应用

5意义

6趋势

7大数据的IT分析工具

8国务院印发行动纲要 促进大数据加快发展

定义

大数据与云计算的关系

对于“大数据”（Big data）研究机构 Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的 决策力、 洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息 资产。 [1]

麦肯锡全球研究所给出的定义是：一种规模大到在获取、 存储、管理、分析方面大大超出了传统 软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。 [4]

大数据技术的战略意义不在于掌握庞大的 数据信息，而在于对这些含有意义的数据进行化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于 提高对数据的“加工能力”，通过“ 加工”实现数据的“ 增值”。 [5]

从技术上看，大数据与 云计算的关系就像一枚 的正反面一样密不可分。大数据必然无法用单台的 计算机进行处理，必须采用 分布式架构。它的特色在于对海量数据进行分布式 数据挖掘。但它必须依托云计算的 分布式处理、 分布式和 云存储、 虚拟化技术。 [2]

随着 云时代的来临，大数据（ Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量 非结构化数据和 半结构化数据，这些数据在下载到关系型用于分析时会花费过多时间和金钱。大数据分析常和 云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括 并行处理（MPP） 、数据挖掘、 分布式文件系统、 分布式、 云计算平台、互联网和可扩展的 存储系统。

最小的基本单位是bit，按顺序给出所有单位： bit、 Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

它们按照进率1024（2的十次方）来计算：

1 Byte =8 bit

1 KB = 1,024 Bytes = 8192 bit

1 MB = 1,024 KB = 1,048,576 Bytes

1 GB = 1,024 MB = 1,048,576 KB

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-84494-1.html