有关大数据安全系统介绍的技术系统文章

文章目录

随着信息化进入3.0阶段，越来越多的事物数字化，事物的互连，基于海量数据的越来越多的智能功能用于深度学习和数据挖掘. 数据安全正式成为时代的焦点，并首次亮相. 计算机行业的安全性是一个由来已久的概念. 我们同意雷万云博士对信息安全发展阶段的划分，并相信到目前为止，信息安全大致经历了五个时期.

第一个时期是通信安全时期，其主要标志是1949年Shannon发表的“机密通信信息论”. 在此期间，它主要是处理频谱信道的共享和解决. 通信安全保密问题.

第二个时期是计算机安全时期，其中“受信任的计算机评估指南”（TCSEC）以1970年代和1980年代为标志. 在此期间，主要是应对计算资源的匮乏，解决计算机中存储数据的机密性，完整性和可用性问题.

第三阶段是1990年代出现的网络安全时期. 在此期间，主要是应对网络传输资源的稀缺，解决网络传输安全问题.

第四个时代是信息安全时代，其主要标志是信息安全技术框架（IATF）. 在此期间，主要是解决信息资源的匮乏，解决信息安全问题. 在这一阶段，首先提出了信息安全保证框架的概念，它将框架中的一层或多层的OSI的安全问题转变为整体和深度防御的概念. 安全时代.

信息是有价值的数据. 随着来自世界各个角落和各个方向的海量，异构，实时和低价值数据的涌入，人类被强大的数据洪流迅速捕获，并进入了第五个时代. 这是数据安全时代.

在大数据时代，安全面临以下亟待解决的冲突:

1. 数据收集方法的多样性，技术应用的普遍性和便利性与传统的基于边境的保护措施之间存在矛盾；

2. 数据源之间，分布式节点之间，甚至大数据相关组件之间的海量数据传输以及对东西方数据传输的监视，以及传统的传输通道管理和南北数据传输监视矛盾；

3. 分布式和按需数据存储需求之间的矛盾与传统安全措施的部署滞后；

4. 数据融合，共享和使用各种方案的趋势和要求与相对合规的安全合规性管理要求之间存在矛盾；

5. 需要显示数据结果与发现隐藏的安全问题之间存在矛盾. 因此，大数据的安全保护不仅应基于传统的OSI整体防御系统，而且应基于数据生命周期制定安全保护策略.

根据安全责任的主题，数据安全保护工作的目标会有所不同，但可以将其大致分为三个级别:

1. 涉及国家利​​益，公共安全，军事研究和生产的国家级数据，以及将对国民经济和民生产生重大影响的其他数据. 此类数据需要加强该国的控制能力，并严格防止数据泄漏和恶意使用.

2. 涉及商业秘密和工商业安全的数据必须保证数据的机密性，完整性，可用性和不可否认性.

3. 在用户知情同意并确保自身安全的前提下，有关用户个人和隐私的数据可保证信息主体控制个人信息的权利并维护公民的合法权益.

数据生命周期安全性的概念颇有争议. 有人认为，许多公司在经营安全业务之前就已经开展业务. 安全部门面临着大量的库存数据，平均每天增加数百个数据表. 数据用户的基础在不断扩大，流量正在发生巨大变化. 老板承受着巨大的社会和经济压力，迫切需要安全部门取得成就. 在这种情况下如何实现数据分类？

首先，数据分类分级的前提是良好的数据治理效果. 当时我们面临的挑战是整合来自全国31个省和340多个城市的公司的各种数据. 数据合作伙伴花了整整一年的时间来整理28个类别的4个数据，以实现对数据的日常访问. 400T以上的数据治理目标和80％以上的数据质量已形成了“七步”数据治理方法和数据质量评估系统，为数据分类和数据安全保护奠定了坚实的基础.

第二，面对成千上万的数据访问人员以及对将近7,000服务器的巨大集群的访问，平台部门还花费了1年的时间将平台集群划分为数据访问区域，开发测试区域和核心. 生产区域在DMZ区域，根据功能和权限的不同，数据访问人员被限制在相应的区域，并且最初建立了平台的访问控制机制，以提供用于数据安全管理和控制的关键链接.

我们的数据安全性基于各个部门的辛勤工作. 根据实际经验，围绕数据生命周期建立数据安全系统是完全可行的.

大数据环境中元数据的分类和分类管理必须依靠自动化手段来确保效率. 由于数据表的快速添加和更改，无法实现每个表的分类和分类. 我们采用对字段进行敏感分级的方法数据安全系统，根据元数据分类的敏感程度和可能的应用场景制定不同的脱敏策略.

数据传输链路主要使用通道加密技术来确保数据的机密性. 您可以通过HTTPS，VPN和其他技术建立加密的传输链接. 该技术相对成熟，在此不再开发.

对高灵敏度和高价值数据进行脱敏是数据存储和使用的先决条件. 脱敏后，数据将与原始数据形成算法，键或比较表的映射关系，只要脱敏数据和映射关系正确后，才可以正确获得真实数据，从而增加了机会成本. 数据盗窃.

当提到脱敏时，必须提到数据标记化（tokenization）和MASK的概念. 令牌化的想法是使用某种算法进行数据混淆. 例如，对于一个13300000000的手机，该混乱可能导致该号码变为18910001234，从而保持该号码某些属性的一致性或可用性，但是此方法只能应用于少量的开发和测试环境. 数据，无法避免重复攻击和大量数据比较攻击. 在实际使用的情况下，应严格控制数据的应用范围.

MASK方法是遮挡. 例如，上述移动电话号码13300000000可能在被遮挡后变为133 **** 0000，这隐藏了归属信息. 该方法已被广泛应用于数据可视化环境中. 在数据环境中存在关联其他信息并猜测攻击的风险.

类似地，数据的全盘加密方法也不可取. Hadoop生产集群通常具有数千个节点. 群集和组件之间频繁的加密和解密操作无法支持业务发展. . 对某些数据字段进行脱敏处理不仅可以有效地减少数据操作开销，还可以根据需要保留业务所需的字段，以达到合规性要求，而这些合规性要求是无法根据《网络安全法》恢复到特定个人的.

随着手机实名制的推广，手机号码与个人用户信息之间的弱相关性越来越高. 在某些情况下，移动电话号码可以在某些情况下用作个人标识，并且各种类型的数据也需要与之相关的主键. 我们设计了eUID（浏览唯一标识符）天一唯一标识符. eUID充当表与实际数据和脱敏数据之间的“传输桥”. 脱敏数据用于开发和使用过程中，以减少数据负担. 风险. 同时，它还首次实现了跨行业的不同用户ID的匹配和互通模型以及基于Bloom过滤器的数据交换方案. 其空间效率和查询时间远远超出了业界常用算法，错误识别率低.

数据安全域是使用传统的域隔离概念来解决虚拟化环境中东西方流量管理和控制的问题. 此内容侧重于管理水平，也是从无序到有序的过程.

在大数据平台中，不同部门中具有不同权限和不同身份的操作员采用不同的策略来访问不同的资源，组件和设备，从而导致大量的操作行为，并且关系网络的算法复杂度为至少〇（n3）. 很大，每次添加一个节点时，此关系网络的复杂度将从〇（n3）更改为Ο（n3 + n），并且这个数字可能会增加. 幸运的是，我们已经对域和角色管理进行了很好的划分，不会出现角色访问所有节点的情况，并且关系复杂度可以从〇（n3）降低到Ο（m * n2），其中m为一个常数. 因此，对平台的运行进行审计是可行的.

平台操作审核系统收集hadoop组件（例如HDFS，Hive，Hbase）以及虚拟机和主机上角色的操作日志. 使用身份关联模型，角色确定的两个标识操作无法直接执行. 这两个标志具有直接或间接相关的几个标志，并且经过综合评估后才相关. 例如，要确定两个具有不同系统的帐户的某个操作是否是同一个人，则应通过分析用户帐户，行为操作，对终端的访问等来进行全面的分析和评估. 根据权限和访问使用角色策略，K-means算法和UEBA（用户和实体行为分析）技术来分析和建立角色行为基线，并对角色的日常操作进行自动操作审核和判断，发现异常或敏感操作以及在机器学习的推动下实现准实时警报功能可能会带来新的惊喜.

Hadoop平台采用SASL身份验证机制，并提供匿名（无需身份验证），普通（使用base64加密传输纯文本，不使用加密算法），摘要-Md5（采用基于MD5的安全服务）和Kerberos身份验证方法. 无论是Apache系统的护林员，诺克斯组件还是CDH的哨兵组件，它都基于Kerberos. 目前，各种安全组件都有一定的适应性问题. 例如，哨兵目前仅支持几种类型的组件，例如HDFS和HIVE. 游侠需要对Hadoop版本有一定要求. 同时，动态访问要求也给运维合作伙伴带来了很烦，因此在实际工作中，我们只是一个小规模的尝试.

在大数据环境中，数据以多种样式存储. 一旦数据泄漏，如何定位和跟踪源是一个难题. 在图片上放置明暗水印的传统方法无法满足文本格式的可追溯性要求. 我们设计和开发数据水印算法，通过算法编码在日常业务数据中生成和插入伪数据记录. 这些伪数据记录符合此类数据的相关字段属性，例如数字，价格，名称或电子邮件地址等，以形成数据水印. 数据水印会以均匀分布的方式自动插入到相应的数据集中，以实现数据所有者的标签，保护数据所有者的权益并同时跟踪数据滥用情况，从而确保在数据发布和更新过程中需要进行回顾性分析. 破坏阶段和数据泄漏后，该技术于2015年申请了国家发明专利.

电信通过BDCSC（大数据客户服务中心）平台为2B用户提供4 + 1产品服务. 为了确保输出接口符合规范且不包含敏感数据，我们设计并实现了可以与接口进行接口的导出审核系统. 输出数据可以自动解密，模式匹配，异常发现等功能，可以及时发现出口数据泄漏的风险.

在数据销毁过程中，有两个安全目标. 一个是网络安全法要求删除数据的权利，另一个是物理级别数据的永久删除和不可恢复性. 在技​​术层面上还有更成熟的技术，所以我不会从这里开始.

之所以特别提到该技术，是因为我偶尔听说有些制造商正在使用它. 该技术的原理是制作一个数据钩子并将该钩子埋入数据集合中. 如果有人触摸了收藏集，它将被捕获. 访客操作和其他攻击是非常有趣的想法.

对于安全，数据，运营和维护部门，非常希望知道数据在平台上的分布位置，这些数据是高度敏感的数据资产，数据使用的人，这些人拥有什么权限以及数据传输的路径是什么，数据表的继承是什么，血缘关系是什么，因此如何将其拼接成可视数据图，并根据该图进行相应的干预和操作将成为一个巨大的需求.

ObserveIT是一个出色的操作审核系统，它可以以文本形式记录Linux和Windows的操作数据安全系统，以视频形式显示它，甚至可以在Windows环境中恢复快捷键操作. 审核员可以设置操作规则和搜索关键字的方法，以发现异常和高风险的操作.

数据完整性验证，数据标记，区块链，细粒度的访问控制，数据可追溯性和分布式环境中的其他技术. 同时，将大数据安全技术用于网络安全入侵检测，安全态势感知，网络攻击取证，威胁情报分析等安全应用研究与开发也是未来研究的重点.

在大数据时代，安全的焦点终于回到了安全的本质: 数据安全. 数据流就像水流一样，势不可挡，无处不在. 面对新的挑战，基于边界防御的铁布衬衫方法变得越来越无能为力. 共同努力可以保护数据安全.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-176724-1.html