搭建服务器有什么用 揭秘：中国四大银行大数据应用(5)

56+8是56个数据计算环境，8个是加载机，56个环境每个节点是12块3T的硬盘，有2块做Read1，是存放操作系统和重要的参数信息和环境，其他10个环境是Read5来存放数据，一个节点存放有效数据10几个T，56的环境里有效数据将近300个T，Gbase有5到10的压缩比，各个字段可以选择压缩去，300个TB的数据换算成仓外的文本量，就算简单乘以300T也是1.5PB以上，现在折算成1.8PB左右，是PB级的。

我们跟Gbase从这个时候开始合作，我们在八方面跟他们共同做了一些优化工作，跟Gbase做了大量优化，有近百个优化的细项。MPP，我们搭建了双活机制，两个库之间的同步加验证现在每天大概是22TB的数据，仅需要3小时。早期在给主库做备份的时候，100TB的数据有小40个小时，后来我们用了Hadoop做备份，100TB用了不到10小时，大家用TB备份一直是比较难的事情，在Hadoop方面我们做了大量基础性的工作，非结构化的数据、文件的服务、数据的备份等等。

我们做了MPP和Hadoop的交互，有些应用要交互，我们做了非结构化MPP和HDFS之间的融合。后来启用了MPP和Hadoop之间的备份，大大提高了效率，300T也需要将近20个小时，所以我们做了双活，如果双活稳定的话我们就不用备份数据了。开发的基础工具包括ETL工具、批量调度、整个的监控和统一访问层，监控这块我们还做了健康检查，通过SaaS把半年的日志交过去，最后生成一些模型，给我预测整个系统运行的安全状况。数据混搭的模型设计，我们有一套完整的方法论，能保证数据的准确、稳定、完整和可用。同时我们在方法论、开发规范、数据规范和流程规范都积攒了一系列文档。整个模型是分层的，操作数据区、基础数据区、共性加工区、指标层和集市层，完成了客户的统一试图、产品的统一管理和客户的精准营销和风险管控等等。

通过6个方面对大数据平台的数据进行了全生命周期的管理，包括建模、验证、清理、准入、数据地图和一些规范。

5、如何充分体现大数据的价值?

我们在大数据的建设中充分体现了数据的价值：

分析挖掘上，跟业务融合，分别在多个领域写出了20多份分析报告，有精准营销和业绩价值等九个方面都落到不同的应用去尝试实现。

培养的人才，对SaaS、Spack、R语言，熟悉这些算法，对聚类、分类、回归、神经网络等等进行了研究，

要好用，建立一套多场景的实验环境，流水线式的作业、组建化的模型集脱拉拽式的服务，使业务人员能更快地使用我的系统。多个技术对用户来讲是透明的，用户要使用的话非常方便。我们展示了非常完整的服务，对基础环境融合，对资源的管理展现进行全覆盖，部署的模式也是收放自如的，展现也突破了传统的思维，我们在报表展示层面是可交付的、动态的，可以放大缩小，可以按某一列去排序，可以锁定表头，不是一个静态的页面，报表是可操作的。

四、中国银行总行软件中心上海分中心副总经理牛晓峰

1、思考：大数据没有成功的原因是什么?

2015年下半年将近年底，Ganner对这1000多家企业和机构做了另外一次调查，大数据项目成功上马的不到9%，为什么?Ganner对他们没有成功做了原因的分析，其中比较重要的几条是这样的。 排在第一位的是无法挖掘出数据的价值是什么， 第二位是企业或机构没有明确的大数据的战略目标和战略规划， 第三是缺乏核心技术， 第四是无法有效的整合数据资源， 第五是企业的内部无法对大数据的实施和规划达成共识。 总结了这样一些不太顺利的原因之后，我觉得有一个清晰的完整的系统性的战略规划，对中国银行以后大数据的建设的作用是非常巨大的。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-67171-5.html