搭建服务器有什么用 揭秘：中国四大银行大数据应用(3)

转型有两个原因：

第一是数据量太大了，原来只需要处理TB级已经转向需要处理PB级甚至以后EB级的数据量。如果是这么大的数据量，运用传统的设备没有办法进行相关的处理。

第二，性价比，我们做过测量，通过开放式的弹性可扩展的普通PC服务器的方式，比传统设备在成本上介绍十几分之一或者几十分之一。我们在新平台上一方面引进了Hadoop平台基于普通的PC服务器进行搭建，短短一两年的时间已经扩展到150个节点，存储空间已经超过1PB，超过建设了十几年二十年的Teradata的数据容量。

另外我们在研究也会尽快落地的分布，会基于开源的底层架构，基于普通的PC服务器完成数据仓库体系的扩充。后续在大数据的处理加工方面会基于分布进行处理。

从目前的分析角度来看，Teradata会保留，着重在高端的分析师分析挖掘的探索性的工作方面。后续工行的大数据体系会采用多种技术路线、多种技术平台共存的方式。

6、非结构化数据信息库，通过搜索

非结构化数据信息库的建设情况，建行已经介绍了，工行也有点像。信息库的建设原则，因为非结构化的数据的量是非常大的，所以我们的原则是信息库建设没有把非结构化建设进行物理存储的集中，我们只是通过统一的搜索引擎让用户能够快速地搜索找到他需要的非结构化的信息。

7、风险防控，是落地最快、最有成效的应用

工行在大数据应用方面主要侧重在风险方面。

工行通过大数据在事前、事中、事后三个环节的运用进行风险的柔性控制。简单地举一个例子，事前，比如银行卡的授信过程中，或者信贷要进行发放做净值调查中，数据能给它一个支撑。事中，比如银行卡最近比较多地发生盗刷行为，我们可以在事中通过大数据的方式发现银行卡的盗刷行为。事后，可以根据事后的交易或者发生的事件进行相关的分析，分析我们后续在业务的拓展或者风险控制方面有哪些需要进一步改进或者补救的工作。

这里举了几个简单的案例。非常好的大数据的应用场景，

第一，交易反欺诈，需要利用大数据流数据的技术，用户在做交易的过程中采用主机旁路技术，交易没有完成之前通过大数据在内存中进行一个判断。

第二，大数据怎么运用模型，通过比较好的用户特征的总结和模型做一个监控。通过标签信息，比如我们定义了两个标签，一个是用户开户的地区比较广泛，另一个他持有比较多的，我们可以认为他涉嫌倒卖银行卡的嫌疑，我们通过大数据的计算可以把这些人员抓出来，可以进行后续的业务处理和防空。这也是大数据应用的比较好的方面。

第三，现在各个银行业碰到的比较大的困境，信贷资产的质量问题。工行持续在推动运用大数据驱防控信贷风险，工行成立了信贷防控中心，运用大数据技术在进行相关的防控。

三、中国农业银行软件开发中心专家赵维平

1、银行在技术选择上，相对保守

我们在2003年初开始搞大数据，当时有很多困惑，首先感觉到大数据到来了，现在各个行业，中央台什么东西都用大数据说话，我们在银行业我们能做什么呢?

早期在十几年前我们大家做数据仓库的时候，大家可能选择面都很窄，四大行除了我们没用TD其他都是用TD做的数据仓库。我们当时某系统也很痛苦，计算资源可以扩，但IO能力就在那里。当时觉得列存储带来很大的优势，处理通用的数据量减少了很多IO。平台选用什么?还用传统的吗?新型的怎么样?

金融在有些技术的选择上还是相对比较保守的，我们不会用的技术，不会用的版本，这也因为金融工委和国家人民银行对于我们的连续服务要求特别高，一旦出了事情领导交不了差。

2、自主可控，我们从几点入手

在自主可控上，基础硬件、基础软件、数据模型、工具平台和制度管理都是自主可控的。

硬件方面，采用华为的RH2288系列，2C、docore、256内存、12 4T硬盘，不同时期买的硬盘的容量是不一样的，后来是4T，之前是3T。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-67171-3.html