7、未来,场景化、标准化、平台化
刚才我提到了场景化,我们希望能够把金融数据的服务将来标准化和平台化,平台化之后能够在基础的大数据能力、基础数据的提供甚至一些分析数据的提供,基础应用,客户花香、征信评级的监测,为无论是内部的客户还是外部的客户提供更好的大数据技术,这是从技术方面来看大数据下一步做的工作。
二、中国工商银行软件开发中心信息科技专家王晓平
1、工行大数据面临的挑战
如何处理数据量的快速增长?首先全行的数据量的快速增长,包括我们融,工行的三大互联网平台造成用户的交易数据和行为数据有大幅的增长。 如何快速智能分析历史数据? 工行从2000年开始建立数据仓库以来,拥有了庞大的历史数据资产,在新的环境下怎么能够快速地智能分析,对我们提出了更高的挑战。 如何使用内外数据,描述客户特征?在数据源方面,除了本单位数据,也需要采纳外部的数据来配合进行分析。工行已经引入了征信数据、税务数据等,怎么做到比较全的数据去描绘我行的客户特征,这是作为我们的一个新的课题。
2、工行大数据战略思路
工行整个的战略思路是通过我们行的两库一司的建设来完善大数据体系。 两库是信息库和数据仓库,数据仓库在工行的建设和银行的建设中都是比较传统的,主要是应对我们之前的银行交易数据、账户数据,采用结构化的数据存储来进行相关的处理。前两年的时候工行启动了信息库的建设,主要指非结构的数据。 通过两库的建设,我们还建设了一支分析师队伍,能够对这些庞大的数据进行相关业务的加工处理和分析。
3、发展阶段
工行大数据的发展历程可以分几个阶段,从TB级已经进入了PB级的建设阶段,接下去在可预见的几年内会进入EB级的庞大体量
最早工行是2000年初,那个时候大数据的领域更多的还是应用在一些报表的快速展现,所以那个时候我们是基于比较传统的Oracle和SaaS,做了T+1的动态报表,行领导和管理层能够在第二天上班前看到我们行昨天的经营数据,这是最早建立的。
2007年工行基于当时较先进的企业级的数据仓库的体系架构启动了工行的企业级数据体系的建设,做了全行统一的管理数据的大集中。

2010年基于我们的数据仓库的数据支持,我们推出了工行的MOVA管理会计系统,做了全行绩效考核的管理系统。 2013年随着外部形势的发展,大量数据爆发式的出现,我们引进了大数据领域在业界最流行的Hadoop技术,在Hadoop基础上搭建了信息库,发展是非常快的。
2014年工行基于大数据,原来的大数据采用连机异部批量的方式,通过文件存储的方式,不管是数据仓库还是信息库,在时效上相对来说比较慢,所以自主研发了一个流数据平台,能够提供实时或者准实时的流数据处理。 2015年下半年和今年正在推动分布式的落地工作,会和企业级数据仓库做一个互补。这是大数据的主要技术演进。
4、大数据体系
在大数据平台上,我们可以把它抽象成如下几层:
第一层是数据采集,统一针对外部和内部的数据进行相关的数据收集,包括日志信息、行为信息和业务信息。搭建服务器有什么用
再上面一层计算层,是我们不单单提供了传统数据仓库的批量计算的能力,也通过一些流数据的技术提供了实时的计算能力。
再上面一层应用层,抽象了大数据相关的应用,包括用户可以自定义的查询功能。通过这些信息的服务,把这些服务抽象到我们的业务系统中,通过我们的管理会计系统,通过分析师平台、风险系统、营销系统,为我们在数据的运营、风险控制和营销方面都提供相关的支持,这就是主要的大数据分层体系。
5、分布式、开源、通用成为趋势
从大数据的起源开始,数据仓库到目前的大数据新形势下,数据仓库已经在做非常大的升级换代和变化。2014年工行从高成本封闭的系统(如:Teradata),开始向高性价比、通用设备和开放技术的系统转变。
本文来自电脑杂谈,转载请注明本文网址:
https://www.pc-fly.com/a/jisuanjixue/article-67171-2.html
时间已经不站在我们这一边