作为人工智能时代下互联网银行的代表,百信银行信息技术部创新推出了基于开源JStorm技术的百信银行流式计算平台aiStream,并在消费信贷风险监控项目快速落地。流式计算平台后续将在不同的领域进行深度应用,助力全行业务加速。
百信银行的开业是 “2017年中国银行业十件大事”之一,作为人工智能时代下互联网银行的代表,百信银行坚持智能普惠的定位,利用人工智能等技术,开启了“金融+互联网+人工智能”的新金融发展模式。在新时代下,“直面客户+快速响应”的互联网特征,“分布式+去IOE”的全新系统架构对银行IT建设提出了极大的挑战:如何准确感知客户当前需求?如何解决风控授信等业务场景实时性不足的困难?如何快速解决分布式账务异常、定位问题?如何解决传统银行批量方式数据实时性差……这一系列问题对数据提出很高的数量、速度要求,还要兼顾金融交易的复杂性和实时性要求,而解决这些问题的答案正是流式大数据处理技术。
百信银行积极探索人工智能和大数据技术在金融场景的应用,百信银行信息技术部顺势而为,自主研发,创新推出了基于开源JStorm技术的百信银行流式计算平台aiStream,并在消费信贷风险监控项目快速落地,为全行第一款产品保驾护航。由此,流式计算平台项目成功入选了百信银行业务创新管理委员会“蒲公英计划”,后续将在不同的领域进行深度应用,助力全行业务加速。
数据往往随着时间推进连续产生,比如客户用手机APP购买理财,从开户绑卡-理财产品选购-付款确认等一系列点击操作,会产生一连串的后台数据,这背后生成的数据都是连续产生的。连续产生的业务数据,又被实时采集起来,就形成了数据流。计算平台 推荐流式数据一经采集,就可以立即参与计算,同时将计算结果投入到业务分析应用中,这就是实时计算。
分布式实时流式计算面临很多挑战:数据从“采集-计算-输出”需要保证低延迟,除计算节点本身可采用“增量计算”模型,上游数据传输模块也应具有高吞吐能力和数据缓存能力,以便在大流量场景下起缓冲作用,下游输出模块也需要做数据压缩、批量输出等优化,确保输出结果的实时性;此外分布式系统单点故障时有发生,实时流计算系统必须有强故障恢复能力,当故障发生时,系统快速恢复,避免出现系统输出更新停滞,无法保障实时性。
百信银行流式计算平台aiStream完全自主开发,设计中充分考虑了分布式实时流式计算的难点,采用了主流的计算框架,基于分布式内存并行计算,解决离线大数据和近线大数据实时融合处理等技术难题。支持海量数据高性能分析,同时引入了一系列创新技术,在可靠性、一致性、可用性、可扩展性等多层面提升了开源流处理平台的处理能力。
百信银行流式计算平台aiStream以解决行业痛点为出发点,从银行当前迫切需要解决的实时风控、去批量等问题出发,通过灵活的架构设计与规划,构建安全、稳定、可靠的基础平台,满足SaaS层差异化和多样性的定制化需求。流式计算平台提供如下两项核心服务:
实时处理增量数据,提供不同数据源到目标存储介质的数据管道,支持源与目标之间单对单,单对多,多对单,多对多的关联,支持数据管道的扩展与合并。整个系统具有功能扩展性和银行级要求的容错性。
百信银行流式计算平台aiStream目前已将18种数据源,23种目标输出列入支持计划,包括常见的关系/非关系、消息中间件、多种文件存储及各类系统间接口等,未来还会不断增加支持的内容。计算平台 推荐
本文来自电脑杂谈,转载请注明本文网址:
http://www.pc-fly.com/a/jisuanjixue/article-62840-1.html
拼不过我们的军舰
苹果5代的更新9系统就别在这BB
天下太平