建立实时计算平台阿里云和腾讯云都采用了Flink

1月28日，阿里云正式宣布了Blink，这是一个开源（开源）实时计算平台.

实际上，已经预示了阿里云在开源实时计算平台上的行动. 本月早些时候，有媒体报道阿里巴巴收购了技术公司Data Artisans，Data Artisans拥有世界上最大的开源大数据流处理引擎Flink，可以解决传统数据只能离线计算的问题.

这次，阿里云的开源实时计算平台Blink是经过转换的Flink的内部版本.

2004年，谷歌开启了大数据离线计算的时代，但是随着大数据，人工智能，物联网和边缘计算等新技术的兴起，延迟的计算结果远远不能满足开发人员，尤其是企业需要. 在典型的大数据业务场景中，常用的方法是使用批处理技术来处理全部数据，并使用流计算来处理实时增量数据. 因此，用户通常需要编写两组代码. 毫无疑问，这带来了一些额外的负担和成本.

尽管当前开源大数据计算引擎有很多选择，例如Storm，Samza，Flink，Kafka Stream等流计算平台，以及Spark，Flink等批处理平台，它还支持流处理（对于随时进入计算引擎进入系统的数据）和批处理（根据其性质进行分组或批处理作业，然后以组或批的形式将其提交给计算机系统，然后自动输出结果）在计算机完成安装后），阿里巴巴计算平台事业部高级技术专家莫雯曾提到，只有两种选择: 一种是Apache Spark，另一种是Apache Flink.

尽管Flink目前代表着一种崭新的计算方法，但Flink在2015年还不够成熟，它仅适用于早期的小流量Internet场景中的数据处理. 不论其规模或稳定性如何，它都没有实践经验，而且使用范围也不大.

根据阿里云的引入，Blink最初基于社区开源版本进行了改进. 与Data Artisans的真正紧密合作是在2016年. “我不知道它在转换期间是否会成功. 当时，我们仍然拥有阿里巴巴中间件团队的另外两个实时计算技术，他们正在进行Jstorm和阿里云Galaxy，我们最终选择了这项技术，因为Blink表现最佳. ”

阿里云转型后计算平台，Blink现在将计算延迟降低到人类无法感知的毫秒级. 在阿里巴巴集团内部，所有核心业务均已使用Blink. 除了技术考试“双十一”，ET City Brain的实时计算还可以计划杭州的交通流量计算平台，淘宝和天猫每天都为数亿用户提供实时“独家”页面.

事实上，不仅阿里云，腾讯还建立了基于Flink的一站式实时计算平台Oceanus. 据记者了解，腾讯实时计算团队还建立了一个基于Apache Storm的早期实时计算平台. 但是，在长期维护过程中，Apache Storm的一些设计和实现缺陷逐渐暴露出来. Apache Flink出现后，其在计算接口，计算性能和可靠性方面的优异性能使腾讯实时计算团队决定将Apache Flink用作新一代实时计算平台的计算引擎.

阿里巴巴集团副总裁周敬仁认为，阿里和优步，Netflix等都是Flink的受益者. 业内分析人士认为，实时计算目前正在上升. 除Flink外，还有多种技术类型，例如Spark和Storm. 不论谁在实时计算平台中，谷歌，英特尔，IBM等全球技术公司都在积极部署. 未来的巨大赌注将成为其核心竞争力之一.

关注通化顺金融（ths518），以获得更多机会

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-254865-1.html